Adiacente alla Basilica della Madonna dei Martiri sorge questo splendido edificio, risalente all'XI secolo, e voluto come "stazione" di passaggio degli infermi che transitavano da Bari dopo essere stati in Terrasanta.
Non è documentato storicamente che la denominazione "dei Crociati" sia effettivamente da attribuire alla permanenza di un qualche crociato di ritorno dalla guerra, ma è indubbio che il luogo vedeva un forte transito di pellegrini.
Per cui, di quello che originariamente era un blocco a due strutture, nel corso degli anni i vari re hanno deciso un accorpamento che ha prodotto la nascita di un edificio a parallelepipedo utilizzato all'inizio come residenza estiva per i Vescovi della Diocesi.
Risale alla fine del 1600 la struttura che è visibile ancora oggi, con due file di pilastri su cui poggiano gli archi che reggono le altissime volte, per un totale di tre corridoi aventi la medesima struttura architettonica; molti dei muri interni ai corridoi hanno delle nicchie, probabili inserti murari per la sistemazione delle fiaccole di illuminazione.