L’imponente edificio occupa una posizione di rilievo entro la cornice di Piazza della Cattedrale. Fu costruito dall’arciprete Girolamo de Lerma tra il 1648 e il 1678, unendo alcuni edifici preesistenti su un’area appartenente alla Curia vescovile. La sua facciata, imponente e scenografica, funge da sfondo teatrale al sagrato della Cattedrale, alla quale è collegata da una loggetta costruita nel 1627 dal vescovo Fabrizio Carafa.

Gli altri lati dell’edificio quadrangolare confinano con il complesso dell’ex ospedale di San Nicola e con il Palazzo della Regia Corte.

La struttura si distingue per il bugnato rustico della facciata, che conferisce all’insieme un aspetto solenne. Il portale principale, di gusto tardo-rinascimentale, è affiancato da lesene bugnate e sormontato da un fregio decorato. La sua posizione decentrata è dovuta alla presenza di edifici preesistenti. La facciata presenta un evidente arretramento verso l’angolo con Via Speranza, e sulla muratura è ancora visibile il profilo degli spioventi di un edificio demolito nel 1905: si tratta della chiesa di Santa Maria della Misericordia, costruita entro il 1586 e abbattuta per questioni urbanistiche. Il suo portale, addossato alla torre del Palazzo de Lerma, conserva un bassorilievo raffigurante la Pietà e un’iscrizione che invoca la mediazione della Vergine contro la siccità.

Il prospetto dell’edificio è suddiviso in due livelli da una sottile cornice marcapiano, interrotta dalle finestre ampliate nel Settecento. I piccoli balconi sagomati si affacciano su due file di finestre: al primo livello sormontate da timpani curvilinei, al secondo da timpani a pagoda. La sommità del palazzo è ornata da un cornicione orizzontale con pinnacoli decorativi.

Un ampio androne con volte a crociera introduce al cortile interno, originariamente caratterizzato da un portico con vestiboli e una scenografica scala di accesso ai piani superiori. Tuttavia, le modifiche e sopraelevazioni avvenute nel tempo ne hanno compromesso l’assetto originario. Una scala a due rampe, coperta a botte, conduce al primo piano, mentre una più piccola, probabilmente aggiunta nel Settecento per opera dell’architetto Vito Valentino, porta al secondo.

La famiglia de Lerma, appartenente all’alta nobiltà spagnola, si stabilì a Bitonto all’inizio del Cinquecento, insieme ai Sylos di Burgos e agli Albuquerque del Portogallo. Duchi di Castelmezzano, i de Lerma ricoprirono ruoli di rilievo nella vita civile e religiosa cittadina, soprattutto all’interno del Capitolo della Cattedrale. Il palazzo venne costruito in due fasi, contemporaneamente alla dimora extraurbana di Torre de Lerma, situata tra Palombaio e Mariotto, ancora oggi visibile. Con l’estinzione della famiglia, alla fine del Settecento, l’edificio passò a diversi proprietari fino a diventare un immobile condominiale.

Sopra il grande arco che conduce allo scalone verso i piani superiori si trova lo stemma della famiglia, sorretto dalla figura di un angelo, ultimo segno tangibile della grandezza della casata.