Dieses imposante Gebäude nimmt eine herausragende Stellung am Rand des Kathedralplatzes ein. Es wurde zwischen 1648 und 1678 erbaut. Seine monumentale Fassade, mit ihrer dramatischen Präsenz, bildet die Kulisse vor dem Parvis der Kathedrale und ist visuell mit der Kirche durch eine kleine episkopale Galerie verbunden, die 1627 von Bischof Fabrizio Carafa für feierliche Segnungen erbaut wurde.

Die anderen Seiten des viereckigen Palastes grenzen an das ehemalige Hospital des Heiligen Nikolaus und den Palast des Königlichen Gerichts.

Eines der markantesten Merkmale des Gebäudes ist die rustizierte Schichtenmauerfassade, die dem Bauwerk ein Gefühl von Erhabenheit und Formalität verleiht. Das führende Portal, im spät-Renaissance-Stil entworfen, ist von rustizierten Pilastern eingefasst und mit einem dekorativen Fries gekrönt. Die versetzte Platzierung spiegelt die Einschränkungen der früher in das Projekt integrierten Gebäude wider. Die Fassade tritt an der Ecke deutlich zurück. Entlang der Wand ist das geneigte Profil eines abgerissenen Daches sichtbar – dies sind die Spuren der ehemaligen Kirche der Heiligen Maria der Barmherzigkeit, die vor 1586 erbaut und 1905 aus städtebaulichen Gründen abgerissen wurde. Das Portal der Kirche, das gegen den Turm des Palastes lehnt, zeigt ein Basrelief der Pietà, und eine Inschrift, die um Fürsprache der Jungfrau Maria gegen Dürre bittet.

Die Außenfassade des Gebäudes ist in zwei Ebenen unterteilt, die durch eine schmale Sims getrennt sind, unterbrochen von Fenstern, die im 18. Jahrhundert vergrößert wurden. Zwei Fensterreihen sind mit kleinen, eleganten Balkonen geschmückt: Die Fenster im Erdgeschoss sind mit geschwungenen Pedimenten verziert, während die Fenster im Obergeschoss Pagodendächer aufweisen. Die Dachlinie wird mit einer dekorativen Kornische abgeschlossen, die von ornamentalen Spitzen gekrönt wird.

Eine gewölbte Eingangshalle mit Kreuzgewölben führt in einen Innenhof, der ursprünglich mit einem Arkadenportikus und Vestibülen ausgestattet war und eine dramatische Treppe zum oberen Stockwerk führte. Im Laufe der Zeit haben verschiedene Umbauten und zusätzliche Etagen die ursprüngliche Struktur verändert. Eine breite Treppe mit zwei Flügen, die von einem Fassgewölbe überdeckt ist, führt in den ersten Stock, während eine schmalere Treppe – wahrscheinlich im 18. Jahrhundert unter dem Architekten Vito Valentino hinzugefügt – zum zweiten Stock führt.

Die De Lerma-Familie, Teil des hohen spanischen Adels, ließ sich zu Beginn des 16. Jahrhunderts in Bitonto nieder, zusammen mit der Sylos-Familie aus Burgos und den Albuquerque aus Portugal. Als Herzöge von Castelmezzano spielten die De Lermas eine entscheidende Rolle im bürgerlichen und religiösen Leben der Stadt, besonders innerhalb des Kathedralkapitels. Der Palast wurde in zwei verschiedenen Phasen gebaut, parallel zu ihrem Landgut, der Torre de Lerma. Nach dem Aussterben der De Lerma-Familie Ende des 18. Jahrhunderts wechselte das Gebäude mehrfach den Besitzer, bevor es zu einem Wohngebäude wurde.

Über dem großen Torbogen, der zur Treppe führt, befindet sich das Familienwappen, das von einem Skulpturenengel gehalten wird – eines der letzten sichtbaren Zeichen des früheren Prestiges der Familie.