Il palazzo fu edificato in occasione del matrimonio tra Leonardo Sylos e Livia Giannone, nel 1574. La famiglia Giannone possedeva già alcune abitazioni nella zona, integrate successivamente nella struttura principale. L’insieme delle differenti fabbriche ha un elemento distintivo in comune: l’ingresso sul lato sinistro del palazzo, caratterizzato da un portale rinascimentale a bugne radiali, con uno stemma cinquecentesco scolpito sulla chiave di volta. Lo stemma bipartito rappresenta l’unione delle due famiglie: a sinistra, il simbolo dei Sylos con una croce rossa, in memoria della crociata di Las Navas de Tolosa del 1212, e tre conchiglie, emblema di altrettanti pellegrinaggi a Santiago di Compostela; a destra, il giglio angioino e la rosa della famiglia Giannone.

L’intero complesso subì una radicale trasformazione per celebrare un altro importante matrimonio, quello tra Alfonso Sylos e Isabella Sersale, esponente di una nobile famiglia napoletana, avvenuto nel 1696. Probabilmente i lavori furono affidati a Vito Valentino, noto architetto locale, insieme ad altri capomastri di rilievo. La ristrutturazione, completata tra il 1730 e il 1740, mostra una chiara influenza del barocco napoletano, ormai consolidato in Terra di Bari, come dimostrano altre residenze rinnovate nello stesso periodo.

La facciata principale è un trionfo dello stile barocco: è scandita da colonne con fusto liscio intervallato da rigonfiamenti “a pignatta” e presenta una trabeazione decorata e una loggia con balaustra. Il fregio è arricchito da girali d’acanto, grifi e sirene bicaudate, chiaro riferimento all’origine napoletana della sposa.

Il portale carraio è sormontato da una maschera grottesca con funzione apotropaica. I capitelli, unendo elementi classici ed esotici, sostengono una balconata i cui angoli sono decorati con sculture di una giovane fanciulla e di una donna incinta circondate da fiori, simbolo augurale di fertilità per gli abitanti del palazzo.

Al centro della finestra principale spicca lo stemma delle famiglie Sylos e Sersale. La loggia interna, affacciata su un cortile non perfettamente regolare, è caratterizzata da una scala che richiama le architetture napoletane del Cinquecento.

La fastosità di questo palazzo non si esprime nella monumentalità degli spazi, ma nella ricercatezza delle decorazioni, un tratto comune a molte residenze nobiliari bitontine tra Cinquecento e Settecento. La necessità di operare all’interno di un tessuto urbano già consolidato limitava infatti le possibilità di espansione, un vincolo che nell’Ottocento portò la nobiltà locale a trasferirsi nel Borgo Nuovo, dove poter esprimere il proprio status sociale attraverso palazzi di dimensioni più ampie.