L’edificio si erge nella parte più antica del centro urbano, su un’area un tempo occupata da costruzioni medievali. In origine, la sua facciata era nascosta da un isolato intermedio che ospitava i mulini, edificati nel 1601 e demoliti nel 1882.

Il palazzo appartenne alla famiglia Giannone, un casato di antiche origini risalenti al XII secolo, giunto probabilmente da Napoli al seguito di Roberto il Guiscardo. La dinastia si estinse alla fine del XV secolo con il matrimonio tra Cornelio Giannone e Rebecca Alitti. Per volontà della donna, il figlio Giovanni assunse il cognome Giannone-Alitti, dando vita a un nuovo ramo familiare.

La costruzione del palazzo iniziò nel 1694 sotto la direzione dell’architetto Valentino de Valentino, capostipite di una famiglia di mastri muratori e architetti napoletani trasferitisi a Bitonto. L’edificio venne completato nel 1715, come indicato da un’iscrizione su una lapide collocata presso lo stipite del portale d’ingresso. L’opera fu portata a termine dal capomastro Nicola de Valentino e da suo figlio Vito, regio ingegnere.

Durante la sua edificazione, il palazzo fu addossato alla zona absidale della chiesa di San Silvestro, occupando parte del giardino cimiteriale e comportando la demolizione dell’antico campanile. Le piantine della prima decade del XVIII secolo mostrano una disposizione originaria degli ambienti differente da quella attuale, con una scala posizionata più a sinistra e un’organizzazione interna che comprendeva ampi saloni. In questi ambienti, nel XVII secolo, si svolgevano gli incontri dell’Accademia degli Infiammati, fondata dal vescovo Carafa, lo stesso che realizzò la loggia a sinistra della Cattedrale.

Nel 1882 l’edificio fu oggetto di una ristrutturazione condotta dall’ingegnere Raffaele Comes, figura di spicco dell’eclettismo bitontino, autore di numerosi interventi architettonici nel Borgo Nuovo.

L’intonaco moderno della facciata non rende giustizia alla raffinatezza del palazzo, che passa quasi inosservato. A destra della struttura si possono ancora distinguere le tracce dell’antica chiesa di Santa Maria della Scala, detta anche Purgatorio Vecchio. Sulla parete in conci lisci è visibile una monofora, riadattata da una preesistente chiesa medievale.

L’antico portale del palazzo venne probabilmente demolito durante la sistemazione della piazza nella metà dell’Ottocento. L’accesso attuale avviene attraverso un semplice portale centinato, incorniciato da una modanatura rettilinea e sormontato da una finestra. A destra, i balconi interrompono la continuità della cornice marcapiano, creando un effetto visivo che contrasta con l’armonia classica dell’insieme.

Entrando nel cortile, si scopre una sorprendente scenografia architettonica. Tre ampi arconi a tutto sesto del pian terreno, sostenuti da pilastri robusti, sorreggono un’elegante loggia al piano superiore. Quest’ultima è caratterizzata da esili colonnine che scandiscono le tre arcate, richiamando lo stile sanfeliciano, molto diffuso nei palazzi bitontini ristrutturati nel XVIII secolo.

L’accesso ai piani superiori avviene attraverso lo scalone, che parte dall’arcone centrale. Sul primo pianerottolo si trova un affresco raffigurante la Madonna della Misericordia, stilisticamente simile a quello sotto la volta dell’Arco Pinto. La Vergine è rappresentata mentre abbraccia il corpo del Cristo deposto dalla croce.

Parte dell’affresco è stata ricoperta da intonaco, ma si suppone che raffigurasse anche il nobile Giacomo Giannone Alitti, martirizzato in Giappone nel 1663 per la sua fede cristiana. La sua effigie è visibile anche in un affresco situato in un sottarco vicino a Palazzo Sylos-Sersale.

L’aspetto attuale del palazzo risale alla ristrutturazione del 1882, coincidente con la demolizione della Strada dei Mulini che modificò significativamente il contesto urbano.