Edificato nel XV secolo da Tommaso Panichi, passò successivamente alla famiglia Carli.
Ha subìto nel tempo profonde trasformazioni architettoniche. 
Questo palazzo ben testimonia nel suo restauro la tecnica costruttiva perfezionata a Lucca nel XIV secolo della graduale sostituzione del mattone con la pietra, elemento portante nel loggiato. 
L’emblema della famiglia Panichi, presente sull’edificio, è caratterizzato da due ramoscelli di panico incrociati..
Recentemente acquisito dal Comune, è stato ristrutturato ed è sede del Museo Padre Eugenio Barsanti, un piccolo gioiello interamente dedicato al padre scolopio, inventore del motore a scoppio, tra cimeli, motori, ricostruzioni storiche e documenti.