Qui iniziò il calvario di Giovanni durato ben dieci anni: la cella era piccolissima, umida, buia, senza servizi igienici e posta sotto il livello del mare. Il pavimento, in terra battuta, permetteva l’infiltrazione di acqua marina, provocando nell’ambiente condizioni di insalubrità. Attaccato a una corta catena di 18 chilogrammi, che gli consentiva di fare solo due o tre passi, e in completo isolamento, non poté ricevere visite e lettere.

I marinai che passando nelle vicinanze della torre udivano i suoi lugubri e continui lamenti, iniziarono a chiamarla torre di Passannante.

Ben presto si ammalò di scorbuto, fu colpito dalla taenia, perse i peli del corpo, la pelle si scolorì, le palpebre si rovesciarono sugli occhi, le guance si vuotarono e si gonfiarono e, secondo alcune testimonianze, arrivò a cibarsi dei propri escrementi.

Passannante fu scarcerato solo in seguito al grande clamore suscitato dalle denunce della giornalista Anna Maria Mozzoni e dell’ onorevole Agostino Bertani che disse a proposito della prigionia: «Questo non è un castigo, è una vendetta peggiore del patibolo; il re non sa nulla, non è possibile che lo sappia, egli non tollererebbe un fatto che getta su lui un’ombra odiosa; è una vigliaccheria da cortigiani».

Passannante fu dichiarato pazzo e condotto segretamente nel manicomio di Montelupo Fiorentino, dove si spense all’età di 60 anni.

La torre in seguito fu utilizzata ancora come carcere ed anche Sandro Pertini vi fu recluso per due volte nel 1933 e una terza volta il 9 settembre 1935, prima di andare al confino di Ponza.