Fue construido entre 1562 y 1564 por Giorgio Vasari, remodelando profundamente el medieval Palazzo degli Anziani: sin embargo, aún se pueden ver algunos restos del antiguo palacio y de algunas casas torre a los lados del edificio.[1]
Su nombre deriva de los tres años de noviciado de los nuevos adeptos, durante los cuales seguían un curso de adiestramiento al manejo de las armas para formar parte de las "caravanas" (en italiano, carovana) que recorrerían el Mediterráneo y contrarrestarían las incursiones de los corsarios: de aquí procede el término "della Carovana".
Vasari regularizó la heterogénea fachada medieval, fundiendo arquitectura, escultura y pintura. Decoran la fachada pinturas esgrafiadas con figuras alegóricas y signos del zodiaco, dibujados por el mismo Vasari y ejecutados por Tommaso Battista del Verrocchio y Alessandro Forzori (1564-1566), junto con bustos y escudos de mármol. Las pinturas actuales parecen gozar de un óptimo estado de conservación, pero en realidad debieron ser pintadas de nuevo en los siglos XIX y XX, ya que las pinturas en el exterior son extremadamente frágiles y están sujetas a decoloración y desprendimiento por estar expuestas a los agentes atmosféricos.[1]
La escalinata de mármol con dos rampas fue reconstruida en 1821 por Giuseppe Marchelli en sustitución de la original, de menores dimensiones.[1]
En 1928-1930 se añadió la parte posterior del edificio según el proyecto de Giovanni Girometti, con ocasión de una reactivación de la Scuola Normale promovida por Giovanni Gentile.