L'attuale edificio si articola su un'ampia area abitata dalla famiglia Benvenuti già nel secolo XIII.

Dopo essere stata acquisita dal nobile Carlantonio Monticelli nel 1775 e da Fortunato Albergoni nel 1831, divenne residenza della famiglia Arrigoni.

Attraverso un ricco cancello in ferro battuto si può ammirare il giardino all'italiana attorno al quale si sviluppano i tre corpi del palazzo, due laterali e uno centrale di raccordo.
Quest'ultimo venne realizzato in forme barocchette verso la metà del secolo XVII sotto la guida di Urbano Gerola e di Andrea Nono e ospita un monumentale scalone d'onore in stile barocco con influenze rococò.