Il palazzo, già di proprietà della famiglia Vimercati, nel 1422 fu lasciato in eredità ai frati di Sant'Agostino perché vi fondassero un loro convento (successivamente eretto in via Dante Alighieri, oggi sede del Museo civico).

All'inizio del Cinquecento nell’edificio dimoravano i conti Griffoni Sant'Angelo, una famiglia della nobiltà guerriera al servizio della Serenissima; in seguito la proprietà passò ai conti Scotti, che lo abitarono fino alla seconda metà del Settecento. Da quel momento iniziò la decadenza dello stabile, che conobbe differenti destinazioni (osteria, albergo, stazione di diligenze).

L'edificio attuale è l’esito dei rimaneggiamenti ottocenteschi e novecenteschi che lo riportarono alle originarie funzioni abitative; nel 1917 fu acquistato dal generale Fortunato Marazzi, nominato nel 1921 Senatore del Regno.

L'ampio ingresso dall’omonima via era un tempo destinato alle carrozze, mentre l’accesso pedonale a nord si apre sul vicolo che dava sulla Strada di Porta Ombriano (oggi via XX Settembre).