Il palazzo completa l'assetto della piazza nella zona che fiancheggia a nord il Duomo e fu costruito come palazzo dei collegi di notai, giuristi e mercanti nel 1548.
Lo troviamo nominato nella bolla di Papa Gregorio XIII, datata 11 aprile 1580, in cui viene istituita la diocesi di Crema. Infatti la comunità lo aveva donato al primo vescovo di Crema, il nobile veneziano Gerolamo Diedo, allo scopo di assegnargli una sede adeguata.
Nella facciata in stile lombardo rinascimentale si distinguono due parti, l'inferiore dotata di un porticato che ricalca quello del Palazzo Comunale e la superiore, scandita da una doppia serie di cinque finestre.
Conclude il prospetto una fila di oculi.
Il balcone marmoreo che campeggia al centro della facciata all'altezza del cornicione è un'aggiunta del 1936, anno in cui fu demolita l'ala del palazzo addossata al lato nord del Duomo; era stata voluta nel 1584 dal secondo vescovo di Crema, Gian Giacomo Diedo e terminava con una breve facciata dotata di balcone per le benedizioni.
Gli stemmi ai lati della portafinestra presentano gli ornamenti distintivi della dignità vescovile -il tipico cappello da cui si dipartono i cordoni che terminano con tre nappe. Si riferiscono ai primi vescovi della città che appartenevano alle famiglie Diedo ed Emo, esponenti del patriziato veneto.