IL nobile Tobia Pallavicino, che aveva fatto la sua fortuna commerciando in Allume, si fece edificare tra il 1558 ed il 1561 un palazzo in quella che, al tempo, era considerata la via più di tendenza, diremmo oggi, di Genova, la Via Nuova ora via Garibaldi. Ia costruzione fu affidata a Gio Battista Castello detto il Bergamasco che decorò anche gli interni del primo piano. L’ attuale struttura fu dovuta ai lavori d’ ampliamento voluti dai Carrega all’ inizio del 700 quando comprarono il palazzo.