Il castello di San Giorgio, chiamato anche castello Brown dal nome del console che trasformò l’ area circostante in uno splendido giardino mediterraneo, domina la baia di Portofino, anticamente sulla sua terrazza erano piazzate le artiglierie che difendevano il borgo sottostante dagli attacchi dei saraceni, che frequentemente battevano le coste liguri mettendole a ferro e fuoco, violentando le donne e riducendo gli uomini in schiavitù. Il maniero è raggiungibile dalla salita che conduce alla chiesa di San Giorgio, le prime notizie relative a questa struttura difensiva si hanno nel XV secolo, ma sembra che prima comunque ci fosse in loco una torre d’ avvistamento. La proprietà del complesso è oggi del Comune che lo usa per esposizioni e mostre temporanee.