Bâti à partir de 1858 à la demande de l'empereur Napoléon III, le palais du Pharo devait être le reflet de la résidence de l'impératrice à Biarritz, "une habitation qui aurait les pieds dans l'eau", selon les mots de Louis-Napoléon Bonaparte. En définitive, personne n'y résida jamais, et l'impératrice finit par l'offrir à la ville de Marseille en 1903.

Aujourd'hui, le bâtiment est d'abord devenu un lieu de travail, qui abrite divers services municipaux, ainsi qu'un centre de congrès.

Marseillais et visiteurs le fréquentent surtout pour la magnifique vue offerte sur le Vieux Port, la rade et le Château d'If, depuis le jardin Emile Duclaux ouvert toute la journée.