Durante la Segunda Guerra Mundial, el Papa Pío XII acogió en el Palacio a personas procedentes de las regiones colindantes afectadas por el conflicto. Pío XII cedió sus aposentos personales a las mujeres embarazadas y alrededor de 50 niños nacieron entre sus muros. Todos ellos se bautizaron con el nombre de Eugenio, puesto que el nombre del Papa era Eugenio Pacelli.
[Puede leer: Si hay posibles milagros por intercesión de Pío XII, ¿por qué no avanza el proceso de beatificación?]
El Palacio Apostólico de Castel Gandolfo se encuentra donde se alzaba la mítica ciudad de Alba Longa, lugar de nacimiento de Rómulo y Remo, fundadores de Roma. Alrededor del año 1.000, la familia Gandolfo, originarios de Génova, adquirieron el lugar y construyeron un castillo.
En el 1279, el Cardenal Giacomo Savelli, prefecto papal y capitán del ejército pontificio, adquirió los terrenos y la fortaleza. En el año 1285 el cardenal Savelli resultó elegido Papa con el nombre de Honorio IV. Los Savelli conservaron esa propiedad hasta finales del siglo XV, cuando la Cámara Apostólica la expropió para saldar la gran deuda que había contraído la familia.