En el año 1886, un incendio destruyó completamente la residencia de Joan Baptista Grau i Vallespinós, obispo de la diócesis de Astorga, en el noroeste de España. Como consecuencia de este hecho, el obispo decidió construir un nuevo edificio en el mismo solar, sobre las ruinas del antiguo palacio incendiado. A falta de un arquitecto diocesano en la zona, el obispo Grau encomendó la labor a Gaudí, a quien conocía por ser ambos oriundos de Reus. De hecho, ya en el año 1879, el religioso había consagrado el altar de la capilla del colegio Jesús-María de Tarragona, obra también de Gaudí.

El arquitecto aceptó el encargo a principios de 1887 y, durante el mes de junio, mandó los primeros planos desde Barcelona a Astorga. Entre 1887 y 1889, Gaudí retocó el proyecto a petición de la Real Academia de Bellas Artes de San Fernando de Madrid, que era la entidad consultiva escogida por el promotor. Varias interpelaciones retardaron su construcción que no se inició hasta el año 1889. En aquel momento, Gaudí ya casi había finalizado el Palau Güell de Barcelona, lo que le permitió trasladarse a Astorga y dirigir directamente las obras. Este desplazamiento resulta importante porque hizo posible que Gaudí conociera la arquitectura local y aplicara algunos de sus aspectos al nuevo palacio episcopal.

La primera piedra del edificio fue colocada el 24 de junio de 1889 y, mientras se construía, Gaudí visitó las obras en varias ocasiones entre 1890 y 1893. Hay que señalar que el arquitecto modificó la obra a medida que ésta se iba construyendo, de tal modo que los planos originales difieren sustancialmente de la obra realizada. En el año 1893 murió el obispo Grau y, tras algunas discrepancias entre el arquitecto, los canónigos y la Junta Diocesana, las obras se retrasaron y finalmente se detuvieron, situación que motivó la dimisión de Gaudí. Cuando abandonó la obra, el palacio episcopal estaba construido hasta la altura de la segunda planta, a punto de iniciarse la cubierta.

A partir de la renuncia de Gaudí, las obras fueron dirigidas por Francesc Blanch i Pons, quien intervino muy poco puesto que seis meses más tarde se detuvieron nuevamente las obras. Manuel Hernández y Álvarez Reyero tomaron la dirección en el año 1899, continuando la construcción en 1904. En 1905 el nuevo obispo de Astorga, Julián de Diego Alcolea, intentó el retorno de Gaudí en vano y, ante la negativa de éste, encargó la finalización del edificio al arquitecto Ricardo García Guereta que finalizó la cubierta en 1907. La capilla del palacio, construida por Gaudí y decorada por García Guereta, fue consagrada en 1913.

El palacio episcopal de Astorga está construido en un particular estilo gótico, por lo que exteriormente se asemeja a un edificio medieval, a la manera de un palacio fantástico, con muros de piedra, múltiples ventanales y torres circulares. Dichas torres, a una cierta altura, presentan el escudo del obispo Grau. La construcción está rodeada por un foso que da luz al sótano, un procedimiento también empleado por Gaudí en otras obras como la Sagrada Familia y la Casa de "los Botines".

Un pórtico en la fachada principal permite acceder al edificio. Tras cruzar un vestíbulo, se llega a una habitación central con bóveda de ladrillo de plano ojival y nervada, que es el tipo de bóveda que predomina en todo el palacio. Desde allí se accede a la escalera de una de las torres, desde donde se puede bajar al sótano o subir a la planta principal. Esta última presenta una disposición semejante a la de la planta baja e incluye la capilla, la sala del trono, el comedor, las habitaciones privadas del obispo y varios apartamentos para invitados. La tercera planta estaba destinada a servicios e incluía también la biblioteca. La parte superior está rematada por la cubierta, resuelta de un modo distinto al previsto por Gaudí que había proyectado unas oberturas para la entrada de luz hasta la planta baja.

El palacio episcopal de Astorga jamás se utilizó como residencia de obispos. A pesar de que sufrió desperfectos durante la guerra civil española, el edificio fue restaurado y se convirtió en el Museo de los Caminos a partir de 1963, año en el que fueron colocados los tres ángeles de zinc que Gaudí inicialmente había diseñado para la cubierta sobre pedestales en torno al edificio.