En 1543, a la muerte de su padre, heredó el ducado de Gandía. Como el rey Juan de Portugal se negó a aceptarle como principal personaje de la corte de Felipe II, quien iba a contraer matrimonio con su hija, Francisco renunció al virreinato y se retiró con su familia a Gandía. Ello constituyó un duro golpe, para su carrera pública, y desde entonces el duque empezó a preocuparse más de sus asuntos personales.
En efecto, fortificó la ciudad de Gandía para protegerla contra los piratas berberiscos, construyó un convento de dominicos en Lombay y reparó un hospital. Por entonces, el obispo de Cartagena escribió a un amigo suyo: "Durante mi reciente estancia en Gandía pude darme cuenta de que Don Francisco es un modelo de duques y un espejo de caballeros cristianos. Es un hombre humilde y verdaderamente bueno, un hombre de Dios en todo el sentido de la palabra... Educa a sus hijos con un esmero extraordinario y se preocupa mucho por su servidumbre. Nada le agrada tanto como la compañía de los sacerdotes y religiosos..."