En 1535 marcha Juan de Ávila a Córdoba, llamado por el obispo Fr. Álvarez de Toledo. Allí conoce a Fr. Luis de Granada, con quien entabla relaciones espirituales profundas. Organiza predicaciones por los pueblos (sobre todo por la Sierra de Córdoba), consigue grandes conversiones de personas muy elevadas, entabla buenas relaciones con el nuevo obispo de Córdoba, D. Cristobal de Rojas, que quien dirigirá las Advertencias al Concilio de Toledo.
La labor realizada en Córdoba fue muy intensa. Prestó mucha atención al clero, creando centros de estudios, como el Colegio de San Pelagio (en la actualidad el Seminario Diocesano), el Colegio de la Asunción (donde no se podía dar título de maestro sin haberse ejercitado antes en la predicación y el catecismo por los pueblos). Explica las cartas de san Pablo a clero y fieles. Un padre dominico, que primero se había opuesto a la predicación de san Juan, después de escuchar sus lecciones, dijo: <<vengo de oír al propio san Pablo comentándose a sí mismo.
Córdoba es la diócesis de san Juan de Ávila, tal vez ya desde 1535, pero con toda seguridad desde 1550. Allí le vemos cuando murió D.ª Sancha Carrillo, en 1537, de quien escribió una biografía que se ha perdido. Predica frecuentemente en Montilla, por ejemplo la cuaresma de 1541. Y las célebres misiones de Andalucía (y parte de Extremadura y Castilla la Mancha) las organiza desde Córdoba (hacia 1550-1554). Juan recibiría en Córdoba el modesto beneficio de Santaella, que le vinculó a la diócesis cordobesa para lo restante de su vida. En el Alcázar Viejo de Córdoba reuniría a veinticinco compañeros y discípulos con los que trabajaba en la evangelización de las comarcas vecinas.
A Granada acudió san Juan de Ávila, llamado por el arzobispo D. Gaspar de Avalos, el año 1536. Es en Granada donde tiene lugar el cambio de vida de san Juan de Dios; en la ermita de san Sebastián, oyendo a san Juan de Ávila, Juan Cidad, antiguo soldado y ahora librero ambulante, se convirtió en san Juan de Dios. En numerosas ocasiones san Juan de Dios a Montilla para dirigirse espiritualmente con el Maestro Ávila, convirtiéndose en su más fiel discípulo.
El duque de Gandía, Francisco de Borja, fue otra alma predilecta influida por la predicación de san Juan de Ávila; las honras fúnebres predicadas por éste en las exequias de la emperatriz Isabel (1539) fueron la ocasión providencial que hicieron cambiar de rumbo la vida del futuro general de la Compañía.
En Granada lo vemos formando el primer grupo de sus discípulos más distinguidos. En Granada también, en 1538 están fechadas las primeras cartas de san Juan de Ávila que conocemos. En los años sucesivos vemos a san Juan de Ávila en Córdoba, Baeza, Sevilla, Montilla, Zafra, Fregenal de la Sierra, Priego de Córdoba. La predicación, el consejo, la fundación de colegios, le llevan a todas partes.
La cuaresma de 1545 la predicó en Montilla. Su predicación iba siempre seguida de largas horas de confesionario y de largas explicaciones del catecismo a los niños; éste era un punto fundamental de su programa de predicación.