El 11 de octubre de 1962 el Papa Roncalli abrió el Concilio Vaticano II en San Pedro. Este Concilio cambiaría el rostro del catolicismo: una nueva forma de celebrar la liturgia (más cercana a los fieles), un nuevo acercamiento al mundo y un nuevo ecumenismo. Respecto de esto último, Juan XXIII había creado en 1960 el Secretariado para la promoción de la unidad de los cristianos, 12 una comisión preparatoria al Concilio que más tarde permanecería bajo el nombre de Consejo Pontificio para la Unidad de los Cristianos. Era la primera vez que la Santa Sede creaba una estructura consagrada únicamente a temas ecuménicos. Para la presidencia de ese organismo el papa designó al cardenal Augustin Bea, quien luego se convertiría en una de las figuras determinantes del Concilio Vaticano II.
Desde la apertura del Concilio, el papa Juan XXIII enfatizó la naturaleza pastoral de sus objetivos: no se trataba de definir nuevas verdades ni condenar errores, sino que era necesario renovar la Iglesia para hacerla capaz de transmitir el Evangelio en los nuevos tiempos (un aggiornamento), buscar los caminos de unidad de las Iglesias cristianas, buscar lo bueno de los nuevos tiempos y establecer diálogo con el mundo moderno centrándose primero "en lo que nos une y no en lo que nos separa".
Al Concilio fueron invitados como observadores miembros de diversos credos, desde creyentes islámicos hasta indios americanos, al igual que miembros de todas las Iglesias cristianas: ortodoxos, anglicanos, cuáqueros, y protestantes en general, incluyendo, evangélicos, metodistas y calvinistas no presentes en Roma desde el tiempo de los cismas.