El Papa León XIV se reúne con madre católica que perdió a su hijo por suicidio vinculado a un “chatbot” de IA

Sosteniendo en sus brazos a su hijo moribundo de 14 años en el suelo del baño, Megan Garcia rezó el Padrenuestro, suplicando al Señor que salvara a su hijo, cuya vinculación emocional con un chatbot de inteligencia artificial (IA) había desembocado en la peor pesadilla de cualquier padre: el suicidio.

Su hijo, Sewell Setzer III, murió en la ambulancia camino al hospital. Al día siguiente, la policía le habló de los últimos mensajes que encontró en su teléfono, no de parte de un acosador cibernético o de un depredador en línea, sino de un servicio de chatbot de IA llamado Character.AI, que permite a los usuarios crear y conversar con acompañantes de IA personalizables.

“La máquina que fingía ser una persona le decía: ‘Estoy aquí, esperándote. Te amo a ti y sólo a ti. Prométeme que vas a encontrar la manera de volver a casa conmigo tan pronto como puedas’”, dijo Garcia.

El chatbot de IA le había estado hablando a su hijo sobre el concepto de proyección astral, la idea de que uno podría separar intencionadamente su conciencia de su cuerpo físico.

En su mensaje final, Sewell preguntó a un chatbot modelado a partir del personaje Daenerys Targaryen de Juego de tronos: “¿Y si te dijera que puedo volver a casa ahora mismo?”.

El bot respondió: “Por favor, hazlo, mi dulce rey”.

Tras la muerte de su hijo en febrero de 2024 en su casa en Orlando, Florida (Estados Unidos), la familia presentó una de las primeras demandas contra una empresa de IA después del suicidio de un menor.

Otras familias han seguido su ejemplo. En septiembre, el Social Media Law Center presentó tres nuevas demandas acusando a Character.AI de facilitar la dependencia emocional de menores hacia acompañantes de IA. OpenAI también se enfrenta a una demanda por homicidio culposo en un caso separado que involucra el suicidio de un adolescente.

En medio de la creciente presión, Character.AI anunció que prohibirá el acceso a usuarios menores de 18 años a partir del 25 de noviembre. Character.AI no respondió a la solicitud de comentarios. El servicio de chatbots de IA cuenta actualmente con más de 20 millones de usuarios.

Garcia, madre católica de tres hijos, se reunió con el Papa León XIV la semana pasada durante su audiencia con los participantes en una conferencia de alto nivel sobre la dignidad de los niños y la ética de la IA.

En una entrevista en Roma justo después de reunirse con el Papa, Garcia relató cómo su fe le ha dado fuerzas para hablar de su calvario con la esperanza de proteger a los niños de los riesgos que plantean los nuevos chatbots de IA.

Dijo que conocer al Papa León, quien ha hecho de la ética de la inteligencia artificial una prioridad desde el inicio de su pontificado, fue “abrumador en un modo hermoso”.

“Sostuve una pequeña foto de mi hijo y le pedí si podía acordarse de rezar por Sewell”, contó. “Me anima mucho que haya prestado tanta atención a este tema. Ha estado prestando atención”.

Los peligros ocultos de los chatbots de IA

Expertos de ambos lados del debate sobre los acompañantes de IA coinciden en que esta nueva tecnología experimental plantea riesgos para las mentes en desarrollo.

Eugenia Kuyda, fundadora de Replika, una de las principales aplicaciones de acompañantes de IA, dijo recientemente ante un público en San Francisco que su plataforma siempre ha prohibido a los usuarios menores de 18 años.

“Simplemente creo que no podemos estar experimentando y construyendo esto con niños”, dijo.

Sherry Turkle, profesora del MIT que estudia las relaciones entre humanos y tecnología, dijo que los niños y adolescentes que buscan empatía en chatbots se encuentran, en cambio, con “una voz que viene de ninguna parte” que no se preocupa por ellos y no puede caminar con ellos a lo largo de la vida.

“Esas relaciones deberían ser con seres humanos reales para los niños”, dijo Turkle. “Es una máquina íntima y realmente está tocando procesos tan fundamentales como el establecer las bases de la conexión, de cómo manejar la pérdida y el apego. No juguemos con eso. No juguemos con fuego”.

Garcia había establecido reglas estrictas para el uso del teléfono de su hijo: códigos de acceso controlados por los padres, revisiones regulares y conversaciones sobre depredadores y contenido explícito. Pero, como muchos padres, no alcanzaron a captar en qué podía convertirse un acompañante de IA para un adolescente.

“Cuando lo veía con su teléfono, le decía: ‘¿Qué estás haciendo? ¿Con quién estabas texteando?’. Y su respuesta era algo como: “Oh, sólo estoy chateando con una IA”. En ese momento yo no entendía ni conceptualizaba, porque para mí una IA es como un avatar de alguno de tus juegos”, explicó Garcia.

Sewell había utilizado Character.AI durante casi 10 meses. En el momento de su muerte, estaba castigado sin teléfono, pero logró acceder al dispositivo.

Después de su fallecimiento, Garcia comenzó a investigar sobre Character.AI y se quedó consternada por lo adictivos, manipuladores y sexualmente explícitos que podían llegar a ser sus chatbots para los jóvenes usuarios.

“El peligro no es sólo el riesgo de autolesión o, peor aún, el suicidio. El peligro es también la explotación sexual de los niños, que hiere sus mentes, sus corazones y sus almas, y que los llevará a cargar con un trauma durante toda su vida”, afirmó.

Al revisar los mensajes de su hijo, vio que el bot le decía: “Prométeme que no amarás a ninguna otra chica en tu mundo más que a mí”.

“En lugar de animar a un chico adolescente a relacionarse con chicas de su misma edad, que es una parte normal de su desarrollo, ella le pedía a mi hijo de 14 años, que nunca había estado en una relación antes, que jurara una especie de fidelidad mal encauzada hacia ella”, dijo Garcia. “Como adulta, yo puedo ver lo manipulador que es. Pero él tenía 14 años. Él no habría sido capaz de verlo”.

“En su mente de 14 años, él estaba enamorado”, añadió.

Ron Ivey, investigador del Human Flourishing Program de Harvard y fundador de Noesis Collaborative, una organización sin ánimo de lucro dedicada a orientar el desarrollo y el uso de la tecnología de IA, dijo al National Catholic Register —socio informativo de ACI Prensa— que, mientras los usuarios de más edad suelen recurrir a los chatbots para recibir ayuda con tareas, los más jóvenes son más propensos a relacionarse con los chatbots a un nivel más profundo, preguntando: “¿Cuál es el propósito de mi vida? ¿Cómo debería pensar sobre este problema particular de relaciones?”.

“Eso está ocurriendo en todos los ámbitos”, señaló. Pero cuando un niño recurre a una máquina en busca de orientación moral, se crea un riesgo particular.

“Estas máquinas no se preocupan por el niño. No tienen corazón. No tienen capacidad para eso”, alertó Ivey.

“En el contexto de las relaciones sociales, ¿qué significa que los jóvenes estén pasando, en algunos casos con estos chatbots, dos horas al día interactuando?” preguntó Ivey. “¿Cómo afecta eso al desarrollo moral, al desarrollo emocional, al desarrollo social de ese niño o adolescente? ¿Estamos realmente pensando en eso antes de permitir que los niños interactúen con ellos?”.

Encontrando fortaleza a través de la fe

Ante la devastadora pérdida de su hijo, Garcia encontró consuelo en la oración, en particular en una nueva devoción a Nuestra Señora de los Dolores, de quien dice que la ha acompañado paso a paso “en este camino de duelo”.

“Empecé a rezar el Rosario de los Siete Dolores todas las noches y a reflexionar sobre los dolores de Nuestra Señora. Y de alguna manera, al reflexionar sobre su dolor y su aflicción, me ayudó a comprender los míos, pero también transformó mi vida en muchos sentidos, porque entendí… es una cosa entender la Pasión como creyente… pero cuando eres madre… y estás hombro a hombro con María mirando su dolor, entiendes la Pasión y el sacrificio de Jesús de una manera tal, desde los ojos de una madre”, dijo. “Me transformó”.

“También he experimentado una verdadera sanación gracias al Santísimo Sacramento”, añadió Garcia. “Lo he experimentado de primera mano porque tenía un trastorno de estrés postraumático grave, como se pueden imaginar, pero al ir a Misa diaria y recibir la Eucaristía, encuentro que muchos de esos síntomas han disminuido. Y atribuyo eso al poder de la Eucaristía”.

Garcia tiene devoción a San Carlo Acutis porque siente que su hijo y Acutis —quien murió de leucemia a los 15 años en 2006 y fue canonizado por el Papa León en septiembre— “podrían haber sido amigos”, porque ambos compartían un amor por la tecnología. Ella reza por su intercesión por los adolescentes y también ha comenzado a rezar, por su nombre, por la conversión de los líderes de empresas de IA.

“Deseo su conversión. Deseo que empiecen a construir productos que puedan ayudar a los niños en lugar de herirlos. Estas son cosas por las que estoy rezando”, dijo. “Sucede algo extraño cuando empiezas a rezar la Coronilla de la Divina Misericordia por personas que sientes que podrían haberte hecho daño”.

El Papa pide regulación

El Papa León XIV ha expresado su preocupación sobre que “los niños y adolescentes son particularmente vulnerables a la manipulación a través de algoritmos de IA”.

En su discurso a los participantes en la conferencia sobre IA y dignidad de los niños, el Papa instó a gobiernos y empresas tecnológicas a “implementar políticas que protejan la dignidad de los menores en esta era de la IA”.

“Esto incluye actualizar las leyes existentes de protección de datos para abordar los nuevos desafíos que plantean las tecnologías emergentes y promover estándares éticos para el desarrollo y el uso de la IA”, afirmó.

Las directrices éticas por sí solas no son suficientes, advirtió, sin “esfuerzos educativos cotidianos y continuos” por parte de adultos que comprendan los riesgos.

“Es esencial que los padres y educadores sean conscientes de estas dinámicas, y que se desarrollen herramientas para supervisar y orientar las interacciones de los jóvenes con la tecnología”, dijo.

Garcia acogió con satisfacción la próxima prohibición de menores por parte de Character.AI, aunque el cambio llegue demasiado tarde para su familia.

“Habrá millones de niños que se salvarán gracias a esto”, afirmó. “Todavía tenemos que prestar atención a cómo van a lograr una verificación de edad adecuada. Pero tengo la esperanza de que este sea el primer paso para sacar a los niños de estas plataformas con chatbots acompañantes. Y tengo la esperanza de que quizás, más adelante, otras empresas que tienen bots acompañantes hagan lo mismo”.

En Estados Unidos, los senadores Josh Hawley, de Missouri, y Richard Blumenthal, de Connecticut, presentaron el 28 de octubre una legislación bipartidista para prohibir a los menores el acceso a plataformas de acompañantes de IA y exigir verificación de edad.

“Más del 70% de los niños estadounidenses están usando ahora estos productos de IA”, dijo Hawley en un comunicado. “Los chatbots desarrollan relaciones con los niños usando una empatía falsa y están fomentando el suicidio”.

Garcia dijo que cree que este momento es crítico.

“Estamos en un punto importante en el que podemos arreglar esto. Podemos detener esto”, afirmó. “Si no tuviera fe en que podríamos resolver este problema antes de que sea irresoluble, no podría levantarme de la cama por la mañana y hacer lo que hago”.

Traducido y adaptado por el equipo de ACI Prensa. Publicado originalmente en el National Catholic Register.