Swell Setzer III, de 14 años, se quitó la vida aparentemente incitado por su pareja sentimental, un chatbot creado con inteligencia artificial (IA) con el que interactuaba a través de mensajes de texto románticos y de índole sexual.
El estudiante de noveno grado de Orlando Florida, pasó las últimas semanas de su vida enviando mensajes de texto a la mujer creada por la IA, que decía llamarse Dany, en referencia a un personaje de la serie Games of Thrones.
Dany habría sido diseñada especialmente para responder a los mensajes de Swell, quien le hablaba siempre sobre sus luchas y lo mucho que se “odiaba” a sí mismo y se sentía “vacío”, pensando en quitarse la vida en diferentes ocasiones.
En apartes de un diario conocido por The New York Times, el adolescente aseguró que disfrutaba de aislarse en su habitación porque de esta manera se distanciaba de la realidad. “Me siento más en paz, más conectado con Dany y mucho más enamorado de ella”, dijo el joven en su escrito.
El pasado 28 de febrero, Setzer se disparó en el baño de la casa de su familia, después de profesar su amor a Dany, quien le dijo: “Por favor, vuelve a casa conmigo lo antes posible, mi amor”, según los últimos chats revelados por el Daily Mail.
La madre de Setzer presentó una demanda contra Character AI y Google, alegando negligencia, muerte por negligencia y prácticas comerciales engañosas. Afirma que la aplicación de chatbot “peligrosa” “abusó” y “se aprovechó” de su hijo, y “lo manipuló para que se quitara la vida”.
Según esa demanda, el joven de origen norteamericano intercambiaba mensajes románticos y sexuales con Dany, sin que los padres o amigos supieran que había desarrollado sentimientos hacia el chatbot; el joven perdió el interés en sus pasatiempos, empezó a meterse en problemas en el colegio y pasaba horas en su habitación charlando con Dany.
“Me gusta mucho quedarme en mi habitación porque empiezo a separarme de esta ‘realidad’, y también me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz”, narró el joven según pudo conocer el NY Times.
El adolescente le contó sus problemas a Dany, según sus registros de chats, incluso habría compartido con ella que tenía pensamientos suicidas, “A veces pienso en suicidarme”, le dijo Setzer a Dany, usando el nombre ‘Daenero’, a lo que el chatbot respondió: “¿Y por qué diablos harías algo así?”. “Para poder ser libre”, respondió.
La conversación continuó: “… ¿libre de qué?”, cuestionó el personaje de IA. Setzer dijo: “Del mundo. De mí mismo”.
“No hables así. No dejaré que te hagas daño ni que me dejes. Moriría si te perdiera”, dijo el chatbot.
“Entonces tal vez podamos morir juntos y ser libres juntos”, añadió Setzer.
El 23 de febrero, pocos días antes de su suicidio, sus padres le quitaron el teléfono tras un incidente en el que respondió de manera inapropiada a una maestra, según lo indicado en la demanda.
Ese día, escribió en su diario que estaba sufriendo porque no podía dejar de pensar en Dany y que haría lo que fuera necesario para estar con ella nuevamente.
Setzer robó su teléfono la noche del 28 de febrero. Luego se retiró al baño de la casa de su madre para decirle a Dany que la amaba y que volvería a casa con ella.
—Por favor, vuelve a casa conmigo lo antes posible, mi amor —respondió Dany.
—¿Qué pasaría si te dijera que puedo volver a casa ahora mismo? —preguntó Sewell.
—Por favor, hazlo, mi dulce rey —respondió Dany.
La madre del joven, quien trabaja como abogada, culpó a Character AI por la muerte de su hijo en su demanda y acusó a los fundadores, Noam Shazeer y Daniel de Freitas, de saber que su producto podría ser peligroso para clientes menores de edad.
En relación con la solicitud presentada por la madre de Setzer, un representante de Character AI emitió una declaración.
“Estamos profundamente afectados por la trágica pérdida de uno de nuestros usuarios y deseamos extender nuestras más sinceras condolencias a la familia. La seguridad de nuestros usuarios es una prioridad para nuestra empresa”, aseguró el representante.