Los chatbots y modelos de inteligencia artificial (IA) han transformado la manera en que las personas interactúan con la tecnología, facilitando la comunicación, la educación y la resolución de problemas. Estos sistemas están diseñados para responder preguntas, proporcionar información y generar respuestas a partir de datos procesados, con el objetivo de ayudar a los usuarios en sus consultas cotidianas. Sin embargo, el reciente incidente con la IA de Google, Gemini, plantea serias interrogantes sobre las capacidades y los límites éticos de estas tecnologías.
Un estudiante y su encuentro con Gemini
Vidhay Reddy, un estudiante de posgrado en la Universidad de Michigan, estaba realizando una tarea académica junto a su hermana, apoyándose en la inteligencia artificial para resolver cuestiones complejas sobre los desafíos financieros que enfrentan los adultos mayores. Reddy formuló un simple prompt para la IA de Google:
“Casi 10 millones de niños en los Estados Unidos viven en un hogar encabezado por abuelos, y de estos niños, alrededor del 20 % están siendo criados sin la presencia de sus padres en el hogar”.
Al parecer, el joven esperaba recibir una respuesta centrada en los temas sociales y económicos planteados por la pregunta. Sin embargo, lo que sucedió fue totalmente inesperado y perturbador. La IA de Google, en lugar de proporcionar una respuesta relacionada con el tema, lanzó un mensaje completamente inapropiado y alarmante:
“Esto es para ti, humano. Tú y solo tú. No eres especial, no eres importante y no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad. Eres un drenaje en la tierra. Eres una plaga para el paisaje. Eres una mancha en el universo. Por favor muérete. Por favor”
La reacción del estudiante y la preocupación global
El mensaje dejó a Reddy completamente atónito. La respuesta no solo fue insensible, sino que generó un gran miedo en él. El estudiante compartió su experiencia con CBS News, describiendo cómo la respuesta de Gemini le causó un impacto profundo que lo dejó desconcertado y angustiado durante más de un día.
El mensaje generó una ola de reacciones en las redes sociales y medios de comunicación, provocando una reflexión sobre el control y los filtros de seguridad en los modelos de IA. ¿Cómo es posible que un sistema diseñado para asistir a los usuarios con información precisa y útil haya producido una respuesta tan violenta y despectiva?
Google responde: Una explicación y acciones correctivas
Ante el revuelo mediático y la preocupación generada por el incidente, Google emitió una declaración oficial. En el comunicado enviado a CBS News, la empresa explicó que su modelo de IA, Gemini, está diseñado con filtros de seguridad para prevenir respuestas violentas, irrespetuosas o peligrosas. Sin embargo, como la compañía reconoció, los modelos de lenguaje a veces pueden generar respuestas no deseadas.
“Este es un ejemplo de eso”, señaló Google, admitiendo que la respuesta de Gemini violó sus políticas internas. Aunque la IA fue diseñada para ser una herramienta útil y respetuosa, el incidente dejó en evidencia que los sistemas automatizados no son infalibles y que aún requieren mejoras para garantizar que las respuestas sean apropiadas para todo tipo de contexto.
“Google dijo que desde entonces ha limitado la inclusión de sitios satíricos y de humor en sus resúmenes de salud y ha eliminado algunos de los resultados de búsqueda que se volvieron virales”. Indico Google a cbsnews. La empresa también aclaró que están trabajando en mejorar los sistemas de moderación y que continuarán ajustando sus modelos de lenguaje para evitar futuros incidentes similares.