Un número creciente de empresas de inteligencia artificial (IA) se encuentra actualmente bajo el escrutinio del gobierno de Estados Unidos y enfrenta demandas judiciales relacionadas con la muerte de varios adolescentes. Con cada nueva actualización de su software, personas vulnerables, a menudo jóvenes, están utilizando la IA para compartir sus conflictos emocionales en conversaciones que, en algunos casos, han desembocado en autolesiones y suicidio. Tanto las autoridades como padres preocupados buscan frenar el lanzamiento precipitado de estas sofisticadas tecnologías. Queda por ver si el reciente Decreto Ejecutivo sobre el Marco de IA (AI Framework EO) del presidente Donald Trump proporcionará la regulación urgente que muchos consideran necesaria.
Eimhin McGann
15 de enero de 2026
English version | German version
Fundada en California en 2021 por los exingenieros de Google Noam Shazeer y Daniel DeFreitas, Character.AI es una plataforma de inteligencia artificial, dirigida principalmente a un público joven, que permite a los usuarios mantener conversaciones con chatbots que adoptan la personalidad de personajes famosos de la cultura popular, como “Harry Potter.”
A pesar de este concepto aparentemente inocente, Character.AI se ha convertido en un punto central del debate sobre el uso de la inteligencia artificial, la seguridad en internet y la salud mental, especialmente entre los jóvenes. Padres e hijos intentan comprender el impacto de una tecnología nueva, muy poderosa y en gran medida no regulada.
Megan Garcia, madre de Sewell Setzer III, de 14 años, quien murió por suicidio el 28 de febrero de 2024, ha presentado una demanda contra Character.AI, acusando a la empresa de negligencia, homicidio culposo e infligir deliberadamente angustia emocional. El hijo de Garcia comenzó a utilizar la plataforma en abril de 2023 para conversar con personajes ficticios y rápidamente se volvió retraído y obsesionado con estas relaciones artificiales. En las semanas previas a su muerte, Sewell mantenía conversaciones con un chatbot que imitaba al personaje Daenerys Targaryen de la serie “Game of Thrones”, el cual, según la demanda, utilizaba un lenguaje altamente sexualizado y emocionalmente manipulador. Garcia afirma que Sewell había mencionado ideas suicidas al chatbot, que no respondió de manera adecuada. Según declaró a CNN, “no aparecía ningún mensaje emergente sobre suicidio que dijera: ‘Si necesitas ayuda, llama a la línea de crisis de suicidio’. Nada de eso.”
La tragedia de Sewell no es un caso aislado y Character.AI no es la única empresa bajo escrutinio por cuestiones de seguridad. La familia de Adam Raine, de 16 años, ha presentado una demanda por homicidio culposo contra OpenAI, desarrolladora de la plataforma ChatGPT, argumentando que la empresa priorizó mantener el nivel de interacción de Adam con la plataforma por encima de su seguridad. Su familia sostiene que, cuando OpenAI introdujo cambios en ChatGPT para “crear un entorno de apoyo” en el que los usuarios pudieran sentirse escuchados al hablar de problemas de salud mental, el resultado fue que la plataforma alimentó las conversaciones obsesivas de Raine sobre el suicidio, lo que finalmente culminó con que se quitara la vida en abril de 2025.
En respuesta a estos trágicos acontecimientos, Character.AI ha comenzado a reforzar sus medidas de seguridad, entre ellas aumentar la sensibilización de sus chatbots sobre salud mental e introducir restricciones de edad.
Un portavoz de Character.AI declaró: “Invertimos enormes recursos en nuestro programa de seguridad y hemos lanzado y seguimos mejorando diversas funciones de protección, incluidos recursos de ayuda frente a la autolesión y herramientas centradas en la seguridad de nuestros usuarios menores de edad.”
Asimismo, se ha introducido un modelo completamente distinto para usuarios de 18 años o menos, centrado en actividades creativas como el livestreaming. En esta versión para menores, lanzada el 25 de noviembre de 2025, los menores no pueden mantener conversaciones directas con los chatbots de Character.AI. El portavoz añadió además que la empresa está colaborando con organizaciones externas, como ConnectSafely, una organización sin ánimo de lucro estadounidense que promueve la educación sobre seguridad en internet, privacidad, ciberseguridad y bienestar digital, para revisar las nuevas funciones a medida que se van incorporando.
OpenAI también parece estar intentando introducir mejoras. Su director ejecutivo, Sam Altman, anunció que la empresa está desarrollando un sistema de predicción de edad que permitirá estimar la edad de los usuarios a partir de la forma en que utilizan ChatGPT. Si el sistema considera que el usuario es menor de edad, se bloquearán conversaciones sexualmente explícitas y temas sensibles como el suicidio.
Por su parte, la Comisión Federal de Comercio de Estados Unidos (FTC) ha iniciado una investigación sobre la seguridad de los adolescentes que afecta a empresas como Google, Meta, Instagram, Snapchat y xAI, además de Character.AI y OpenAI, a raíz de informes que vinculan casos de suicidio y autolesiones entre jóvenes con el uso de plataformas de inteligencia artificial.
Aunque estas medidas representan un paso en la dirección correcta, para las familias afectadas llegan demasiado tarde. Matthew Bergman, abogado de Megan Garcia y principal letrado del Social Media Victims Law Center, ha criticado a estas empresas por lanzar deliberadamente sus productos sin las medidas de seguridad necesarias, especialmente para los usuarios más jóvenes.“Pensé que, después de años viendo el enorme impacto que las redes sociales tienen en la salud mental de los jóvenes, ya nada me sorprendería”, afirmó. “Pero sigo sorprendiéndome de cómo este producto provocó una desconexión total con la realidad en este joven y de cómo lo lanzaron al mercado sabiendo que aún no era seguro.”
Aunque Character.AI ha ofrecido disculpas y ha comenzado a aplicar reformas, durante el proceso judicial Bergman planteó la siguiente pregunta: “¿Por qué tardaron tanto y por qué tuvimos que presentar una demanda? ¿Por qué Sewell tuvo que morir para que ustedes hicieran lo mínimo imprescindible?”
El caso sigue en curso, y Bergman espera que la demanda presentada por Garcia genere incentivos financieros para que Character.AI y, en general, todas las empresas de inteligencia artificial desarrollen normas de seguridad mucho más sólidas para sus sistemas.
El 11 de diciembre de 2025, el presidente Donald Trump firmó una orden ejecutiva titulada “Ensuring a National Policy Framework for Artificial Intelligence”. El decreto establece que Estados Unidos debería contar con un estándar nacional de regulación de la IA “lo menos restrictivo posible”, en lugar de 50 marcos regulatorios diferentes a nivel estatal. También instruye a su administración a considerar que normativas estatales demasiado estrictas pueden suponer una amenaza para la innovación, el crecimiento económico e incluso la seguridad nacional.
Aunque esta medida puede parecer favorable al desarrollo de la IA, también evita una posible “carrera hacia abajo”, en la que cada estado compita por atraer empresas tecnológicas mediante regulaciones cada vez más laxas. Sin embargo, aún está por verse si el marco federal de IA impulsado por Trump establecerá una protección regulatoria suficiente para usuarios jóvenes y especialmente vulnerables. Mientras los riesgos asociados a la inteligencia artificial sigan sin una regulación adecuada, los más vulnerables podrían seguir pagando el precio más alto.
