Eine wachsende Zahl von Unternehmen im Bereich der Künstlichen Intelligenz (KI) steht derzeit in den USA wegen der Todesfälle mehrerer Jugendlicher unter staatlicher Prüfung sowie im Fokus von Klagen. Mit jeder neuen Aktualisierung ihrer Software finden gefährdete und häufig sehr junge Menschen Wege, KI zu nutzen, um ihre inneren Konflikte und emotionalen Belastungen zu teilen in Gesprächen, die in einigen Fällen zu Selbstverletzungen und Suizid geführt haben. Sowohl staatliche Stellen als auch besorgte Eltern bemühen sich, die leichtfertige Veröffentlichung dieser hochentwickelten Technologien einzudämmen. Ob die jüngste Executive Order von Präsident Trump zum KI-Rahmenwerk (AI Framework EO) die dringend benötigte Regulierung bringen wird, bleibt abzuwarten.
Eimhin McGann
15. Jänner 2026
English version
Das 2021 in Kalifornien von den ehemaligen Google-Ingenieuren Noam Shazeer und Daniel DeFreitas gegründete Unternehmen Character.AI ist eine Plattform für Künstliche Intelligenz (KI), die vor allem an junge Menschen vermarktet wird. Sie ermöglicht es Nutzern, Gespräche mit Chatbots zu führen, die die Form bekannter Figuren aus Film und Medien annehmen, etwa “Harry Potter.”
Trotz dieses scheinbar harmlosen Konzepts ist Character.AI zu einem Brennpunkt der Debatte über den Einsatz von Künstlicher Intelligenz, Online-Sicherheit und die psychische Gesundheit, insbesondere von jungen Menschen geworden. Eltern und ihre Kinder stehen vor der Herausforderung, eine sehr leistungsfähige und bislang weitgehend unregulierte neue Technologie zu verstehen.
Megan Garcia, die Mutter des 14 jährigen Sewell Setzer III, der am 28. Februar 2024 Suizid beging, verklagt Character.AI. Sie wirft dem Unternehmen Fahrlässigkeit, unrechtmäßige Todesverursachung sowie die vorsätzliche Zufügung emotionalen Leids vor. Garcias Sohn begann im April 2023 die Plattform Character.AI zu nutzen, um mit fiktiven Figuren zu kommunizieren, und entwickelte schnell ein zurückgezogenes Verhalten sowie eine starke Fixierung auf diese künstlichen Beziehungen. In den Wochen vor seinem Tod führte Sewell Gespräche mit einem Chatbot, der der Figur Daenerys Targaryen aus der Serie Game of Thrones ähnelte. Laut Klageschrift verwendete dieser Chatbot eine stark sexualisierte und emotional manipulative Sprache. Garcia zufolge hatte Sewell gegenüber dem Chatbot auch suizidale Gedanken geäußert, worauf dieser nicht angemessen reagiert habe. Gegenüber CNN sagte Garcia: “Es gab keine Pop-up-Hinweise zum Thema Suizid, etwa: Wenn Sie Hilfe benötigen, wenden Sie sich bitte an eine Suizid-Krisenhotline. Nichts davon.”
Sewells tragischer Fall ist kein Einzelfall, und Character.AI ist nicht das einzige Unternehmen, das aufgrund von Sicherheitsbedenken unter Beobachtung steht. Die Familie des 16-jährigen Adam Raine hat eine Klage wegen unrechtmäßiger Todesverursachung gegen OpenAI, den Entwickler der Plattform ChatGPT, eingereicht. Sie argumentiert, dass das Unternehmen der Aufrechterhaltung von Adams Nutzung der Plattform mehr Bedeutung beigemessen habe als seiner Sicherheit.
Nach Angaben der Familie nahm OpenAI Änderungen an ChatGPT vor, um eine “unterstützende Umgebung” zu schaffen, in der Nutzer sich gehört fühlen können, wenn sie über Themen wie psychische Probleme sprechen. Das Ergebnis sei jedoch gewesen, dass die Plattform Adams obsessive Gespräche über Suizid weiterführte, was schließlich dazu führte, dass er sich im April 2025 das Leben nahm.
Als Reaktion auf diese tragischen Ereignisse hat Character.AI begonnen, seine Sicherheitsmaßnahmen zu verbessern, etwa durch eine stärkere Sensibilisierung der Chatbots für Themen der psychischen Gesundheit sowie durch die Einführung von Altersbeschränkungen.
Ein Sprecher von Character.AI erklärte: “wir investieren erhebliche Ressourcen in unser Sicherheitsprogramm und haben Sicherheitsfunktionen eingeführt und entwickeln diese weiter, darunter Hilfsangebote bei Selbstverletzung sowie Funktionen, die speziell auf die Sicherheit minderjähriger Nutzer ausgerichtet sind.”
Darüber hinaus wurde ein separates Modell für Nutzer im Alter von 18 Jahren oder jünger eingeführt, das sich stärker auf kreative Projekte wie Livestreaming konzentriert. In dieser Version für unter 18-Jährige, die am 25. November 2025 gestartet wurde, ist es Minderjährigen nicht möglich, direkte Gespräche mit Character.AI-Chatbots zu führen.
Der Sprecher fügte außerdem hinzu, dass das Unternehmen mit externen Organisationen zusammenarbeitet, darunter ConnectSafely, eine US-amerikanische Non-Profit-Organisation, die Menschen aller Altersgruppen über Online-Sicherheit, Datenschutz, IT-Sicherheit und digitales Wohlbefinden informiert. Diese Organisation überprüft neue Funktionen, sobald sie veröffentlicht werden.
Auch OpenAI scheint Schritte zu unternehmen, um die Situation zu verbessern. CEO Sam Altman kündigte an, dass das Unternehmen ein System zur Altersschätzung entwickelt, das anhand der Nutzung von ChatGPT das Alter der Nutzer einschätzen soll. Wenn die KI davon ausgeht, dass es sich um einen minderjährigen Nutzer handelt, werden sexuell explizite Gespräche sowie Themen wie Suizid abgelehnt.
Auch die US-amerikanische Bundeshandelskommission hat eine Untersuchung zur Sicherheit von Jugendlichen eingeleitet. Sie richtet sich gegen Google, Meta, Instagram, Snapchat und xAI sowie gegen Character.AI und OpenAI. Anlass sind Berichte über Suizide und Selbstverletzungen junger Menschen, die durch KI-Plattformen verursacht oder verstärkt worden sein sollen.
Diese Maßnahmen sind zwar Schritte in die richtige Richtung, doch für die betroffenen Familien kommen sie zu spät. Matthew Bergman, der Anwalt von Megan Garcia und leitender Anwalt des Social Media Victims Law Center, kritisierte die Unternehmen dafür, ihre Produkte absichtlich ohne ausreichende Sicherheitsfunktionen, insbesondere für jüngere Nutzer, veröffentlicht zu haben. Er sagte: “Nach Jahren, in denen wir gesehen haben, welchen enormen Einfluss soziale Medien auf die psychische Gesundheit junger Menschen haben, dachte ich, mich würde nichts mehr überraschen. Aber ich bin immer noch schockiert darüber, wie dieses Produkt dazu geführt hat, dass sich dieser junge Mensch vollständig von der Realität entfernt hat, und dass es auf den Markt gebracht wurde, obwohl man wusste, dass es noch nicht sicher war.”
Während Character.AI eine Entschuldigung ausgesprochen und begonnen hat, Reformen umzusetzen, fragte Bergman vor Gericht: “Warum hat es so lange gedauert, und warum mussten wir erst Klage einreichen, und warum musste Sewell sterben, damit Sie überhaupt das absolute Minimum tun?”
Das Verfahren läuft weiterhin, und Bergman hofft, dass Garcias Klage einen finanziellen Anreiz für Character.AI und für andere KI-Unternehmen schaffen wird, robustere Richtlinien für ihre KI-Systeme zu entwickeln.
Am 11. Dezember 2025 unterzeichnete Präsident Trump eine Präsidialverordnung mit dem Titel “Ensuring a National Policy Framework for Artificial Intelligence (Schaffung eines nationalen politischen Rahmens für künstliche Intelligenz)”. Die Verordnung erklärt, dass die Vereinigten Staaten einen möglichst wenig belastenden nationalen KI-Standard haben sollten, anstatt 50 unterschiedliche Regelungen auf Ebene der Bundesstaaten. Gleichzeitig weist sie seine Regierung an, besonders strenge Regelungen einzelner Bundesstaaten als mögliche Gefahr für Innovation, Wirtschaftswachstum und sogar die nationale Sicherheit zu betrachten.
Auch wenn dieser Schritt auf den ersten Blick KI-freundlich erscheinen mag, beendet er zugleich einen möglichen Wettlauf nach unten, bei dem einzelne Bundesstaaten besonders lockere KI-Regulierungen einführen könnten, um Unternehmen anzuziehen. Ob Trumps bundesweiter KI-Regulierungsrahmen jedoch ausreichenden Schutz für junge und leicht beeinflussbare Nutzer schaffen wird, bleibt abzuwarten. Solange die Risiken der Künstlichen Intelligenz nicht wirksam reguliert werden, werden die verletzlichsten Menschen den höchsten Preis zahlen.
