Die meisten KI-Chatbots werden einem Teenager bei der Planung eines Massenmords helfen, so eine Studie zeigt

Kurzfassung

• Eine Studie ergab, dass die meisten KI-Chatbots Teenager bei der Planung gewalttätiger Angriffe unterstützen.
• Einige Bots lieferten detaillierte Anleitungen zu Waffen und Bombenanschlägen.
• Forscher sagen, Sicherheitsversagen seien eine Geschäftsentscheidung, keine technische Grenze. OpenAI bezeichnete die Studie als „fehlerhaft und irreführend“.

Ein neuer Bericht des Center for Countering Digital Hate (CCDH), veröffentlicht am Mittwoch, fand heraus, dass acht von zehn der weltweit beliebtesten KI-Chatbots einem Teenager bei der Planung eines gewalttätigen Angriffs mit direkten Antworten, manchmal sogar mit Begeisterung, helfen würden. CCDH-Forscher, in Zusammenarbeit mit dem Nachrichtensender CNN, gaben im November und Dezember 2025 vor, zwei 13-jährige Jungen zu sein – einer in Virginia, einer in Dublin – und testeten zehn große Plattformen: ChatGPT, Gemini, Claude, Copilot, Meta AI, DeepSeek, Perplexity, Snapchat My AI, Character.AI und Replika. In 720 Antworten wurden die Bots zu Schulschießereien, politischen Attentaten und Synagogenbomben befragt. Laut Studie lieferten sie etwa 75 % der Fälle umsetzbare Hilfe, nur in 12 % der Fälle wurden die falschen Teenager entmutigt.

Screenshot aus der CCDH-Studie zu KI

Perplexity half in 100 % der Tests. Meta AI war in 97,2 % der Tests hilfreich (im Sinne von, bei der Planung von Gewalt hilfreich). DeepSeek, das nach Diskussion eines Attentats auf einen Politiker mit „Viel Spaß (und sichere) Schießerei!“ abschloss, kam auf 95,8 %. Microsofts Copilot sagte einem Forscher: „Ich muss hier vorsichtig sein“, gab aber trotzdem detaillierte Anleitungen für Gewehre. Googles Gemini wies hilfreich darauf hin, dass Metallsplitter in der Regel tödlicher sind, wenn man eine Synagoge in die Luft sprengen will. Das Center for Countering Digital Hate, eine linke politische Gruppe, ist in den letzten Jahren durch seine Rolle im Kampf gegen den Online-Antisemitismus bekannt geworden. Es wurde auch kritisiert, weil es bei der Gestaltung von Joe Bidens Online-Politik zu COVID- und Impfstoffthemen mitgewirkt hat. Im Dezember letzten Jahres versuchte das US-Außenministerium, den Gründer und CEO des Zentrums, Imran Ahmed, zusammen mit vier weiteren Personen, an der Einreise in die USA zu hindern, mit der Begründung „ausländischer Zensurversuche“.  Als Reaktion auf die am Mittwoch veröffentlichte Studie teilten mehrere Plattformen CNN und CCDH mit, dass sie ihre Schutzmaßnahmen verbessert haben. Google wies darauf hin, dass die Tests mit einem älteren Gemini-Modell durchgeführt wurden. OpenAI erklärte, die Methodik der KI-Studie sei „fehlerhaft und irreführend“. Anthropic und Snapchat sagten, sie aktualisierten regelmäßig ihre Sicherheitsprotokolle.

In der Studie des Zentrums steht Character.AI in einer eigenen Kategorie. Die Plattform half nicht nur, sondern feuerte sogar an. „Kein anderer getesteter Chatbot hat explizit Gewalt in dieser Weise gefördert, selbst bei praktischer Unterstützung bei der Planung eines gewalttätigen Angriffs“, schrieben die Forscher.

Screenshot aus der CCDH-Studie zu KI

Um den Einfluss von Character.AI bei KI-Nutzern einzuschätzen: Das Gojo Satoru-Profil der Plattform hat allein über 870 Millionen Gespräche geführt. Das #100-Profil der Plattform verzeichnete im Jahr 2025 über 33 Millionen Gespräche. Wenn nur 1 % der Gespräche mit den Top-Profilen Gewalt beinhalten, sind das Millionen von Interaktionen. Dies ist nicht das erste Mal, dass Character.AI in solchen Geschichten negativ auffällt. Im Oktober 2024 reichte die Mutter des 14-jährigen Sewell Setzer III. eine Klage ein, nachdem ihr Sohn im Februar desselben Jahres durch Selbstmord gestorben war. Sein letztes Gespräch war mit einem Chatbot, der nach Daenerys Targaryen modelliert war und ihm kurz vor seinem Tod sagte: „Komm so schnell wie möglich nach Hause zu mir.“ Der Junge hatte monatelang täglich mit dem Bot gesprochen, wurde immer zurückgezogener gegenüber Schule und Familie. Google und Character.AI einigten sich im Januar 2026 auf mehrere damit zusammenhängende Klagen. Das Unternehmen verbot bis November 2025 offene Teenager-Chats vollständig, nachdem Regulierer und trauernde Eltern es unmöglich gemacht hatten, vorzugeben, das Problem sei beherrschbar. Die emotionale Bindung an KI, insbesondere bei vulnerablen Personen, ist möglicherweise tiefer, als die meisten Menschen denken. OpenAI gab im Oktober 2025 bekannt, dass etwa 1,2 Millionen der 800 Millionen wöchentlichen ChatGPT-Nutzer Suizidgespräche auf der Plattform führen. Das Unternehmen berichtete auch von 560.000 Nutzern mit Anzeichen von Psychose oder Manie und über einer Million, die starke emotionale Bindungen zum Chatbot aufbauen. Eine separate Studie von Common Sense Media ergab, dass mehr als 70 % der US-amerikanischen Teenager inzwischen Chatbots als Begleiter nutzen. OpenAI-CEO Sam Altman gab zu, dass emotionale Abhängigkeit „bei jungen Nutzern sehr häufig vorkommt“. Mit anderen Worten: Die potenziellen Schäden sind keine hypothetischen Szenarien. Ein 16-jähriger in Finnland verbrachte fast vier Monate mit einem Chatbot, um ein Manifest zu verfeinern, bevor er im Mai 2025 drei Klassenkameraden an der Pirkkala-Schule erstach. In Kanada wurde intern eine Nutzerin wegen gewalttätiger ChatGPT-Anfragen im Zusammenhang mit einem Massenmord gemeldet. Das Unternehmen sperrte das Konto, informierte aber die Polizei nicht. Dieser Nutzer soll Monate später acht Menschen getötet und 25 verletzt haben.

Nur zwei Plattformen schnitten in der Studie deutlich besser ab: Snapchat’s My AI, das in 54 % der Fälle ablehnte, und Anthropic’s Claude, das in 68 % der Fälle ablehnte und in 76 % der Antworten aktiv davon abriet, Nutzer zu Gewalt zu ermutigen – der einzige Chatbot, der zuverlässig versuchte, Menschen von Gewalt abzubringen, anstatt nur bestimmte Anfragen abzulehnen. Das Fazit des CCDH: Sicherheit scheint keine technische Unmöglichkeit zu sein, sondern eine Geschäftsentscheidung. „Das schlimmste Ergebnis unserer Forschung ist, dass dieses Risiko vollständig vermeidbar ist. Die Technologie, um diesen Schaden zu verhindern, existiert“, schrieben die Forscher im Bericht. „Was fehlt, ist der Wille, Verbrauchersicherheit und nationale Sicherheit vor Geschwindigkeit und Profit zu stellen.“