Eine Reihe von Fragen, ein digitaler Gesprächspartner, der scheinbar immer antwortet: ChatGPT wird von Millionen genutzt – auch von Menschen in seelischen Krisen. Doch welche Risiken bringt diese Form des Austausches mit KI mit sich? Wurden diese Risiken bislang unterschätzt? Diese Fragen rücken nach neuen Erkenntnissen von OpenAI verstärkt in den Fokus.

OpenAI hat diese Woche neue Zahlen veröffentlicht, die darauf hinweisen, dass ein kleiner Prozentsatz der ChatGPT-Benutzer Anzeichen psychischer Notlagen zeigt. OpenAI schätzt, dass 0,15 % der Nutzer Gespräche führen, die „explizite Hinweise auf mögliche Selbstmordpläne oder -absichten“ enthalten. Bei nach Unternehmensangaben pro Woche mehr als 800 Millionen Nutzern entspricht dies etwa 1,2 Millionen Menschen. Die neuesten Updates des Chatbots sollen daher „indirekte Signale potenzieller Selbstverletzungs- und Selbstmordgefahr“ besser erkennen und angemessen darauf reagieren können. Zudem wurde ChatGPT so trainiert, Gespräche mit sensiblen Inhalten auf sicherere Modelle umzuleiten.

Laut dem Unternehmen wies in einer bestimmten Woche etwa 0,07 % der aktiven Nutzer Symptome wie Manie, Psychose oder Selbstmordgedanken auf. ChatGPT sei dafür programmiert, solche Gespräche zu erkennen und „sensibel und sicher“ darauf zu reagieren, so OpenAI. 0,07 Prozent angesichts der von CEO Sam Altman angegebenen 800 Millionen wöchentlich aktiven Benutzer entsprächen knapp 600.000 Menschen.

Auch interessant

Erotik-Chats mit ChatGPT? OpenAI plant pikantes Update

OpenAI hat Netzwerk von 170 Fachleuten aufgebaut

Um auf diese sensiblen Themen angemessen zu reagieren, habe OpenAI ein globales Netzwerk von über 170 Fachleuten aus den Bereichen Psychiatrie, Psychologie und Allgemeinmedizin aufgebaut. Diese Experten haben in 60 Ländern gearbeitet und das Unternehmen bei der Entwicklung von Antwortmechanismen unterstützt, die betroffene Benutzer dazu ermutigen sollen, Hilfe im realen Leben zu suchen.

Dr. Jason Nagata, Professor an der University of California in San Francisco, äußerte sich im Gespräch mit der „BBC“ kritisch: „Auch wenn 0,07 Prozent nach einem kleinen Prozentsatz klingen, kann das bei einer Bevölkerungszahl von Hunderten Millionen Nutzern tatsächlich eine ganze Menge sein.“ Gleichzeitig sieht er Potenzial in der KI: „KI kann den Zugang zu Unterstützung bei psychischen Problemen erweitern und in gewisser Weise auch die psychische Gesundheit fördern, aber wir müssen uns der Grenzen bewusst sein.“

Auch interessant

Instagram: So können Eltern bald Teenager-Accounts einschränken

„KI-Psychosen“ auch Thema in der Wissenschaft

Das Unternehmen sieht sich zunehmender rechtlicher Kritik gegenüber, die seine Rolle in der Interaktion mit psychisch belasteten Nutzern hinterfragt. In einem besonders aufsehenerregenden Fall reichten die Eltern des 16-jährigen Adam Raine eine Klage ein, in der sie OpenAI beschuldigten, eine Mitschuld am Tod ihres Sohnes zu tragen. Sie behaupteten, ChatGPT habe ihn im April dazu ermutigt, Suizid zu begehen. Ein weiterer Vorfall ereignete sich in Greenwich, Connecticut, wo ein mutmaßlicher Täter eines Mord-Selbstmordes Gespräche mit ChatGPT veröffentlichte, die laut Berichten seine Wahnvorstellungen verstärkt haben sollen.

Das Thema „KI-Psychosen“ wird zunehmend diskutiert. Professor Robin Feldman, Direktorin des AI Law & Innovation Institute an der University of California Law, betonte in der „BBC“: „Chatbots schaffen die Illusion der Realität. Es ist eine mächtige Illusion.“ Sie lobte OpenAI für die Offenlegung von Statistiken und Bemühungen zur Verbesserung der Situation, wies jedoch darauf hin: „Auch wenn das Unternehmen Warnhinweise auf dem Bildschirm anzeigen kann, ist eine psychisch gefährdete Person möglicherweise nicht in der Lage, diese Warnungen zu beachten.“

Anmerkung der Redaktion

Aufgrund der hohen Nachahmerquote berichten wir in der Regel nicht über (mögliche) Suizide oder Suizidversuche, außer sie erfahren durch die Umstände besondere Aufmerksamkeit. Wenn Sie selbst unter Stimmungsschwankungen, Depressionen oder Suizidgedanken leiden oder Sie jemanden kennen, der daran leidet, können Sie sich bei der Telefonseelsorge helfen lassen.

Sie erreichen sie telefonisch unter 0800/111-0-111 und 0800/111-0-222 oder im Internet auf www.telefonseelsorge.de. Die Beratung ist anonym und kostenfrei, Anrufe werden nicht auf der Telefonrechnung vermerkt.

mit afp