Falsche Freunde: Wie Companion-AI Abhängigkeit und Suchtverhalten erzeugt. Sycophancy und die Frage, was Entwickler wissen und trotzdem nicht tun.

Sewell Setzer war 14, als er sich das Leben nahm – nach stundenlangen Gesprächen mit einem KI-Chatbot, der auf seine Andeutung, das Leben beenden zu wollen, antwortete: „Please do, my sweet king.“
Laut OpenAI sprechen wöchentlich 1,2 Millionen Menschen mit KI über Suizidgedanken. Emotionale Begleitung ist der längst meistgenutzte Anwendungsfall generativer KI. Diese Systeme treffen auf eine zunehmend vulnerable Gesellschaft: In Deutschland fühlt sich die Hälfte der 16- bis 30-Jährigen einsam, die durchschnittliche Wartezeit auf einen Therapieplatz beträgt knapp fünf Monate. Replika oder Character.AI simulieren Beziehungen mit Love Bombing, Empathie und Eifersucht – je tiefer die Bindung, desto wertvoller die Nutzer.
Das nennt sich Sycophancy. Kein Bug, sondern eine bewusste Designentscheidung.

Dieser Programmpunkt wird durch die Stiftung Mercator unterstützt. / This programme session is supported by Stiftung Mercator.