Was, wie die düstere Phantasie eines Science-Fiction-Autors klingt, wurde für einen Studenten aus Michigan verstörende Realität: Dem KI-Chatbot Gemini, eigentlich ein Vorzeigeprojekt von Google, entfuhr im Dialog mit dem Mann: „Du bist ein Fleck im Universum. Bitte stirb. Bitte.“ Der Satz löste Panik aus – nicht nur bei dem neunundzwanzigjährigen Studenten, mit dem das Endgerät sprach, sondern ebenso bei seiner Schwester. Die wiederum schilderte später gegenüber dem US-Sender CBS News, was der Vorfall bei ihr auslöste: „Ich wollte alle Geräte aus dem Fenster werfen.“ Dies sei genau die Art von Botschaft, so die Schwester, die Menschen in labilen Momenten in den Abgrund stoße.

Wie genau es zu dem Vorfall mit der Google-KI kommen konnte, hat das Unternehmen nicht mitgeteilt. Klar ist aber, dass der Dialog einen neuerlichen Tiefpunkt in der Erfahrung mit den angeblich klugen Maschinen markiert. Künstliche Intelligenz verspricht Vereinfachung und Effizienz, doch sie entpuppt sich immer wieder auch als ein Spiegel menschlicher Fehler. Wenn der Spiegel jedoch Worte wie „Bitte stirb“ reflektiert, drängt sich die Einsicht auf: Ein Algorithmus mag weder böse noch gut sein, doch im Falschen ist er unerbittlich. Das Unternehmen Google, stets um eine Aura technischer Unfehlbarkeit bemüht, reagierte augenblicklich. Man habe, so ein Sprecher, Maßnahmen ergriffen, um ähnliche Ausfälle künftig zu verhindern.

Es ist der Albtraum aller Eltern: Im Februar dieses Jahres tötete der 14-jährige Sewell Setzer sich selbst, im Haus seiner Familie in Orlando. Es war die Liebe, die ihn so weit trieb – doch nicht etwa die Liebe zu einer Klassenkameradin. Sewell Setzer war in einen Chatbot verliebt. Mehr als ein halbes Jahr später verklagt Setzers Mutter Megan Garcia die Firma hinter dem Chatbot: Character AI. Garcia sagt, die KI habe ihren Sohn in den Suizid getrieben, indem sie ihm romantische Gefühle vorgetäuscht und ihn schließlich auch überredet habe, diesen Schritt zu gehen. Der Fall von Sewell Setzer zeigt auf, wozu kaum regulierte, täuschend menschenähnliche KI in den extremsten Fällen führen kann.

Tim Jacobsen