Die KI klingt immer sicher. Sie ist es nicht.

Eine KI antwortet immer, sie zögert nicht, sagt selten „Ich weiß es nicht“, und ihre Sätze klingen fast immer souverän. Genau darin liegt das Problem, denn sie klingt gleich sicher, ob sie recht hat oder danebenliegt.

Wer mit KI arbeitet, braucht deshalb eine Fähigkeit, die wichtiger ist als jedes Tool, nämlich zu merken, wann man einer Antwort nicht trauen sollte.

Warum KI Dinge erfindet

Sprachmodelle sind darauf gebaut, plausible Texte zu erzeugen, also Texte, die so klingen, wie eine richtige Antwort klingen würde, und ob sie auch stimmen, ist eine ganz andere Frage. Wo Wissen fehlt, füllt das Modell die Lücke mit etwas, das passen könnte, sei es ein Zitat, das nie gesagt wurde, eine Studie, die es nicht gibt, oder eine Zahl, die einfach gut aussieht.

Wie ernst das werden kann, hat 2023 ein Anwalt in New York erlebt, der bei Gericht einen Schriftsatz eingereicht hat, in dem mehrere von einer KI erfundene Urteile zitiert wurden, und das Gericht hat daraufhin eine Geldstrafe verhängt.¹

Bei mir lief alles, und trotzdem stimmte es nicht

Mir ist etwas Ähnliches passiert, nur leiser. Ich hatte eine Automatik gebaut, die aus meinem Material Entwürfe für Beiträge erstellt, und sie lief jeden Tag ohne eine einzige Fehlermeldung. Was ich lange nicht bemerkt habe, war, dass ihre Quelle längst eingefroren war, sodass sie wochenlang neue Entwürfe aus denselben alten Inhalten gebaut hat und an einer Stelle sogar eine Szene aus meinem Leben beschrieben hat, die nie passiert ist.

Technisch war alles in Ordnung, inhaltlich aber nicht, also habe ich die Automatik abgeschaltet. Seitdem gilt bei mir, dass persönliche Geschichten nur von mir kommen, und wenn eine fehlt, bleibt dort eine Lücke, statt dass etwas erfunden wird.

„Läuft“ heißt nicht „stimmt“.

Die gezackte Grenze

Eine Studie mit Beratern einer großen Unternehmensberatung hat dazu etwas Wichtiges gezeigt. Bei Aufgaben, die gut zu den Stärken der KI passten, haben die Berater mit KI schneller und besser gearbeitet, aber bei einer Aufgabe, die außerhalb dieser Stärken lag, sind sie mit KI seltener zur richtigen Lösung gekommen als ohne, weil sie der Maschine genau dort vertraut haben, wo sie es nicht hätten tun sollen.²

Die Forscher nennen das eine gezackte Grenze, weil die KI nicht einfach gut oder schlecht ist, sondern bei manchen Aufgaben erstaunlich stark und bei scheinbar ähnlichen erstaunlich schwach, und von außen siehst du nicht, auf welcher Seite der Grenze du gerade stehst.

Woran du merkst, dass du prüfen musst

• Bei Zahlen, Namen, Daten und Zitaten, denn alles, was man nachschlagen kann, solltest du auch nachschlagen.
• Bei Quellenangaben. Wenn die KI eine Studie nennt, such sie, und wenn es sie nicht gibt, ist auch der Rest der Antwort verdächtig.
• Bei Antworten, die genau das bestätigen, was du hören wolltest, weil KI dazu neigt, dir zuzustimmen.
• Bei allem, was unter deinem Namen rausgeht, ob Bewerbung, Mail oder Beitrag, denn dafür stehst du gerade und nicht die Maschine.

Drei Fragen, die immer helfen

Du musst dafür kein Faktenprüfer werden, denn für den Alltag reichen drei Fragen:

1. Woher weißt du das? Frag die KI direkt nach der Quelle und prüf, ob es sie wirklich gibt.
2. Was spricht dagegen? Lass dir die Gegenposition geben, denn eine gute Antwort hält das aus.
3. Würde ich das so sagen? Wenn ein Satz nicht nach dir klingt, gehört er auch nicht in deinen Text.

Je besser die KI wird, desto wertvoller wird der Mensch, der merkt, wann sie danebenliegt.