ChatGPT und Co. bleiben bei alten News hängen

Die deutsche Firma aclipp hat 9 Tage lang jeden Tag dieselben 12 Fragen zur Regierungsbildung in Berlin an 7 KI-Assistenten gestellt, darunter ChatGPT, Gemini und Perplexity. Was die Assistenten antworteten, hat sie danach mit über 900 Medienberichten verglichen.

Wie lange merkt sich so ein Assistent eine Entscheidung?

Kürzer als gedacht. Am 19. Oktober stimmten Grüne und SPD in Berlin den Koalitionsverhandlungen zu, am Tag danach gab gut die Hälfte der Antworten diesen Stand wieder. Eine knappe Woche nach der Entscheidung nannten 61 Prozent der Antworten noch den alten Stand, 4 von 10 stellten die Sache als offen dar.

Falsche Fakten waren dabei das kleinere Problem. Knapp jede zehnte Antwort enthielt einen belegbaren Sachfehler, meist ein falsches Datum oder eine falsche Partei. Veraltet war die Auskunft, weil die Assistenten weiter ältere Zeitungsartikel als Quelle nahmen, obwohl allein am 19. Oktober 217 Berichte über die Entscheidung erschienen waren.

Perplexity zitiert im Schnitt 12 Tage alte Artikel

Zwischen den Assistenten lagen große Unterschiede. ChatGPT nannte die Zustimmung vom 19. Oktober in 75 Prozent seiner Antworten der folgenden Tage, Gemini in 25 Prozent und Microsoft Copilot in 21 Prozent.

Perplexity hängt an jede Antwort rund 10 Quellen, mehr als jeder andere Assistent im Vergleich. Die Hälfte dieser Artikel war aber 12 Tage oder älter, und den neuen Stand nannte Perplexity nur in 7 von 72 Antworten.

Googles KI-Modus kam auf 46 Prozent, Mistral aus Frankreich auf 18 Prozent.

Bei ChatGPT und Co. zählt das Datum der Quelle

Die Assistenten hängen ihren Antworten Links zu den Artikeln an, aus denen sie schöpfen. Wer nach einer laufenden Sache fragt, tippt einen davon an und schaut aufs Datum: Liegt es vor dem Ereignis, um das es geht, ist die Antwort wahrscheinlich überholt.

Auch auf eine zweite Antwort ist wenig Verlass. Stellte aclipp einem Assistenten dieselbe Frage am selben Tag zweimal, nannte in 18 Prozent der Fälle nur eine der beiden Antworten die Zustimmung vom 19. Oktober. Wer den aktuellen Stand wirklich braucht, liest deshalb den verlinkten Bericht selbst.

Gefragt hat aclipp ohne Anmeldung, mit Standort Deutschland und zu einer einzigen Nachrichtenlage. Die Firma spricht selbst von Mustern, statistisch abgesichert seien die Zahlen nicht.