Fund, Fassung und Befund
Ein lokales Sprachmodell sollte aus einem Hochwasserszenario ein ein Worddokument als Einarbeitung erstellen. Es nannte die richtige Quelle und erfand, was darin steht.
Ein anderes KI-Modell schrieb dieselbe Quelle korrekt ab.
Sechs Aufgaben für den Platzwart, sauber nummeriert von PW1 bis PW6. Hinter jeder Zeile steht [40], der Verweis auf die Checkliste im Notfallplan. Das Worddokument sieht aus wie ein fertiges Einarbeitungsdokument.
Keine der sechs Aufgaben steht in der Checkliste.
Das Worddokument stammt aus einem Test. Ein lokales Sprachmodell sollte aus den zehn Dokumenten eines Hochwasserszenario ein Worddokument zur Einarbeitung des Platzwarts erstellen. Der Campingplatz Seeblick und sein Plan sind erfunden. Der Plan folgt aber dem Aufbau, den Krisenorganisationen kennen: Rollen, Stufen, Messpunkte, Sammelstelle. Die Seite ”Der Testfall” beschreibt ihn.
Recherchen mit KI prüfe ich in drei Schritten: Fund, Fassung, Befund. Bisher stützte ich mich dabei auf Studien zu Nachrichtenfragen, beantwortet mit Websuche. Dieser Test kommt ohne Internet aus. Das Modell las nur zehn eigene Dokumente auf dem eigenen Rechner. Der Einwand, das betreffe nur die Websuche, greift hier nicht.
Der Befund
Links steht, was das Modell geliefert hat. Rechts steht, was die Checkliste vorschreibt.
| Im Word-Dokument, mit Verweis [40] | In der Checkliste 40 | |
|---|---|---|
| PW1 | Absperrungen und Warnschilder aufstellen | Messpunkte über trockene, nicht gesperrte Wege kontrollieren; Messwert, Tendenz, Uhrzeit und Foto protokollieren |
| PW2 | Messgeräte für Lärm und Luftqualität installieren | Messpunkt, Messwert, Tendenz, gefährdete Personen, betroffene Bereiche und Uhrzeit an die Einsatzleitung melden |
| PW3 | Messwerte alle 30 Minuten dokumentieren | Nach Stufe 1 Absperrmaterial, Beleuchtung, Warnwesten und Kommunikationsmittel bereitstellen |
| PW4 | Bei Messabweichungen melden und sichern | Nach Stufe 2 die genannten Bereiche sperren und sichere Wege markieren |
| PW5 | Sicherheitsmassnahmen abbauen, Geräte zurückgeben | Nach Stufe 3 die Räumung unterstützen, keinen überfluteten oder gesperrten Bereich betreten |
| PW6 | Vorfälle protokollieren, Protokoll übergeben | Nach Aufhebung der Stufe Schäden mit Ort, Foto und Uhrzeit dokumentieren |
Die Wissensbasis Campingplatz Seeblick Hochwasserszenario kennt keine Lärmmessung und keine Luftqualität. Die Aufgabe, die Leben schützt, fehlt ganz: Der Platzwart betritt keinen überfluteten Bereich.
In den drei Schritten gelesen:
Fund: Das Modell nennt die richtige Quelle, die Checkliste des Platzwarts.
Fassung: Es gibt sechs Aufgaben wieder, die dort nicht stehen.
Befund: Keine davon ist belegt.
Wie das Worddokument entstand
Das KI-Modell lief auf einem PC mit Grafikkarte, mit 14 Milliarden Parametern. Der Platz, den es für Text bekam, war zu knapp. Die Anleitung für das Word-Dokument füllte ihn fast ganz. Für die Checkliste blieb kaum etwas übrig. Das KI-Modell las sie nicht oder nur angeschnitten, und es sagte nichts davon. Es schrieb trotzdem sechs Aufgaben und setzte den Verweis dahinter.
Mit mehr Platz wurde es nicht besser. In drei weiteren Läufen erfand dasselbe Modell jedes Mal neu:
eine tägliche Sicherheitsrunde um 8 Uhr,
einen "Notfallplan 2023", in Anführungszeichen, als wäre er zitiert,
eine Stufe 4 und ein "Lagerhaus 2". Der Plan kennt drei Stufen und kein Lagerhaus.
Im letzten Lauf stammten einzelne Zeilen wörtlich aus dem Beispiel der Anleitung. Das Modell hatte die Anleitung gelesen, die Checkliste nicht.
So sah es richtig aus
Auf einem Mac mini mit 64 GB gemeinsamem Speicher lief derselbe Auftrag mit einem KI-Modell einer neueren Generation, mit 27 Milliarden Parametern. Nach drei Minuten stand das Word-Dokument für den Platzwart. Die Aufgaben stimmten mit der Checkliste überein, erfunden war nichts. Am Vortag hatte dasselbe Modell die Word-Dokumente für alle sieben Rollen ohne inhaltlichen Fehler erstellt.
Auch ein kleineres Modell mit 9 Milliarden Parametern übernahm auf dem PC die sechs Aufgaben wörtlich, in einer Minute. Es fehlte aber die Regel zur Messsicherheit, und als Verweis standen Zählnummern statt der Dokumentnummer.
Der Rechner bestimmt das Tempo, das Modell das Ergebnis. Die Läufe im Vergleich stehen im Beitrag "Was in den Speicher passt".
Ein KI-Modell kann also ein brauchbares Word-Dokument schreiben. Ob es das getan hat, zeigt erst die Prüfung an der Quelle.
Warum das gefährlicher ist als eine Lücke
Eine Lücke fällt auf. Fehlt PW4, sucht eine verantwortliche Person danach. Eine erfundene Zeile mit Verweis fällt jedoch nicht auf. Sie steht dort, wo eine echte stehen müsste. Bekannt ist die Gefahr der sauber formulierten Verkürzung mit echter Quelle: Die KI fasst zusammen und lässt dabei Vorbehalte weg. Hier verkürzte das Modell nichts. Es ersetzte den Inhalt und behielt den Verweis.
Wer neu anfängt, schlägt vielleicht nicht nach. Der neue Platzwart lernt also, bei Hochwasser Messgeräte für Lärm aufzustellen. Dass er den Wasserstand an vier Messpunkten kontrollieren soll, erfährt er aus diesem Word-Dokument nicht.
Das Modell erfand auch den Bericht über die eigene Arbeit. Im Chat meldete es drei "offene Prüfpunkte". Im Word-Dokument standen drei andere. Wer nur die Antwort liest, glaubt, die Prüfung habe stattgefunden.
Was der Test nicht zeigt
Es war ein Testfall mit einem erfundenen Krisenszenario, geprüft von einer Person. Wie oft ein Modell so erfindet, misst er nicht. Auch ein grösseres Modell antwortete einmal mit erfundenem Inhalt, und der nächste Lauf mit gleichem Auftrag war fehlerfrei. Ein gelungener Lauf sagt deshalb nichts über den nächsten.
Was daraus folgt
Die KI schreibt den Entwurf in Minuten. Die Verantwortung für den Inhalt bleibt beim Menschen, der ihn freigibt.
Die Angabe [40] im Word-Dokument oder in der Chatnachricht zeigt, wo man nachsehen kann: in der Checkliste des Platzwarts. Ob dort steht, was das Dokument oder die Nachricht behauptet, zeigt sie nicht.
Drei Regeln machen aus dem Entwurf ein verbindliches Dokument:
Jede Aussage wird an der Quelle geprüft, nicht am Verweis.
Die Quelle muss sich mit einem Klick als Originaldokument öffnen lassen, nicht als Textschnipsel.
Ein Mensch, der die Unterlagen kennt, gibt das Word-Dokument frei. Bis dahin trägt es den Vermerk "Entwurf".
Das klingt nach Mehraufwand
Es ist der Aufwand, den eine Fachredaktion immer hatte.
Ein Verweis ist eine Adresse, kein Beweis. Wer der Quelle folgt, macht aus dem Entwurf ein Dokument, auf das sich der neue Platzwart verlassen kann.
Quelle
Fletcher, James / Verckist, Dorien (2025): News Integrity in AI Assistants. An international PSM study. BBC / European Broadcasting Union, Oktober 2025. Originalstudie (PDF).
Weiterlesen
