Am 21. Oktober habe ich mit einem lokalen KI-Modell von Qwen getestet, ob es ein Produkt, eine Word-Datei , nach Vorlage erstellen kann.
Ein in Open WebUI hinterlegtes Werkzeug sollte aus den Informationen der Demo-Wissensbasis “Campingplatz Seeblick” ein Word-Dokument namens “Einarbeitungsblatt für den Platzwart” generieren. Das Modell las die zehn hinterlegten Dokumente, verglich Aufgaben und sortierte Zuständigkeiten. Dann gab es die Antwort aus: Ich werde nun das Einarbeitungsblatt erstellen.
Ich wartete, doch der Chat blieb stehen. Eine Word-Datei wurde nicht erstellt. Die Fehlermeldung entdeckte ich im aufgeklappten Detailmenü des Erstellungsprozesses. Auch ein zweites lokales Modell von Mistral scheiterte an derselben Stelle.
Im Berkeley Function-Calling Leaderboard, der Rangliste für Werkzeugaufrufe, belegen Qwen-Modelle beim letzten Stand vorderste Ränge. Falsch ist die Rangliste deshalb nicht.
Sie prüft unter völlig anderen Bedingungen: das ungekürzte Modell auf riesigen Servern, wo solche mehrstufigen Prompts in einem Durchgang verarbeitet werden. Auf meinem Rechner lief eine quantisierte, verkleinerte Fassung. Ich war mir bewusst, dass der Test, den Auftrag in einem einzigen Schritt zu bewältigen, scheitern könnte, da Analyse, Abgleich und Werkzeugaufruf ein lokales KI-Modell überfordern.
Erst als ich die Aufgabe wie geplant manuell in einzelne Prozessschritte aufteilte, lag die gewünschte Datei vor. Doch genau diese Lücke übersieht, wer globale Ranglisten als Einsatzberatung liest. Sie vermitteln die Illusion eines nahtlosen Ablaufs per Knopfdruck. In der Praxis lokaler Wissensbasen zeigt sich jedoch: Es braucht eine gezielte Aufgabenstrukturierung, damit ein Modell Werkzeuge verlässlich ansteuert.
Die drei bekanntesten Indizes messen ohnehin unterschiedliche Kriterien:
Drei Ranglisten, drei Massstäbe: Artificial Analysis misst Leistung, OpenRouter Verbreitung, Arena Gefallen; die Eignung für Kauf oder Einsatz misst keine.
Für eine Gemeindeverwaltung, die eine Auskunft aus ihrem Massnahmenplan benötigt, ist Gefallen jedoch kein tauglicher Gradmesser. Das Problem: Eine souverän formulierte Antwort überzeugt im Chat auch dann, wenn sie erfunden ist.
Man kann einwenden, dass die Testreihen realistischer werden: Die Arena bewertet mittlerweile Antworten zu hochgeladenen Dokumenten, und Artificial Analysis misst Wissensarbeit an praxisnahen Szenarien. Das ist ein organischer Fortschritt. Doch auch dort urteilen Fremde über fremde Dateien.
Die Weisung der eigenen Gemeinde, spezifische Schweizer Fachbegriffe und die Abkürzungen aus den eigenen Kundendokumenten kommen in keiner weltweiten Tabelle vor. Leaderboards werden präziser. Doch ob ein Modell den betrieblichen Anforderungen standhält, zeigt erst der Test in der eigenen Infrastruktur.
Ranglisten eignen sich zur ersten Orientierung. Die Entscheidung aber fällt am konkreten Praxisprojekt, mit den eigenen Dokumenten. Ein KI-Modell für eine betriebliche Wissensbasis braucht den Praxistest, wo es später arbeiten soll. Und wenn der Arbeitsauftrag lautet, eine Datei zu erstellen, zählt das verwertbare Produkt, dass von der KI erstellt wurde. Eine Ankündigung im Chatfenster ist jedoch noch kein Beleg.
Quellen (abgerufen am 9. November 2026)
