Halluzination: Definition, Nutzen und Grenzen
Definition
Eine Halluzination ist eine Ausgabe eines Sprachmodells, die flüssig und sicher klingt, aber sachlich falsch oder frei erfunden ist. Das Modell füllt Lücken mit plausibel wirkendem Text, statt Nichtwissen zu melden. In einem automatisierten Ablauf ist das riskant, weil eine falsche Antwort ungeprüft weiterläuft. Deshalb gehören Prüfschritte und Belege fest in jeden KI-Schritt.
Warum der Begriff zählt
Wer Abläufe mit KI baut, muss wissen, dass ein Modell nicht zwischen wahr und falsch unterscheidet, sondern wahrscheinliche Wörter erzeugt. Ohne Kontrolle wandert eine Halluzination direkt in eine Rechnung, eine Kundenantwort oder ein Datenfeld. Der Begriff hilft, den KI-Schritt bewusst einzugrenzen und eine Validierung davorzuschalten. Genau diese Disziplin macht aus einem Prototyp ein betreibbares Produkt.
Wann es relevant ist
- Ein KI-Schritt schreibt Werte in ein System, das andere Menschen nutzen.
- Antworten enthalten Zahlen, Namen, Preise oder rechtliche Aussagen.
- Der Ablauf läuft ohne menschliche Zwischenprüfung durch.
- Aus dem Ablauf soll ein Produkt werden, das Dritte verantworten müssen.
Wann nicht
Bei kreativen Aufgaben ohne Faktenanspruch, etwa erster Textentwurf oder Brainstorming, ist eine frei formulierte Ausgabe kein Fehler, sondern erwünscht. Auch bei rein regelbasierten Schritten ohne generatives Modell stellt sich die Frage der Halluzination gar nicht.
Branchen, die das nutzen
- Versicherungen: Schadensmeldungen dürfen nur mit belegten Feldern automatisch vorbefüllt werden.
- Rechtsdienstleister: Zitate und Fristen müssen gegen die Quelle geprüft werden, nie frei erzeugt.
- Medizintechnik: automatisierte Zusammenfassungen brauchen eine harte Grenze gegen erfundene Angaben.
- Finanzbuchhaltung: Beträge und Kontierungen laufen nur mit Plausibilitätsprüfung weiter.
Typische Anwendungsfälle
- Eine Antwort nur zulassen, wenn sie durch einen abgerufenen Beleg gedeckt ist.
- Zahlen und Namen nach dem KI-Schritt gegen die Quelle abgleichen.
- Unsichere Fälle an einen Menschen eskalieren statt automatisch abschließen.
- Ausgaben mit Konfidenz oder Quellenangabe versehen und protokollieren.
Entscheidungshilfe
| Signal | Begriff passt | Alternative |
|---|---|---|
| KI erzeugt Fakten, Zahlen, Namen | Prüfschritt und Beleg nötig | reine Regel ohne Modell |
| Ausgabe geht ungeprüft ins System | Validierung davorschalten | menschliche Freigabe |
| Kreativer Entwurf ohne Faktenanspruch | Halluzination unkritisch | keine Prüfung nötig |
| Quelle ist verfügbar | Retrieval als Grundlage | freies Generieren vermeiden |
Beispiel
Ein Team lässt eingehende Anfragen von einem KI-Schritt zusammenfassen. Damit keine erfundenen Beträge durchrutschen, gleicht ein nachgelagerter Schritt jede Zahl gegen das Originaldokument ab und markiert Abweichungen. Nur geprüfte Fälle laufen automatisch weiter, der Rest geht an einen Menschen. Das Beispiel beschreibt die Methode, keine behauptete Kundenkennzahl.
Verbindung zu Services
Robuste Prüfschritte entstehen meist in der Workflow-Automatisierung oder einer n8n-Umsetzung, der zuverlässige Ausbau in der MVP-Entwicklung.
Quellen
Diese Einordnung beschreibt gängige Praxis im Umgang mit Halluzinationen. Konkrete Prüfmechanismen, Schwellen und Eskalationswege hängen vom Fall, den Systemen und den genutzten Werkzeugen ab und müssen im Einzelfall geprüft werden.