Halluzination ist kein Betriebsunfall
Sprachmodelle erzeugen plausible Sprache. Wahrheit ist ohne zusätzliche Mechanismen kein eingebautes Ziel.
KI-Inhalte verändern sich schnell. Nächster planmäßiger Audit: 30.08.2026.
Halluzinationen sind überzeugend formulierte, aber unbelegte oder falsche Ausgaben. Sie entstehen nicht nur aus fehlendem Wissen, sondern auch aus Konflikten und falschem Kontext.
RAG, Websuche, Tools und Zitate können Fehler reduzieren. Sie können ebenfalls falsche Quellen abrufen, Inhalte missverstehen oder Belege erfinden. Prüfung bleibt eine Systemfunktion.
Plausibilität ist das Produkt
Ein Sprachmodell wird für passende Fortsetzungen optimiert. Eine flüssige Antwort kann deshalb wahrscheinlicher sein als ein ehrliches Nichtwissen.
Grounding hilft, garantiert aber nichts
Externe Quellen verankern Antworten. Retrieval, Berechtigungen, Aktualität, Zitierlogik und die finale Synthese können jeweils scheitern.
Fehlerkosten bestimmen die Kontrolle
Ein Ideenschnipsel braucht andere Prüfungen als Medizin, Recht, Finanzen oder ein Maschinenkommando. Je höher die Wirkung, desto enger Quelle, Freigabe und Protokollierung.
Behauptung & Befund
Fehlerraten können sinken. Das Grundproblem bleibt und variiert nach Aufgabe, Sprache und Bewertung.
Quelle, Fundstelle und Schlussfolgerung müssen tatsächlich zusammenpassen.
Quellen
- Artificial Intelligence Risk Management Framework Autor/Institution: NISTPublisher: NIST
- Künstliche Intelligenz: Risiken und Empfehlungen Autor/Institution: BSIPublisher: BSI
- Prompt Injection Autor/Institution: OWASPPublisher: OWASP