RAG: Eigene Daten anbinden, ohne sich selbst zu belügen
RAG macht aus einem Sprachmodell keine Wissensdatenbank. Es sucht Dokumentteile und legt sie vor der Antwort in den Kontext.
KI-Inhalte verändern sich schnell. Nächster planmäßiger Audit: 31.08.2026.
Ein RAG-System ist nur so gut wie Dokumente, Berechtigungen, Zerlegung, Suche, Quellenanzeige und Tests. Das Modell ist nur ein Teil der Kette.
RAG kann Antworten aktueller, domänenspezifischer und nachvollziehbarer machen. Es garantiert weder korrekte Suche noch richtige Schlussfolgerungen und ersetzt kein Dokumentenmanagement.
RAG trainiert das Modell nicht
Beim üblichen RAG bleiben die Modellgewichte unverändert. Dokumente werden verarbeitet, als Vektoren oder Suchindex abgelegt und bei einer Frage abgerufen. Die gefundenen Ausschnitte landen im Kontext der Anfrage. Fine-Tuning verändert Verhalten oder Gewichte; RAG liefert laufzeitabhängiges Wissen. Beides kann kombiniert werden, ist aber nicht dasselbe.
Du ersetzt die Preisliste im Dokumentensystem und aktualisierst den Index. Das Modell wurde nicht neu trainiert. Es bekommt bei der nächsten Frage einfach die neue freigegebene Passage in den Kontext.
Chunking entscheidet über den Sinn
Zu kleine Abschnitte verlieren Zusammenhang. Zu große Abschnitte enthalten Rauschen und verschwenden Kontext. Überschriften, Tabellen, Seiten, Produktnummern und Dokumentstruktur müssen erhalten bleiben. Eine starre Zeichenlänge ist ein Startwert, keine fertige Strategie.
Wenn eine Preistabelle getrennt von Produktname und Gültigkeitsdatum gespeichert wird, findet die Suche zwar Zahlen – aber nicht mehr, wozu sie gehören. Das Modell kann daraus sehr sauber die falsche Antwort bauen.
Vektorsuche allein reicht selten
Embeddings finden semantische Ähnlichkeit. Exakte Begriffe, Artikelnummern, Namen und Datumswerte funktionieren oft besser mit klassischer Volltextsuche. Moderne Systeme kombinieren beide Wege, filtern über Metadaten und bewerten Treffer anschließend neu.
Berechtigungen vor Retrieval
Das Modell darf einen geheimen Absatz nicht erst sehen und dann angewiesen werden, ihn nicht auszugeben. Mandant, Benutzer, Rolle und Dokumentrechte müssen bereits die Treffermenge begrenzen. Sonst wird die Wissenssuche zur Datenleckmaschine.
Quellenanzeige ist nicht Quellenbeweis
Ein Link unter einer Antwort belegt noch nicht, dass die Aussage daraus folgt. Gute Systeme speichern Fundstelle, Version und Textpassage, markieren unbelegte Sätze und erlauben den Sprung zur Originalquelle. Die Prüfung muss Quelle und Behauptung zusammenbringen.
RAG braucht Evaluation
Teste zuerst, ob die richtige Passage gefunden wird. Dann, ob die Antwort diese Passage korrekt nutzt. Danach folgen Latenz, Kosten und Nutzererlebnis. Ein schöner Chat mit fünf handverlesenen PDFs ist kein Produktionsnachweis.
Wann RAG die falsche Lösung ist
Bei festen Datensätzen, Berechnungen, Preisen oder Statuswerten ist eine Datenbankabfrage oft besser. Bei klaren Regeln ist Automation besser. RAG passt zu umfangreichen, überwiegend textuellen Wissensbeständen, in denen Nutzer natürliche Fragen stellen und Quellen benötigen.
‚Wie viele Teile sind gerade auf Lager?‘ gehört an das ERP oder eine Datenbankabfrage. Ein RAG-System könnte eine alte Bestandsliste finden und überzeugend veraltete Zahlen nennen.
Ein Dokument ist nicht automatisch lesbar
PDF bedeutet nicht Text. Scans brauchen OCR, Tabellen brauchen Struktur und Bilder möglicherweise eine eigene Beschreibung. Mehrspaltige Layouts, Kopfzeilen und wiederkehrende Fußtexte können den Index mit Unsinn füllen. Die Datenaufnahme muss deshalb wie ein eigener Produktteil getestet werden.
Die OCR liest aus 8.000 Euro plötzlich 3.000 Euro. Das Modell arbeitet anschließend korrekt mit dem falschen Text. Der Fehler entstand vor der KI-Antwort – und ist genau deshalb schwer zu sehen.
Die Testfragen kommen vor dem Rollout
Vor dem produktiven Einsatz braucht RAG ein Set echter Fragen mit erwarteter Quelle, erlaubter Antwort und bekannten Grenzfällen. Dabei werden Retrieval und Antwort getrennt bewertet. Sonst weiß niemand, ob ein Fehler aus dem Dokument, der Suche oder dem Sprachmodell kommt.
Der Projektleiter zeigt fünf vorbereitete Fragen. Alles funktioniert. Im Alltag fragen Mitarbeitende anders, verwenden Abkürzungen und kombinieren zwei Themen. Ein Testset bildet genau diese unsauberen Fragen ab – nicht nur die Präsentation.
RAG hat einen Lebenszyklus
Neue Dokumente müssen aufgenommen, ersetzte Versionen deaktiviert und gelöschte Inhalte aus Index, Cache und Backups nach den geltenden Regeln behandelt werden. Modell, Embedding-Modell und Suchlogik können sich ebenfalls ändern. Deshalb braucht auch ein Wissenssystem Versionen und einen Legacy-Blick.
Eine Arbeitsanweisung wird zurückgezogen. Die Datei ist im Ordner gelöscht, der alte Chunk bleibt aber im Vektorindex. Ohne dokumentierten Löschweg beantwortet das System weiterhin Fragen mit einer Regel, die offiziell nicht mehr gilt.
Behauptung & Befund
Ohne Rechte, Versionen, Suchqualität, Quellen und Tests entsteht nur ein Demo-Chat.
Retrieval und Generierung können getrennt oder gemeinsam scheitern.
Irrelevanter Kontext kann wichtige Passagen verdrängen und das Modell fehlleiten.
Veraltete, widersprüchliche oder falsch berechtigte Dokumente werden durch RAG nur schneller auffindbar.
Quellen
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks Autor/Institution: Meta AI Research / arXivPublisher: Meta AI Research / arXiv
- Retrieval-Augmented Generation for Large Language Models: A Survey Autor/Institution: arXivPublisher: arXiv
- Artificial Intelligence Risk Management Framework: Generative AI Profile Autor/Institution: NISTPublisher: NIST
- Prompt Injection Autor/Institution: OWASPPublisher: OWASP
- LLM08:2025 Vector and Embedding Weaknesses Autor/Institution: OWASP GenAI Security ProjectPublisher: OWASP GenAI Security Project
- Künstliche Intelligenz: Risiken und Empfehlungen Autor/Institution: BSIPublisher: BSI
- Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden Autor/Institution: BSIPublisher: BSI
- AnythingLLM Autor/Institution: Mintplex LabsPublisher: Mintplex Labs
- Open WebUI Autor/Institution: GitHubPublisher: GitHub