RAG im Unternehmen: wann eine Wissensdatenbank mit KI hilft
Eine KI-Wissenssuche mit RAG hilft, wenn Mitarbeiter Antworten in vielen Dokumenten suchen, ihre Fragen in eigenen Worten stellen und jede Antwort an der genannten Quelle prüfen können. Vorher brauchen Sie gepflegte Dokumente, Berechtigungen auch in der Suche und eine Testreihe mit echten Fragen.
RAG steht für Retrieval Augmented Generation und wird im Unternehmen meist als Assistent eingesetzt, der Fragen aus Handbüchern, Verträgen, Richtlinien oder Tickets beantwortet. Ein erster Prototyp ist technisch schnell gebaut. Ob er im Alltag trägt, entscheidet sich vorher: an den Dokumenten, an den Zugriffsrechten und an einer Messung, die zeigt, wie oft die Antworten stimmen.
Dass KI-Vorhaben an fehlenden oder veralteten Daten hängen bleiben, gehört zu den Ursachen, die wir unter Warum KI-Projekte scheitern beschrieben haben. Hier geht es um den konkreten Fall RAG: was die Technik leistet, was Sie vorbereiten und woran Sie erkennen, dass eine gute Volltextsuche genügt.
Grundlagen
RAG in drei Sätzen
Bei einer Frage sucht das System zuerst die passenden Abschnitte aus Ihren Dokumenten heraus. Diese Abschnitte gibt es zusammen mit der Frage an ein Sprachmodell, mit der Anweisung, nur aus diesem Material zu antworten. Das Modell formuliert die Antwort und nennt die Abschnitte, auf die sie sich stützt.
Das Sprachmodell lernt dabei nichts dazu. Ihr Wissen steckt in einem Suchindex, den Sie selbst aktualisieren und löschen können. Für die Suche nutzen RAG-Systeme meist Embeddings, also Zahlenvektoren, die Bedeutungsnähe abbilden, oft kombiniert mit klassischer Wortsuche. Wie diese Hybrid-Suche aufgebaut ist und wo reine Vektorsuche exakte Nummern verfehlt, steht in Wann ein LLM den Tag rettet.
Dokumente
Gepflegte, aktuelle Dokumente als Voraussetzung
Ein RAG-System antwortet aus dem, was es findet. Liegen im Index die Reisekostenrichtlinie von 2019 und die von 2025 nebeneinander, kann die Antwort aus der alten stammen, und sie klingt dabei genauso sicher wie eine richtige. Vor dem Aufbau des Index stehen deshalb vier Fragen:
Zuständigkeit: Wer ist für jedes Dokument verantwortlich und merkt, wenn es nicht mehr stimmt?
Gültigkeit: Ist erkennbar, welche Fassung gilt? Ein Feld „gültig ab“ oder ein Archivordner, der nicht in den Index wandert, löst viele Widersprüche, bevor sie entstehen.
Lesbarkeit: Gescannte PDFs ohne Textebene sind für die Suche leer. Sie brauchen vorher eine Texterkennung, Tabellen und Formulare eine Prüfung, ob ihre Struktur erhalten bleibt.
Löschung: Wird ein Dokument in der Quelle gelöscht oder ersetzt, muss es auch aus dem Index verschwinden. Ohne diesen Abgleich zitiert der Assistent Unterlagen, die es offiziell nicht mehr gibt.
Ein guter Prüfstein ist die Frage, ob die Dokumente schon von Menschen gelesen und gepflegt werden. Werden sie das nicht, beginnt die Arbeit bei der Pflege.
Zugriff und Recht
Berechtigungen und Datenschutz
Ein RAG-System darf einem Mitarbeiter nur Abschnitte zeigen, die er auch in der Quelle öffnen dürfte. Der Filter gehört deshalb vor die Suche, in den Abruf aus dem Index, und nicht hinter die Antwort. Sonst hat das Sprachmodell den Text der Gehaltsliste bereits gelesen, bevor ein Filter greifen kann, und Bruchstücke davon können in der Antwort landen.
Dafür muss das System wissen, wer fragt, und zu jedem Abschnitt speichern, wer ihn sehen darf. Praktisch heißt das: Beim Einlesen bekommt jeder Abschnitt die Gruppen oder Rollen mit, die das Quelldokument öffnen dürfen, und jede Suche im Index filtert auf die Gruppen der angemeldeten Person. Ändert sich ein Recht in der Quelle, muss der Abgleich es auch im Index ändern, sonst gilt dort der alte Stand.
Beim Datenschutz geht es um die Textabschnitte, die an das Sprachmodell gehen. Setzt ein Unternehmen das Modell eines externen Anbieters ein, liegt nach der Orientierungshilfe der Datenschutzkonferenz vom 06.05.2024 häufig eine Auftragsverarbeitung vor, mit einem Vertrag nach Art. 28 Abs. 3 DSGVO. Die Orientierungshilfe nennt Anwendungen vorzugswürdig, die Ein- und Ausgaben nicht zum Training verwenden. Die Herstellerdokumentation beantwortet die Detailfragen. OpenAI nennt für die API zum Beispiel: keine Nutzung für das Training ohne ausdrückliche Zustimmung, Protokolle zur Missbrauchserkennung bis zu 30 Tage, hochgeladene Dateien und Vektorspeicher bis zur Löschung. Der Index ist dann eine zweite Kopie Ihrer Dokumente beim Anbieter, für die Löschung und Rückgabe am Vertragsende geregelt sein müssen.
Wer Abschnitte gar nicht außer Haus geben darf, betreibt das Modell selbst; wann sich das rechnet, behandelt Self-Hosted KI. Welche Pflichten der AI Act ab August 2026 für Chat-Oberflächen bringt, steht in EU AI Act: Welche Pflichten ab August 2026 gelten. Die EU-Kommission hat am 19.11.2025 mit dem Digital Omnibus auch Änderungen an der DSGVO vorgeschlagen; am 26.06.2026 ist das Verfahren im Parlament nicht abgeschlossen, es gilt die DSGVO in der bestehenden Fassung.
Messen statt schätzen
Antwortqualität messen
Ob ein RAG-System gut genug ist, zeigt eine feste Testreihe, die vor dem Start entsteht und nach jeder Änderung erneut läuft. Sammeln Sie dafür echte Fragen aus Support-Postfach, Ticketsystem oder Einarbeitung neuer Kollegen, keine ausgedachten. Zu jeder Frage notiert eine Fachperson, in welchem Dokument die Antwort steht und wie sie lautet. Einige Fragen sollten bewusst keine Antwort in den Unterlagen haben.
Ein konstruiertes Beispiel mit 40 Fragen, davon 35 mit Antwort in den Dokumenten und 5 ohne:
Trefferquote der Suche: Bei 28 der 35 Fragen ist das erwartete Dokument unter den fünf abgerufenen Abschnitten. 28 ÷ 35 = 80 Prozent.
Richtige Antworten mit richtiger Quelle: 25 der 35 Antworten bestätigt die Fachperson als richtig und richtig belegt. 25 ÷ 35 = rund 71 Prozent.
Nichtwissen zugeben: Bei 3 der 5 Fragen ohne Antwort meldet das System, dass die Unterlagen dazu nichts enthalten. Bei 2 erfindet es eine Antwort. 2 ÷ 5 = 40 Prozent erfundene Antworten bei Fragen ohne Grundlage.
Die dritte Zahl kann über den Einsatz entscheiden, denn eine erfundene Antwort mit Quellenangabe wirkt glaubwürdiger als eine leere Trefferliste. Die sieben Fehlgriffe der Suche prüfen Sie einzeln. Mögliche Ursachen sind Scans ohne Textebene, Abkürzungen, die im Dokument anders geschrieben sind, oder zu große Textstücke. Nach jeder Korrektur läuft die Testreihe vollständig erneut.
Dieselbe Testreihe schützt beim Modellwechsel. Im Beitrag zum Vendor-Lock-in bei OpenAI nennen wir dafür 30 bis 100 Paare aus Eingabe und Erwartung je Funktion. Jeder Testlauf verbraucht Token, die Sie wie den Betrieb einplanen; wie das geht, steht unter KI-Kosten im Betrieb.
Die Alternative
Wann eine gute Volltextsuche reicht
Eine Volltextsuche genügt, solange Mitarbeiter wissen, wonach sie suchen: Artikelnummern, Aktenzeichen, Kundennamen, Dateinamen, feste Fachbegriffe. Sie liefert eine Trefferliste statt einer Antwort, und der Mensch liest selbst nach. Auch abweichende Schreibweisen fängt eine gut eingerichtete Suche zum Teil ab. Die PostgreSQL-Volltextsuche führt Wortformen auf eine Grundform zurück und sortiert nach Relevanz. Meilisearch akzeptiert laut Dokumentation einen Tippfehler ab fünf Zeichen und zwei ab neun.
Den Prüfwert dafür liefert Ihre eigene Suche: der Anteil der Suchen ohne Treffer. Bei 2.000 Suchen im Monat und 60 ohne Ergebnis sind das 60 ÷ 2.000 = 3 Prozent. Unsere Seite Wann KI bei Ihnen Quatsch ist empfiehlt die Reihenfolge: erst die Dokumente ordnen, dann eine gute Suche aufsetzen und erst bei weniger als 1 Prozent „nichts gefunden“ über eine semantische Erweiterung nachdenken. Die Reihenfolge hat einen Grund: Solange viele Suchen ins Leere laufen, liegen die Lücken meist in Ablage, Schreibweisen oder fehlenden Synonymen. Diese Lücken hat auch ein RAG-System, denn das Sprachmodell antwortet nur aus den Abschnitten, die die Suche vorher findet. Bei 3 Prozent stehen also zuerst Synonyme, Texterkennung und Ablage an.
RAG ergänzt die Suche dort, wo Fragen in Alltagssprache kommen, die Antwort über mehrere Abschnitte verteilt ist und das Nachlesen spürbar Zeit kostet, etwa im Kundenservice mit vielen Produktvarianten oder bei der Einarbeitung neuer Mitarbeiter.
Gegenüberstellung
Volltextsuche und RAG im Vergleich
Die Tabelle stellt beide Wege nebeneinander. Viele Systeme kombinieren sie: Die Volltextsuche bleibt für exakte Begriffe, RAG kommt für Fragen in Alltagssprache dazu.
| Volltextsuche | RAG | |
|---|---|---|
| Ergebnis | Trefferliste mit Dokumenten | formulierte Antwort mit Quellenangabe |
| Stärke | exakte Begriffe, Nummern, Namen | Fragen in eigenen Worten, Antworten aus mehreren Abschnitten |
| Typischer Fehler | kein Treffer bei anderem Wortlaut | sicher klingende Antwort ohne passende Quelle |
| Berechtigungen | Filter auf die Trefferliste | Filter vor dem Abruf, sonst liest das Modell gesperrte Texte |
| Laufende Kosten | Server und Index, keine Kosten je Anfrage | zusätzlich Token je Anfrage, Embeddings und Testläufe |
| Datenschutz | Daten bleiben im eigenen System | Abschnitte gehen an den Modellanbieter, außer bei eigenem Betrieb |
| Pflege | Synonyme, Stoppwörter, Texterkennung | dazu Abgleich des Index und eine Testreihe mit echten Fragen |
| Beispiele | PostgreSQL-Volltextsuche, Meilisearch | Embedding-Modell, Vektorindex, Sprachmodell mit Quellenpflicht |
Kurz beantwortet
Häufige Fragen
-
RAG heißt Retrieval Augmented Generation. Ein Sprachmodell bekommt zu jeder Frage passende Abschnitte aus Ihren Dokumenten und antwortet auf dieser Grundlage, mit Verweis auf die Quelle. Das Modell selbst wird dabei nicht mit Ihren Daten trainiert.
-
Nein. Ein RAG-System braucht selbst eine Suche, um die passenden Abschnitte zu finden, und für Nummern, Namen und feste Begriffe bleibt die klassische Trefferliste schneller und genauer. RAG ist eine zusätzliche Schicht für Fragen in Alltagssprache.
-
Das hängt vom Anbieter und vom Vertrag ab. Bei API-Diensten großer Anbieter werden Eingaben nach deren Dokumentation standardmäßig nicht zum Training genutzt, Protokolle aber eine Zeit lang aufbewahrt, und hochgeladene Dateien bleiben bis zur Löschung gespeichert. Klären Sie Speicherort, Fristen und Löschung im Auftragsverarbeitungsvertrag, oder betreiben Sie das Modell selbst.
Erst prüfen, dann bauen
Bevor Sie einen Assistenten für Ihre Dokumente beauftragen, gehen Sie die Gegenfragen durch: Würde eine gute Suche reichen, und was bleibt dann für ein Sprachmodell übrig?
Nachweise
Quellen und Stand
Stand: 26.06.2026. Dieser Beitrag ist keine Rechtsberatung. Die Zahlen zur Testreihe und zur Suche ohne Treffer sind angenommene Beispielwerte. Angaben zu OpenAI laut Herstellerdokumentation; Fristen und Bedingungen können sich ändern.
Artikel teilen