Was ist RAG (Retrieval-Augmented Generation)?

Ein Anlagenbauer mit 120 Mitarbeitenden hat sein Wissen in über 9.000 Dokumenten liegen: Wartungshandbücher, Prüfprotokolle, Angebote, interne Anweisungen. Wenn ein Servicetechniker wissen will, welches Anzugsmoment bei einem bestimmten Anlagentyp gilt, sucht er im Schnitt 20 Minuten — oder ruft einen Kollegen an, der es auswendig weiß. Mit einem RAG-System tippt er die Frage ein und bekommt in Sekunden die Antwort, samt Verweis auf Handbuch und Seite.

Das ist der Kern von RAG: Die KI antwortet nicht aus dem Bauch, sondern aus Ihren Dokumenten.

Das Problem, das RAG löst

Sprachmodelle wie ChatGPT sind beeindruckend, haben aber zwei Schwächen für den Unternehmenseinsatz. Erstens: Sie kennen Ihre internen Daten nicht. Zweitens: Wenn sie etwas nicht wissen, erfinden sie mitunter eine plausibel klingende Antwort. Für eine Produktberatung oder eine Frage zur Wartungsvorschrift ist beides inakzeptabel.

RAG — Retrieval-Augmented Generation, sinngemäß „durch Suche gestützte Texterzeugung“ — behebt beide Schwächen mit einem einfachen Prinzip: Erst suchen, dann antworten.

So funktioniert es

Ein RAG-System arbeitet in drei Schritten:

1. Aufbereiten: Ihre Dokumente — PDFs, Word-Dateien, E-Mails, Scans — werden eingelesen, in sinnvolle Abschnitte zerlegt und in einer durchsuchbaren Wissensdatenbank abgelegt.
2. Suchen (Retrieval): Stellt jemand eine Frage, findet das System die inhaltlich passendsten Abschnitte — nicht nur nach Stichworten, sondern nach Bedeutung. Es findet die „Kündigungsfrist“ auch dann, wenn im Vertrag „Beendigung des Vertragsverhältnisses“ steht.
3. Antworten (Generation): Das Sprachmodell erhält die gefundenen Abschnitte zusammen mit der Frage und formuliert daraus eine Antwort — mit Angabe der Quelle, sodass jede Aussage überprüfbar ist.

Warum die Datenaufbereitung über alles entscheidet

In der Praxis entscheidet sich die Qualität eines RAG-Systems fast immer im ersten Schritt. Ein sauber formulierter Fließtext ist schnell verarbeitet. Der Alltag im Mittelstand sieht anders aus: verschachtelte Tabellen in PDFs, gescannte Lieferscheine, technische Zeichnungen, 30 Jahre gewachsene Dokumentablagen. Wird dieses Material schlecht eingelesen — Tabellen zerrissen, Scans falsch erkannt, Zusammenhänge gekappt —, findet die Suche später die falschen Stellen, und die beste KI antwortet auf falscher Grundlage.

Professionelles Daten-Parsing, also das strukturtreue Auslesen und Aufbereiten der Dokumente, ist deshalb kein Nebenschauplatz, sondern das Fundament. Hier trennt sich das Demo-Projekt vom System, dem die Belegschaft tatsächlich vertraut.

RAG und Datenschutz

Ein oft übersehener Vorteil: RAG erfordert kein Training des Modells mit Ihren Daten. Die Dokumente bleiben in einer Datenbank, die Sie kontrollieren, und werden nur zur Beantwortung der jeweiligen Frage herangezogen. Läuft das gesamte System — Wissensdatenbank und Sprachmodell — auf eigener Hardware im Haus, verlassen weder Kundendaten noch Geschäftsgeheimnisse das Unternehmen. Das vereinfacht die DSGVO-Bewertung erheblich und macht RAG auch für Branchen mit strengen Vertraulichkeitspflichten gangbar.

Für wen sich RAG lohnt

RAG lohnt sich überall dort, wo Wissen vorhanden, aber schwer auffindbar ist: technische Dokumentation, Verträge, Qualitätsmanagement, Support-Historien, Einarbeitung neuer Mitarbeitender. Als Faustregel gilt: Wenn Ihre Mitarbeitenden regelmäßig Zeit mit Suchen verbringen oder dieselben Fragen immer wieder bei denselben Wissensträgern landen, ist RAG der naheliegendste und wirtschaftlichste KI-Einstieg.