Fine-Tuning oder RAG — was braucht Ihr Unternehmen?

Ein Softwarehaus im Rheintal will einen internen Assistenten, der Fragen zu 15 Jahren Projektdokumentation beantwortet. Der erste Reflex des Technikleiters: „Dann trainieren wir ein Modell mit unseren Daten.“ Drei Angebote später ist klar: Das Nachtraining würde Monate dauern, ein sechsstelliges Budget binden — und wäre beim nächsten Projektabschluss schon wieder veraltet. Umgesetzt wurde stattdessen ein RAG-System: nach sechs Wochen produktiv, jede Antwort mit Quellenlink, neue Dokumente fließen automatisch ein.

Der Fall ist typisch. Die Frage „Fine-Tuning oder RAG?“ stellt sich früher oder später in jedem KI-Projekt — und sie wird oft in die falsche Richtung beantwortet.

Zwei Wege, der KI Ihr Unternehmen beizubringen

Ein Sprachmodell von der Stange kennt Ihre Firma nicht. Es gibt zwei grundsätzlich verschiedene Wege, das zu ändern:

Fine-Tuning verändert das Modell selbst. Man trainiert es mit Hunderten bis Tausenden eigener Beispiele nach — etwa Frage-Antwort-Paaren oder Musterdokumenten. Das Modell verinnerlicht dadurch Muster: einen Schreibstil, Fachjargon, ein bestimmtes Antwortverhalten. Was es dabei nicht zuverlässig lernt, sind Fakten — nachtrainiertes Wissen bleibt lückenhaft, kann nicht belegt werden und veraltet mit dem Tag des Trainings.

RAG (Retrieval-Augmented Generation) lässt das Modell unangetastet. Stattdessen werden Ihre Dokumente in einer durchsuchbaren Wissensdatenbank aufbereitet. Zu jeder Frage sucht das System die passenden Textstellen heraus und gibt sie dem Modell als Grundlage mit — die Antwort kommt mit Quellenangabe.

Der praktische Vergleich

• Aktualität: Bei RAG genügt es, ein Dokument in die Wissensbasis zu legen — die nächste Antwort kennt es. Fine-Tuning erfordert für neues Wissen einen neuen Trainingslauf.
• Nachvollziehbarkeit: RAG belegt jede Aussage mit der Fundstelle. Ein feinjustiertes Modell antwortet aus dem Gedächtnis — ob eine Angabe stimmt, lässt sich nicht am System prüfen. Für haftungsrelevante Auskünfte ist das ein Ausschlusskriterium.
• Kosten und Zeit: Ein RAG-Einstieg ist in Wochen produktiv. Seriöses Fine-Tuning braucht kuratierte Trainingsdaten in großer Zahl — die Aufbereitung ist der eigentliche Kostentreiber.
• Berechtigungen: In der Wissensdatenbank lässt sich steuern, wer welche Dokumente sieht. In ein Modell hineintrainiertes Wissen kennt keine Zugriffsrechte — es steckt für alle Nutzer gleichermaßen drin.
• Datenschutz: Beide Ansätze lassen sich On-Premise betreiben. Beim Fine-Tuning in der Cloud gibt man allerdings Trainingsdaten — also konzentriertes Firmenwissen — aus der Hand. Wer diesen Weg geht, sollte ihn auf eigener Hardware gehen.

Wann Fine-Tuning trotzdem die richtige Antwort ist

Es gibt legitime Fälle: wenn das Modell einen sehr spezifischen Stil durchgängig treffen muss, wenn eine Fachsprache so weit vom Allgemeindeutsch entfernt ist, dass Standardmodelle stolpern, oder wenn ein kleines lokales Modell für eine eng umrissene Aufgabe geschärft werden soll. Das sind Optimierungen für Fortgeschrittene — sinnvoll, wenn ein laufendes RAG-System an nachweisbare Grenzen stößt, nicht als erster Schritt.

Die Empfehlung

Für neun von zehn Mittelstandsvorhaben lautet die Reihenfolge: erst die Dokumente professionell aufbereiten, dann RAG, dann messen. Erst wenn dort Stil oder Fachsprache nachweislich limitieren, ist Fine-Tuning das richtige Zusatzwerkzeug — idealerweise kombiniert, auf einem System im eigenen Haus. So bleibt das Budget dort, wo der Nutzen entsteht: bei verlässlichen, belegbaren Antworten aus Ihrem eigenen Wissen.