RAG oder Fine-Tuning? Die Verwechslung, die Projekte teuer macht

„Wir wollen, dass das Modell unsere Handbücher kennt – lassen Sie uns das Modell darauf trainieren." Dieser Satz fällt in jedem zweiten Erstgespräch. Er beschreibt eine Aufgabe, die richtig ist, und ein Verfahren, das sie nicht löst.

Der Unterschied in einem Satz

Feinjustierung verändert, wie ein Modell antwortet. Retrieval verändert, worüber es antworten kann.

Was Feinjustierung tatsächlich leistet

• Ein festes Ausgabeformat, das sich sonst nur mit langen Beispielen erzwingen lässt
• Einen bestimmten Tonfall über viele Antworten hinweg
• Den Umgang mit einer eigenen Fachsprache
• Kürzere Prompts, weil Regeln im Modell stecken statt im Kontext

Was sie nicht leistet: Faktenwissen zuverlässig verfügbar machen. Ein Modell, das mit Handbüchern feinjustiert wurde, gibt danach den Tonfall der Handbücher wieder – und erfindet die Inhalte weiterhin. Schlimmer noch: Es klingt dabei überzeugender.

Was Retrieval leistet

Zur Laufzeit werden passende Textstellen gesucht und der Anfrage beigelegt. Daraus folgen drei Eigenschaften, die Feinjustierung nicht hat:

• Aktualität. Ein geändertes Dokument wirkt beim nächsten Aufruf.
• Nachvollziehbarkeit. Die Antwort kann die Fundstelle nennen.
• Rechteverwaltung. Wer welches Dokument sehen darf, lässt sich in der Suche abbilden – im Modell nicht.

Der letzte Punkt wird regelmäßig übersehen und ist bei Personal- und Vertragsunterlagen der ausschlaggebende.

Eine Entscheidungsreihenfolge

1. Geht es mit Prompting? Bei festen, kleinen Wissensbeständen: Text mitgeben, fertig.
2. Geht es mit Retrieval? Bei veränderlichen oder großen Beständen: RAG. Deckt den überwiegenden Teil der Fälle ab.
3. Bleibt ein Verhaltensproblem? Erst dann Feinjustierung – und zwar zusätzlich zu Retrieval, nicht statt.

Die Kostenseite

Feinjustierung kostet einmalig Aufbereitung und Rechenzeit, und dann wieder – bei jedem Wechsel des Grundmodells. Bei einem Feld, in dem Anbieter im Quartalstakt neue Versionen veröffentlichen, ist das eine wiederkehrende Position. Ein Retrieval-Aufbau überlebt den Modellwechsel dagegen unverändert.

Wann Feinjustierung die richtige Wahl ist

Wenn ein sehr enges, gleichbleibendes Verhalten in hoher Stückzahl gebraucht wird – etwa eine Klassifikation in feste Kategorien. Dann kann ein feinjustiertes kleines Modell deutlich günstiger und schneller sein als ein großes mit langem Prompt. Das ist ein Kosten-, kein Wissensargument.