Mit jedem neuen Modell wächst das Kontextfenster, und mit jedem Sprung kommt dieselbe Frage: Können wir uns Retrieval jetzt sparen und einfach alles mitgeben? Die kurze Antwort lautet: technisch ja, praktisch selten.

Drei Gründe, die dagegen sprechen

1. Die Mitte wird schwächer berücksichtigt

Angaben am Anfang und am Ende einer langen Eingabe werden zuverlässiger verwendet als solche in der Mitte. Bei einem sehr langen Kontext kann eine entscheidende Zeile faktisch unsichtbar sein, obwohl sie mitgesendet wurde. Das ist ein reproduzierbares Verhalten, kein Einzelfall.

2. Jedes Token wird bezahlt – bei jedem Aufruf

Ein Kontext von 200.000 Token bei tausend Anfragen am Tag ergibt 200 Millionen Eingabetoken täglich. Retrieval, das stattdessen 3.000 gezielt ausgewählte Token mitgibt, senkt diese Position um mehr als das Sechzigfache. Die Rechnung entscheidet sich hier, nicht an der Modellauswahl.

3. Die Antwortzeit steigt

Ein sehr langer Kontext muss verarbeitet werden, bevor das erste Wort der Antwort entsteht. Bei interaktiven Anwendungen ist das der Unterschied zwischen brauchbar und ärgerlich.

Wofür große Fenster tatsächlich gut sind

  • Einzelne lange Dokumente. Ein Vertrag, eine Norm, ein Protokoll – vollständig, ohne Zerlegung.
  • Aufgaben, die den Gesamtzusammenhang brauchen. Widersprüche in einem Dokument finden gelingt mit Retrieval schlecht, weil die Suche gerade die widersprechenden Stellen nicht als Paar findet.
  • Prototypen. Alles mitgeben und schauen, ob die Aufgabe überhaupt lösbar ist – bevor Aufwand in Aufbereitung fließt.

Eine brauchbare Aufteilung

  1. Anweisung und Rolle an den Anfang
  2. Quellen in der Mitte, nach Relevanz sortiert, die wichtigste zuletzt
  3. Format und Ausschlüsse unmittelbar vor der Frage
  4. Die eigentliche Frage ans Ende

Diese Reihenfolge nutzt die stärkeren Positionen für das, was befolgt werden muss.

Ein Budget je Aufruf

Legen Sie fest, wie viele Token eine Anfrage kosten darf, und bauen Sie das Retrieval so, dass es dieses Budget einhält – lieber fünf gute Fundstellen als zwanzig mittelmäßige. Ohne Budget wächst der Kontext still, und die Rechnung fällt erst am Monatsende auf.

Der Prüfsatz für die Entscheidung

Braucht die Aufgabe den Gesamtzusammenhang, oder braucht sie die richtige Stelle? Im ersten Fall: langer Kontext. Im zweiten: Retrieval. Diese Frage beantwortet den Streit in den meisten Fällen in zwei Minuten.