📏
Kontextfenster-Strategie
Technik
Über die Leistung
Große Kontextfenster verleiten dazu, einfach alles mitzugeben. Das kostet bei jedem Aufruf und verschlechtert häufig das Ergebnis: Angaben in der Mitte eines sehr langen Kontexts werden schlechter berücksichtigt als solche am Anfang oder Ende. Sinnvoll ist ein Budget je Aufruf und eine feste Reihenfolge – Anweisung, Quellen, Frage. Grenze: Ab einer bestimmten Bestandsgröße ist Retrieval unvermeidlich. Ein Kontextfenster ist kein Ersatz für eine Suche, nur ein Aufschub.
Was dazugehört
Tokenbudget
Reihenfolge der Bestandteile
Zusammenfassungsketten
Zwischenspeicher
Kostenrechnung
Kurz gesagt
Weniger, aber richtig sortierter Kontext statt maximaler Füllung