Prompt-Testing

Über die Leistung

Sprachmodelle antworten nicht deterministisch. Ein Prompt, der einmal überzeugt, kann beim fünften Lauf danebenliegen. Deshalb wird gegen eine feste Sammlung von Testfällen geprüft, mehrfach, mit einem Bewertungsraster, das vorher feststeht. Erst dann lässt sich sagen, ob eine Änderung eine Verbesserung war. Grenze: Ein Bewertungsraster ist immer eine Vereinfachung. Was sich schlecht in Kriterien fassen lässt – Tonfall, Angemessenheit – braucht weiterhin ein menschliches Urteil.

Was dazugehört

Kurz gesagt

Vergleichbar messen statt nach Bauchgefühl entscheiden