Prompts testen: so wird aus einem Eindruck eine Aussage

Dieselbe Frage, dreimal gestellt, ergibt drei verschiedene Antworten. Das ist keine Störung, sondern die Funktionsweise. Daraus folgt: Ein einzelner überzeugender Durchlauf sagt nichts.

Schritt 1: Testfälle sammeln

Zwanzig bis dreißig echte Fälle aus dem Alltag, nicht ausgedachte. Wichtig ist die Mischung: einfache Fälle, Grenzfälle und mindestens drei, bei denen die richtige Antwort „das geht nicht" lautet. Genau an denen scheitern Prompts.

Schritt 2: Bewertungsraster festlegen – vorher

Drei bis fünf Kriterien, jeweils mit Ja oder Nein zu beantworten. Zum Beispiel: Format eingehalten? Alle geforderten Angaben enthalten? Keine erfundenen Zahlen? Länge im Rahmen? Skalen von eins bis zehn sind hier schlechter, weil sie in der Bewertung wandern.

Das Raster steht vor dem ersten Durchlauf. Wer es danach festlegt, legt es passend zum Ergebnis fest.

Schritt 3: Mehrfach laufen lassen

Jeder Testfall dreimal je Prompt-Fassung. Bei dreißig Fällen und zwei Fassungen sind das 180 Durchläufe – automatisiert eine Frage von Minuten, von Hand ein halber Tag. Der Aufwand lohnt trotzdem, weil er einmalig ist.

Schritt 4: Auswerten

Interessant sind zwei Zahlen: der Anteil bestandener Kriterien und die Streuung zwischen den drei Läufen. Ein Prompt mit achtzig Prozent bei geringer Streuung ist im Betrieb besser als einer mit fünfundachtzig Prozent, der stark schwankt.

Was die Testfälle noch leisten

Sie sind Ihre Absicherung gegen Modellwechsel. Anbieter tauschen Modelle im laufenden Betrieb aus, und das Verhalten ändert sich ohne Ankündigung. Wer die Sammlung monatlich durchlaufen lässt, merkt die Veränderung vor den Nutzern.

Die häufigsten Fehler

• Nur einfache Fälle im Test – dann besteht jede Fassung.
• Nur ein Durchlauf je Fall – dann misst man Zufall.
• Bewertung durch die Person, die den Prompt geschrieben hat.
• Ein Modell als Prüfer, ohne dessen Urteil selbst zu prüfen.

Wann es sich lohnt

Sobald ein Prompt in einem Ablauf verwendet wird, den mehrere Personen nutzen. Für die gelegentliche Einzelanfrage ist der Aufwand nicht gerechtfertigt.