Prompt-Audit

Analyse · Prompt Engineering · Seit 2024

🔍

Prompt-Audit

Analyse

Über die Leistung

Bestehende Prompts werden gesammelt, kategorisiert und gegen dieselben Testfälle laufen gelassen. Das Ergebnis ist eine Liste konkreter Schwachstellen: widersprüchliche Anweisungen, fehlende Formatvorgaben, Beispiele, die das Modell in die falsche Richtung ziehen. Häufigster Befund ist nicht ein zu kurzer, sondern ein zu langer Prompt, in dem spätere Anweisungen frühere überschreiben. Grenze: Ein Audit verbessert die Streuung der Antworten, nicht die Obergrenze dessen, was ein Modell kann. Wenn die Aufgabe Wissen verlangt, das nirgends steht, hilft kein Prompt.

Was dazugehört

Bestandsaufnahme Fehleranalyse Umbauvorschlag Vorher-Nachher-Vergleich Übergabedokument

Kurz gesagt

Bestehende Prompts prüfen, Schwachstellen belegen, gezielt umbauen