Modellauswahl

Entscheidung · Sprachmodelle · Seit 2024

⚖️

Modellauswahl

Entscheidung

Über die Leistung

Verglichen wird nicht anhand veröffentlichter Bestenlisten, sondern an den eigenen Aufgaben. Ein Modell, das in allgemeinen Vergleichstests vorn liegt, kann bei einer speziellen Auswertung schlechter abschneiden als ein kleineres und deutlich günstigeres. Mit in die Rechnung gehören Antwortzeit, Verfügbarkeit, Serverstandort und die Frage, wie aufwendig ein späterer Wechsel wäre. Grenze: Jede Auswahl hat eine Halbwertszeit von Monaten. Wichtiger als das Ergebnis ist deshalb eine Anbindung, die den Tausch des Modells nicht zum Umbau macht.

Was dazugehört

Anforderungsprofil Vergleich an eigenen Testfällen Kosten je tausend Anfragen Datenschutzprüfung Ausweichlösung

Kurz gesagt

Modelle an den eigenen Aufgaben vergleichen, nicht an Ranglisten