Kurz-Fakten
- Formen: Echtzeitschnittstelle, Stapelverarbeitung, Ausführung auf dem Gerät
- Über die Lebensdauer kostet Inference mehr als das Training
- Antwortzeit und Kosten hängen an Modellgröße und Kontextlänge
- Jede Version braucht eine eindeutige Kennung im Protokoll
Bedeutung in der Praxis
Die Kostenfrage überrascht regelmäßig: Ein einmaliges Training ist kalkulierbar, laufende Anfragen wachsen mit dem Erfolg. Eine Hochrechnung auf das Zehnfache der erwarteten Nutzung gehört in jede Entscheidungsvorlage.