Der Begriff KI Engineering – oder AI Engineering – hat sich in den vergangenen Jahren als Bezeichnung für eine Tätigkeit etabliert, die es vorher in dieser Form nicht gab: das Bauen von Anwendungen mit vorhandenen KI-Modellen.

Die Abgrenzung

Data Science untersucht Daten und baut Modelle. Die Frage lautet: Was steckt in diesen Daten, und lässt sich daraus etwas vorhersagen?

Machine Learning Engineering bringt eigene Modelle in den Betrieb: Trainingsketten, Bereitstellung, Überwachung.

KI Engineering setzt später an. Das Modell existiert bereits – von einem Anbieter oder als offenes Modell. Die Arbeit besteht darin, daraus eine Anwendung zu bauen, die zuverlässig genug ist, um jemandem zugemutet zu werden.

Woraus die Arbeit tatsächlich besteht

  • Aufgabenzuschnitt. Was soll das System können, und woran misst man das?
  • Modellauswahl. An eigenen Testfällen, nicht an Ranglisten.
  • Kontextbeschaffung. Retrieval, Datenaufbereitung, Zerlegung von Dokumenten.
  • Prompt-Arbeit mit Messung. Testfälle, Bewertungsraster, Wiederholungsläufe.
  • Absicherung. Schemaprüfung, Rechtebegrenzung, Umgang mit Fehlern.
  • Betrieb. Kosten je Anfrage, Antwortzeiten, Protokollierung, Modellwechsel.

Warum es eine eigene Disziplin ist

Weil die üblichen Annahmen der Softwareentwicklung nicht gelten. Gleiche Eingabe, gleiche Ausgabe – stimmt nicht. Eine bestandene Prüfung bleibt bestanden – stimmt nicht, wenn der Anbieter das Modell austauscht. Ein Fehler lässt sich reproduzieren – oft nicht.

Daraus folgt eine andere Arbeitsweise: statistisch statt deterministisch, mit Fallsammlungen statt Einzeltests, mit Toleranzbereichen statt fester Zusagen.

Was am häufigsten fehlt

Die Messung. Die meisten Anwendungen, die in Schwierigkeiten geraten, haben keine Sammlung von Testfällen. Ohne sie ist unbekannt, ob eine Änderung eine Verbesserung war, und eine Verhaltensänderung beim Anbieter fällt erst durch Beschwerden auf.

Wer das braucht

Jedes Vorhaben, das über den Prototyp hinausgeht. Der Prototyp läuft nach zwei Wochen – das ist der einfache Teil und der Grund, warum so viele Vorhaben in der Demo stecken bleiben.