Keine Zukunftsversprechen, keine Kennzahlen ohne Quelle. KI.Engineering erklärt, was hinter Prompt Engineering, Sprachmodellen und generativen Verfahren steckt – und wo die Grenzen der jeweiligen Technik liegen.
Acht Themenfelder, von Prompt Engineering bis Verantwortung. Jedes Feld erklärt, welche Frage es beantwortet und welche Leistungen dazugehören.
Bestehende Prompts werden gesammelt, kategorisiert und gegen dieselben Testfälle laufen gelassen. Das Ergebnis ist eine Liste konkreter Schwachstellen: widersprüchliche Anweisungen, fehlende Formatvorgaben, Beispiele, die das Modell in die falsche R…
Aus wiederkehrenden Anfragen werden benannte Vorlagen mit Platzhaltern. Statt dass fünfzehn Personen fünfzehn Varianten derselben Frage stellen, gibt es eine geprüfte Fassung mit Änderungsverlauf. Der eigentliche Gewinn liegt nicht in der Textqualit…
Retrieval-Augmented Generation verbindet ein Sprachmodell mit dem eigenen Dokumentenbestand: Zur Laufzeit werden passende Textstellen gesucht und der Anfrage beigelegt. Das Modell antwortet dann aus diesen Stellen und kann sie benennen. Der schwieri…
Ein Sprachmodell erfindet nicht aus Bosheit, sondern weil Weitermachen sein einziges Verhalten ist. Gegenmittel wirken gestaffelt: Quellen mitgeben, das Zugeben von Unwissen ausdrücklich erlauben, die Antwort gegen die Quelle prüfen lassen und regel…
Der größte Teil eines Machine-Learning-Projekts entfällt auf Daten, nicht auf Modelle. Bereinigt werden Dubletten, widersprüchliche Einträge und Lücken; danach werden Wertebereiche vereinheitlicht und die Aufteilung in Trainings-, Validierungs- und …
Generative Engine Optimization ist die Arbeit daran, dass ein Inhalt in einer generierten Antwort auftaucht und der richtigen Quelle zugeschrieben wird. Konkret heißt das: Absätze, die für sich stehen; Angaben mit Datum und Beleg; eine Person, die e…
Am Anfang steht ein Verzeichnis: Welche KI-Systeme sind im Einsatz, wofür, mit welchen Daten, und wer ist verantwortlich? Das klingt nach Bürokratie und beantwortet im Ernstfall den größten Teil aller Fragen. Darauf aufbauend werden Vorhaben nach Ri…
Beispiele im Prompt sind das wirksamste Mittel, um ein Ausgabeformat verlässlich zu erzwingen – und zugleich das teuerste, weil sie bei jedem Aufruf mitbezahlt werden. Entscheidend ist die Auswahl: Drei gut gewählte Grenzfälle wirken stärker als zwa…
Sprachmodelle antworten nicht deterministisch. Ein Prompt, der einmal überzeugt, kann beim fünften Lauf danebenliegen. Deshalb wird gegen eine feste Sammlung von Testfällen geprüft, mehrfach, mit einem Bewertungsraster, das vorher feststeht. Erst da…
Geschult wird an den Aufgaben, die im Haus tatsächlich anfallen – nicht an Beispielen aus einer Folienvorlage. Der Aufbau folgt dem Weg von der vagen Frage zur belastbaren Anweisung, mit einem eigenen Block zu Datenschutz und dazu, welche Inhalte au…
Verglichen wird nicht anhand veröffentlichter Bestenlisten, sondern an den eigenen Aufgaben. Ein Modell, das in allgemeinen Vergleichstests vorn liegt, kann bei einer speziellen Auswertung schlechter abschneiden als ein kleineres und deutlich günsti…
Feinjustierung verändert das Verhalten eines Modells: Tonfall, Ausgabeformat, Umgang mit Fachsprache. Sie eignet sich, wenn eine bestimmte Form reproduzierbar gebraucht wird und Beispiele im Prompt dafür zu teuer werden. Sparsame Verfahren wie LoRA …
Große Kontextfenster verleiten dazu, einfach alles mitzugeben. Das kostet bei jedem Aufruf und verschlechtert häufig das Ergebnis: Angaben in der Mitte eines sehr langen Kontexts werden schlechter berücksichtigt als solche am Anfang oder Ende. Sinnv…
Aus Rohdaten werden Größen, die einen Zusammenhang tatsächlich tragen: aus zwei Zeitstempeln eine Dauer, aus einer Postleitzahl eine Region, aus einer Bestellhistorie ein Abstand zum letzten Kauf. In klassischen Verfahren bringt dieser Schritt regel…
Begonnen wird mit einem bewusst einfachen Vergleichsmodell. Es kostet eine Stunde und beantwortet die wichtigste Frage: Wie viel besser ist das aufwendige Verfahren wirklich? Danach wird trainiert, mit protokollierten Läufen und einer systematischen…
Welche Kennzahl zählt, ergibt sich aus den Kosten der beiden Fehlerarten. Bei einer Vorprüfung, die niemanden übersehen darf, zählt der Recall; bei einer automatischen Ablehnung zählt die Präzision. Genauigkeit allein ist bei ungleich verteilten Dat…
Zuerst wird die Aufgabe zugeschnitten: Genügt eine Klassifikation, oder braucht es Position und Anzahl? Die Antwort entscheidet über Datenbedarf und Aufwand um ein Vielfaches. Danach folgen Beschriftung, Training auf einem vortrainierten Modell und …
Aus gescannten Rechnungen, Lieferscheinen und Formularen werden strukturierte Datensätze. Die reine Zeichenerkennung ist heute weitgehend gelöst; die Arbeit liegt in der Zuordnung – welche Zahl ist der Nettobetrag, welches Datum das Lieferdatum. Pla…
In der Fertigung sind Fehlerbilder selten – das ist gut für die Produktion und schlecht für das Training. Deshalb wird oft auf Gutteilen trainiert und alles gemeldet, was abweicht. Der Schwellenwert entscheidet über das Verhältnis von übersehenen Fe…
Eingerichtet wird ein Ablauf, in dem das Modell erste Fassungen liefert und Menschen prüfen, kürzen und verantworten. Der Zeitgewinn entsteht beim Aufsetzen und beim Umschreiben für andere Kanäle, nicht beim Recherchieren. Wer die Prüfung streicht, …
Für wiederkehrende Bildbedarfe wird eine Bildsprache definiert und in Prompt-Vorlagen übersetzt, damit Ergebnisse über Monate zusammenpassen. Negativvorgaben schließen typische Fehlbilder aus. Jedes verwendete Bild wird mit Werkzeug, Prompt und Datu…
Modelle, die Bild, Text und Ton gemeinsam verarbeiten, erlauben Abläufe, die vorher mehrere Werkzeuge brauchten: Ein Screenshot wird beschrieben, die enthaltene Tabelle ausgelesen, das Ergebnis in einen Bericht überführt. Der Gewinn liegt in weniger…
Ausgezeichnet wird nicht als Sammlung einzelner Blöcke, sondern als verknüpfter Graph: Die Seite gehört zur Website, der Beitrag hat einen Autor, der Autor arbeitet für eine Organisation, die Organisation hat Profile anderswo. Erst diese Verbindunge…
Gemessen wird mit einem festen Katalog von Fragen, die in gleichen Abständen an mehrere Systeme gestellt werden. Protokolliert wird der Wortlaut der Antwort, ob die eigene Quelle genannt wurde und in welchem Zusammenhang. Über Monate ergibt das eine…
Zwischen Anwendung und Anbieter kommt eine dünne eigene Schicht. Sie kostet wenige Tage und macht den Wechsel des Modells später zu einer Konfigurationsfrage statt zu einem Umbau. Dazu gehören ein Zwischenspeicher für wiederkehrende Anfragen, eine W…
Der Prototyp läuft nach zwei Wochen, der Betrieb dauert Jahre. Eingerichtet werden Versionierung von Daten und Modellen, eine laufende Beobachtung der Ausgabequalität, eine Kostenüberwachung je Anfrage und ein definierter Weg zurück auf den vorherig…
Ein gehosteter Dienst ist am Anfang schneller und günstiger. Eigener Betrieb rechnet sich bei hohem, gleichmäßigem Volumen oder wenn Daten das Haus nicht verlassen dürfen. Gerechnet wird über drei Jahre und mit dem tatsächlichen Lastprofil – nicht m…
Jeder Aufruf eines externen Modells ist eine Übermittlung personenbezogener Daten, sobald im Text ein Name, eine Adresse oder eine Kundennummer steht. Geprüft werden deshalb der tatsächliche Datenfluss, der Serverstandort, die Vereinbarung zur Auftr…
Geprüft wird, ob ein System für bestimmte Gruppen systematisch schlechter arbeitet. Dazu werden dieselben Kennzahlen getrennt nach Gruppen erhoben und Testfälle mit vertauschten Merkmalen durchgespielt. Auffälligkeiten zeigen sich fast immer erst in…
Sobald ein System fremde Texte verarbeitet – Webseiten, E-Mails, hochgeladene Dateien –, können darin Anweisungen versteckt sein, die das Modell befolgt. Gegenmaßnahmen sind gestaffelt: Anweisung und Inhalt klar trennen, dem System nur die Rechte ge…