Ein Screenshot, eine Frage dazu, eine Antwort. Was einfach klingt, ersetzt in manchen Abläufen drei Arbeitsschritte. In anderen erzeugt es eine Antwort, die stimmig aussieht und falsch ist.

Was zuverlässig funktioniert

  • Beschreiben, was zu sehen ist. Gut geeignet für Alternativtexte und Bildverschlagwortung.
  • Text aus Bildern lesen. Bei sauberen Vorlagen zuverlässig, bei Handschrift nicht.
  • Aufbau und Struktur erfassen. Welche Elemente eine Oberfläche enthält, wie ein Formular gegliedert ist.
  • Vergleiche zwischen zwei Bildern. Was hat sich zwischen zwei Fassungen geändert?

Was regelmäßig danebengeht

  • Zahlen aus Diagrammen ablesen. Die Größenordnung stimmt oft, der Wert selten. Für Auswertungen unbrauchbar.
  • Zählen. Wie viele Personen sind auf dem Bild? Ab etwa sieben wird geraten.
  • Räumliche Beziehungen. Was links, rechts, davor oder dahinter liegt, wird häufig vertauscht.
  • Feine Unterschiede. Zwei ähnliche Bauteile auseinanderzuhalten gelingt nicht verlässlich.

Das Muster dahinter

Zuverlässig ist, was sich beschreiben lässt. Unzuverlässig ist, was gemessen oder gezählt werden muss. Ein multimodales Modell sieht kein Bild im Sinne einer Messung – es ordnet visuelle Eindrücke sprachlich ein.

Ein praktikabler Aufbau

Für einen Ablauf, der Belege auswertet, hat sich diese Aufteilung bewährt: Das multimodale Modell erfasst Struktur und Textstellen, ein spezialisiertes OCR-Werkzeug liest die Zahlen, und eine Plausibilitätsregel prüft, ob Summe und Einzelposten zusammenpassen. Wo sie es nicht tun, geht der Vorgang an einen Menschen.

Das ist aufwendiger als ein einziger Aufruf und deutlich verlässlicher.

Ein Hinweis zum Datenschutz

Screenshots enthalten regelmäßig mehr, als man mitsenden wollte – geöffnete Reiter, Namen in Seitenleisten, Benachrichtigungen. Vor dem Hochladen gehört zugeschnitten, nicht danach entschuldigt.