Kurz-Fakten
- Berechnet Gewichte zwischen allen Positionen einer Eingabe
- Ermöglicht Bezüge über große Abstände im Text
- Grundlage der Transformer-Architektur
- Die Gewichte lassen sich darstellen, erklären eine Antwort aber nicht
Bedeutung in der Praxis
Attention-Karten werden gern als Erklärung präsentiert – „das Modell hat auf dieses Wort geachtet". Das ist eine Beschreibung des Rechenwegs, keine Begründung der Ausgabe. Für nachvollziehbare Entscheidungen genügt es nicht.