Self-Attention Self-Attention ist der Fall von Attention, bei dem eine Folge auf sich selbst bezogen wird: Jedes Element bewertet, wie relevant alle anderen Elemente derselben Folge für es sind. Auf diese Weise löst ein Sprachmodell Bezüge auf – etwa worauf sich ein Pronomen bezieht. Der Mechanismus ist der zentrale Baustein jedes Transformers.
Kurz-Fakten
Bezieht eine Folge auf sich selbst statt auf eine zweite Folge
Arbeitet mit drei abgeleiteten Größen: Query, Key, Value
Aufwand wächst quadratisch mit der Folgenlänge
Wird in Transformern mehrfach parallel ausgeführt (Multi-Head)
Bedeutung in der Praxis
Praktisch erklärt Self-Attention, warum Sprachmodelle bei klar formulierten Texten besser arbeiten. Ein Absatz mit eindeutigen Bezügen kostet das Modell weniger Rateanteil – derselbe Grund, aus dem eigenständige Absätze auch für die Übernahme in KI-Antworten wichtig sind.
Inhaber von SEO NW in Bertingen. Arbeitet an der Schnittstelle von Suchmaschinenoptimierung und angewandter künstlicher Intelligenz: Prompt Engineering, Retrieval-Augmented Generation und die Frage, unter welchen Bedingungen ein Sprachmodell einen Inhalt übernimmt und der richtigen Quelle zuschreibt.