Kurz-Fakten
- Übliche Zahl paralleler Köpfe: 8 bis 128, je nach Modellgröße
- Jeder Kopf hat eigene Projektionen für Query, Key und Value
- Erhöht die Ausdruckskraft ohne proportionalen Tiefenzuwachs
- Einzelne Köpfe lassen sich in großen Modellen oft entfernen, ohne dass viel verloren geht
Bedeutung in der Praxis
Der letzte Punkt ist bemerkenswert: Ein erheblicher Teil der Köpfe trägt wenig bei. Genau darauf setzen Verfahren zur Modellverkleinerung, mit denen sich Betriebskosten senken lassen.