BERT (Bidirectional Encoder Representations from Transformers)

Kurz-Fakten

• Nur der Encoder-Teil des Transformers
• Bidirektional: berücksichtigt Kontext aus beiden Richtungen
• Für Klassifikationsaufgaben oft genauer und viel günstiger als große Sprachmodelle
• Deutschsprachige Varianten sind frei verfügbar

Bedeutung in der Praxis

Der Kostenpunkt ist praktisch bedeutsam: Für eine feste Klassifikationsaufgabe läuft ein feinjustiertes BERT-Modell auf gewöhnlicher Hardware, ohne Kosten je Anfrage und ohne dass Daten das Haus verlassen.

Verwandte Begriffe

• Transformer-Architektur Der Transformer ist eine 2017 vorgestellte Netzarchitektur, die eine Eingabefolge nicht…
• Textklassifikation Textklassifikation ordnet Dokumente automatisch vorgegebenen Kategorien zu – etwa…
• Named Entity Recognition (NER) Named Entity Recognition findet in Texten benannte Einheiten – Personen, Organisationen,…
• Feinjustierung (Fine-Tuning) Feinjustierung passt ein bereits trainiertes Modell mit eigenen Beispielen an eine…