Gewichte Gewichte sind die Zahlen, die festlegen, wie stark ein Eingangssignal in einem neuronalen Netz weitergegeben wird; der Bias verschiebt das Ergebnis zusätzlich. Beide werden beim Training angepasst und bilden zusammen das, was ein Modell „gelernt" hat. Die Größe eines Modells wird in der Anzahl dieser Werte angegeben.
Kurz-Fakten
Ein Modell mit sieben Milliarden Parametern hat sieben Milliarden solcher Zahlen
Speicherbedarf hängt von der Zahlengenauigkeit ab (Quantisierung)
Wissen liegt verteilt vor und ist nicht einzeln nachschlagbar
Offene Gewichte bedeuten nicht automatisch offene Trainingsdaten
Bedeutung in der Praxis
Aus der verteilten Speicherung folgt eine praktische Konsequenz: Eine einzelne falsche Angabe lässt sich in einem Modell nicht gezielt korrigieren oder löschen. Wer Inhalte kontrollieren muss, braucht sie außerhalb des Modells – in einer Quelle, die er ändern kann.
Inhaber von SEO NW in Bertingen. Arbeitet an der Schnittstelle von Suchmaschinenoptimierung und angewandter künstlicher Intelligenz: Prompt Engineering, Retrieval-Augmented Generation und die Frage, unter welchen Bedingungen ein Sprachmodell einen Inhalt übernimmt und der richtigen Quelle zuschreibt.