Lernrate Die Lernrate legt fest, wie stark die Parameter eines Modells bei jedem Trainingsschritt verändert werden. Sie ist der einflussreichste Einstellwert überhaupt: Ist sie zu hoch, springt das Training umher und wird nie stabil; ist sie zu niedrig, dauert es unnötig lange oder bleibt in einer schlechten Lösung stecken. Üblich ist ein über die Zeit sinkender Verlauf.
Kurz-Fakten
Typische Startwerte liegen zwischen 0,1 und 0,00001, je nach Verfahren
Ein absinkender Verlauf (Schedule) ist Standard
Bei Feinjustierung deutlich kleiner wählen als beim Training von Grund auf
Wirkt stärker auf das Ergebnis als die meisten anderen Einstellwerte
Bedeutung in der Praxis
Wenn ein Training nicht konvergiert, ist die Lernrate der erste Wert, den man prüft – nicht die Architektur. Ein Kurztest über wenige Durchläufe mit ansteigender Lernrate zeigt schnell den brauchbaren Bereich.
Inhaber von SEO NW in Bertingen. Arbeitet an der Schnittstelle von Suchmaschinenoptimierung und angewandter künstlicher Intelligenz: Prompt Engineering, Retrieval-Augmented Generation und die Frage, unter welchen Bedingungen ein Sprachmodell einen Inhalt übernimmt und der richtigen Quelle zuschreibt.