Was ist Gradientenabstieg?

Kurz-Fakten

• Stochastischer Gradientenabstieg arbeitet auf kleinen Teilmengen statt allen Daten
• Adam ist der heute meistgenutzte Optimierer und passt Schrittweiten je Parameter an
• Zu große Schritte verhindern Konvergenz, zu kleine kosten Rechenzeit
• Gefunden wird ein gutes, nicht zwingend das beste Minimum

Bedeutung in der Praxis

In der Praxis ist die Wahl des Optimierers selten der Engpass – Adam mit vernünftiger Lernrate genügt in den allermeisten Fällen. Deutlich mehr Wirkung hat die Lernrate selbst.

Verwandte Begriffe

• Lernrate Die Lernrate legt fest, wie stark die Parameter eines Modells bei jedem Trainingsschritt…
• Backpropagation Backpropagation ist das Verfahren, mit dem der Fehler am Ausgang eines neuronalen Netzes…
• Verlustfunktion Die Verlustfunktion misst als einzelne Zahl, wie weit die Vorhersagen eines Modells von…
• Modellparameter und Hyperparameter Modellparameter sind die Werte, die ein Modell während des Trainings selbst lernt – bei…