Kurz-Fakten
- L2 verkleinert alle Gewichte, L1 setzt einzelne auf null
- L1 wirkt dadurch zugleich als Merkmalsauswahl
- Dropout ist die verbreitetste Form bei neuronalen Netzen
- Die Stärke ist ein Einstellwert und muss bestimmt werden
Bedeutung in der Praxis
Frühzeitiges Beenden ist die billigste Form: Man beobachtet den Fehler auf den Validierungsdaten und bricht ab, sobald er wieder steigt. Kostet nichts und wirkt in vielen Fällen so gut wie aufwendigere Verfahren.