Kurz-Fakten
- Parameter werden gelernt, Hyperparameter gesetzt
- Wichtigste Hyperparameter: Lernrate, Batch Size, Epochen, Regularisierungsstärke
- Gesucht wird systematisch, nicht durch Raten
- Die Auswahl erfolgt auf der Validierungsmenge, niemals auf der Testmenge
Bedeutung in der Praxis
Der letzte Punkt wird oft verletzt und macht jede Bewertung wertlos. Wer Hyperparameter gegen die Testmenge optimiert, hat sie zur Validierungsmenge gemacht und besitzt keine unabhängige Bewertung mehr.
Zufällige Suche schlägt in der Praxis ein vollständiges Raster – bei gleichem Rechenaufwand deckt sie den wichtigen Bereich besser ab.