Dropout Dropout schaltet während des Trainings in jedem Durchlauf zufällig einen Teil der Neuronen ab. Das Netz kann sich dadurch nicht auf einzelne Verbindungen verlassen und lernt robustere Muster. Bei der Anwendung im Betrieb ist Dropout abgeschaltet und alle Neuronen sind aktiv.
Kurz-Fakten
Übliche Abschaltraten liegen zwischen 10 und 50 Prozent
Wirkt nur im Training, nie bei der Vorhersage
Verlängert das Training, verbessert aber die Übertragbarkeit
In modernen Transformern teilweise durch andere Verfahren ersetzt
Bedeutung in der Praxis
Eine zu hohe Rate verhindert, dass das Netz überhaupt lernt. Ein Wert um 0,1 bis 0,3 ist ein brauchbarer Startpunkt; alles darüber gehört begründet.
Inhaber von SEO NW in Bertingen. Arbeitet an der Schnittstelle von Suchmaschinenoptimierung und angewandter künstlicher Intelligenz: Prompt Engineering, Retrieval-Augmented Generation und die Frage, unter welchen Bedingungen ein Sprachmodell einen Inhalt übernimmt und der richtigen Quelle zuschreibt.