Was ist Aktivierungsfunktion?

Kurz-Fakten

• ReLU gibt negative Werte als null aus und ist Standard in verborgenen Schichten
• Sigmoid liefert Werte zwischen 0 und 1, für binäre Ausgaben
• Softmax verteilt eine Ausgabe auf mehrere Klassen, Summe 1
• Ohne Nichtlinearität bliebe das Netz eine lineare Funktion

Bedeutung in der Praxis

Die Wahl der Aktivierungsfunktion ist heute selten eine offene Frage – ReLU oder eine ihrer Varianten in den Schichten, Softmax oder Sigmoid am Ausgang. Relevanter ist, dass die Ausgabefunktion zur Verlustfunktion passt.

Verwandte Begriffe

• Neuronale Netze Ein künstliches neuronales Netz besteht aus Schichten einfacher Recheneinheiten, die…
• Backpropagation Backpropagation ist das Verfahren, mit dem der Fehler am Ausgang eines neuronalen Netzes…
• Verlustfunktion Die Verlustfunktion misst als einzelne Zahl, wie weit die Vorhersagen eines Modells von…