Backpropagation Backpropagation ist das Verfahren, mit dem der Fehler am Ausgang eines neuronalen Netzes rückwärts durch die Schichten verteilt wird, um für jedes Gewicht seinen Anteil daran zu berechnen. Auf dieser Grundlage passt der Gradientenabstieg die Gewichte an. Ohne dieses Verfahren wäre das Training tiefer Netze nicht praktikabel.
Kurz-Fakten
Beruht auf der Kettenregel der Differentialrechnung
Seit den 1980er Jahren im Einsatz, seit 2012 in großem Maßstab
Braucht differenzierbare Aktivierungsfunktionen
In sehr tiefen Netzen können Gradienten verschwinden oder explodieren
Bedeutung in der Praxis
Gegen verschwindende Gradienten wurden Architekturen wie ResNet und LSTM entwickelt. Wer in der Praxis mit fertigen Bibliotheken arbeitet, begegnet dem Thema selten – es erklärt aber, warum bestimmte Bauformen aussehen, wie sie aussehen.
Inhaber von SEO NW in Bertingen. Arbeitet an der Schnittstelle von Suchmaschinenoptimierung und angewandter künstlicher Intelligenz: Prompt Engineering, Retrieval-Augmented Generation und die Frage, unter welchen Bedingungen ein Sprachmodell einen Inhalt übernimmt und der richtigen Quelle zuschreibt.