Information Technology Reference
In-Depth Information
Abb. 4.13
Backpropagation
Ein solches Verfahren zur Minimierung des Netzfehlers stellt das Gradienten abstiegs-
verfahren dar. Dabei wird beim Training eines Neuronalen Netzes der Fehler der Ausgabe
eines Neurons j als Funktion der Gewichte aller eingehenden Netzverbindungen betrach-
tet:
EW Ewww
j
() (,
=
,
…
,
).
1j
2j
nj
Der Gradient gibt den Betrag und die Richtung des stärksten Anstiegs an. Hierzu leitet
man eine mehrstellige Funktion partiell nach einer Variablen ab, was einer Projektion des
Gradienten auf die Richtung dieser Variablen entspricht. Es ergibt sich somit für die erste
partielle Ableitung der Fehlerfunktion:
∇=−
w
ηδδ
*(
E/w
ij
).
Der Faktor η stellt die Lernrate dar und steuert den Grad der Änderung des Gewichtes.
Das negative Vorzeichen kennzeichnet dabei die Veränderung entgegen des Kurvenanstie-
ges in Richtung eines Tals der Fehlerkurve. Insofern ist der Fehler und damit die Ände-
rung des Gewichtes vom Trainingsmuster abhängig. Bezüglich des Zeitpunktes der Ge-
wichtsadaption lassen sich zwei Verfahren unterscheiden. Beim Batch-Verfahren wird die
Gewichtsänderung erst nach der Bearbeitung des gesamten Satzes von Trainingsmustern
vorgenommen. Hingegen ändert das Online-Verfahren nach jedem einzelnen Muster die
Verbindungsgewichte. Die Online-Variante ermöglicht es, in den Formeln auf die Kenn-
zeichnung der Muster zu verzichten, was die Erschließung des mathematischen Zusam-
menhangs signifikant erleichtert. Demnach ist ein Fehler die Abweichung der errechneten
Ausgabe von der erwarteten Ausgabe. Dabei besteht zwischen der Ausgabe und dem Ver-
bindungsgewicht folgende Beziehung:
(
)
∫∫
(
o
=
net
) .
j
j
act
out
