Information Technology Reference
In-Depth Information
da alle Terme außer dem mit
p
=
u
verschwinden. Es ergibt sich folglich
out
(
l
)
(
l
u
=
(
l
)
u
net
(
l
)
s
succ
(
u
)
w
su
.
s
u
Damit haben wir eine schichtenweise Rekursionsformel für die Berechnung der
-
Werte der Neuronen der versteckten Schichten gefunden. Wenn wir dieses Ergebnis
mit dem im vorangehenden Abschnitt für Ausgabeneuronen erzielten vergleichen,
so sehen wir, dass die Summe
(
l
)
s
succ(
u
)
w
su
s
die Rolle der Differenz
o
(
l
)
out
(
l
u
von gewünschter und tatsächlicher Ausgabe des
Neurons
u
für das Lernmuster
l
übernimmt. Sie kann also als Fehlerwert für ein Neu-
ron in einer versteckten Schicht gesehen werden kann. Folglich können aus den Feh-
lerwerten einer Schicht eines mehrschichtigen Perzeptrons Fehlerwerte für die vor-
angehende Schicht berechnet werden. Man kann auch sagen, dass ein Fehlersignal
von der Ausgabeschicht rückwärts durch die versteckten Schichten weitergegeben
wird. Dieses Verfahren heißt daher auch
Fehler-Rückpropagation
(error backpropaga-
tion).
Für die vorzunehmende Gewichtsänderung erhalten wir
u
out
(
l
)
w
(
l
u
=
w
u
e
(
l
)
=
(
l
u
in
(
l
u
=
(
l
)
in
(
l
)
u
net
(
l
)
2
s
succ(
u
)
w
su
.
s
u
u
Man beachte allerdings auch hier wieder, dass dies nur die Änderung der Gewichte
ist, die sich für ein einzelnes Lernmuster
l
ergibt. Für das Batch-Training müssen
diese Änderungen über alle Lernmuster summiert werden.
Für die weitere Ableitung nehmen wir wieder, wie im vorangehenden Abschnitt,
vereinfachend an, dass die Ausgabefunktion die Identität ist. Außerdem betrachten
wir den Spezialfall einer logistischen Aktivierungsfunktion. Dies führt zu der beson-
ders einfachen Gewichtsänderungsregel
1
out
(
l
)
w
(
l
u
=
(
l
s
w
su
out
(
l
)
in
(
l
)
s
succ
(
u
)
u
u
u
(vergleiche die Ableitungen für Ausgabeneuronen auf Seite 62).
In Abbildung 5.17 haben wir abschließend alle Formeln, die man zumAusführen
und zum Training eines mehrschichtigen Perzeptrons braucht, das logistische Ak-
tivierungsfunktionen in den versteckten und den Ausgabeneuronen benutzt, über-
sichtlich zusammengestellt und den Ort ihrer Anwendung markiert.
5.6 Beispiele zum Gradientenabstieg
Um den Gradientenabstieg zu illustrieren, betrachten wir das Training eines zwei-
schichtigen Perzeptrons für die Negation, wie wir es auch schon in Abschnitt 3.5
