Information Technology Reference
In-Depth Information
5.5 Fehler-Rückpropagation
Im vorangehenden Abschnitt haben wir in der Fallunterscheidung für den Term
(
l
)
u
nur Ausgabeneuronen
u
betrachtet. D. h., die abgeleitete Änderungsregel gilt nur für
die Verbindungsgewichte von der letzten versteckten Schicht zur Ausgabeschicht
(bzw. nur für zweischichtige Perzeptren). In dieser Situation waren wir auch schon
mit der Delta-Regel (siehe Definition 3.2 auf Seite 25) und standen dort vor dem
Problem, dass sich das Verfahren nicht auf Netze erweitern ließ, weil wir für die ver-
steckten Neuronen keine gewünschten Ausgaben haben. Der Ansatz des Gradien-
tenabstiegs lässt sich jedoch auf mehrschichtige Perzeptren erweitern, da wir wegen
der differenzierbaren Aktivierungsfunktionen die Ausgabe auch nach den Gewich-
ten der Verbindungen von der Eingabeschicht zur ersten versteckten Schicht oder
der Verbindungen zwischen versteckten Schichten ableiten können.
Sei daher
u
nun ein Neuron einer versteckten Schicht, also
u
U
k
,0
<
k
<
r
1.
In diesemFall wird die Ausgabe out
(
l
)
v
eines Ausgabeneurons
v
von der Netzeingabe
net
(
l
u
dieses Neurons
u
nur indirekt über dessen Nachfolgerneuronen succ
(
u
)=
{
s
U
| (
u
,
s
)
C
} = {
s
1
,...,
s
m
}
U
k
+1
beeinflusst, und zwar über deren
Netzeingaben net
(
l
)
.AlsoerhaltenwirdurchAnwendungderKettenregel
s
out
(
l
)
net
(
l
)
(
l
u
=
v
U
out
(
o
(
l
)
out
(
l
)
v
net
(
l
)
s
net
(
l
)
s
succ(
u
)
.
v
v
s
u
Da beide Summen endlich sind, können wir die Summationen problemlos vertau-
schen und erhalten so
out
(
l
)
net
(
l
)
(
l
)
(
o
(
l
)
out
(
l
)
v
net
(
l
)
s
net
(
l
)
s
succ(
u
)
v
U
out
=
u
v
v
s
u
net
(
l
)
(
l
)
s
net
(
l
)
s
succ(
u
)
=
.
s
u
Es bleibt uns noch die partielle Ableitung der Netzeingabe zu bestimmen. Nach De-
finition der Netzeingabe ist
net
(
l
s
=
w
s
in
(
l
s
=
w
sp
out
(
l
)
p
pred(
s
)
s
,
p
wobei ein Element von in
(
l
)
die Ausgabe out
(
l
)
des Neurons
u
ist. Offenbar hängt
s
u
net
(
l
)
von net
(
l
)
nur über dieses Element out
(
l
)
ab. Also ist
s
u
u
out
(
l
)
net
(
l
)
=
w
su
out
(
l
)
s
net
(
l
)
p
net
(
l
)
s
net
(
l
)
u
net
(
l
)
p
pred(
s
)
=
w
sp
,
u
u
u
u
