Information Technology Reference
In-Depth Information
wobei ein Element von in
(
l
)
die Ausgabe out
(
l
)
des von uns betrachteten Neurons
v
s
v
ist. Offenbar hängt net
(
l
)
von net
(
l
)
nur über dieses Element out
(
l
)
ab. Also ist
s
v
v
out
(
l
)
net
(
l
)
=
w
sv
out
(
l
)
s
net
(
l
)
p
net
(
l
)
s
net
(
l
)
v
net
(
l
)
p
pred(
s
)
=
w
sp
,
v
v
v
v
da alle Terme außer dem mit
p
=
v
verschwinden. Insgesamt haben wir den Gradi-
enten
w
su
out
(
l
)
net
(
l
)
w
v
e
(
l
)
=
e
(
l
)
o
(
l
)
out
(
l
)
v
net
(
l
)
v
v
w
v
s
succ
(
v
)
w
v
=
2
s
s
abgeleitet, aus dem wir die Online-Gewichtsänderung
w
sv
out
(
l
)
net
(
l
)
v
w
v
o
(
l
)
w
(
l
v
=
1
out
(
l
)
w
v
e
(
l
)
=
1
v
net
(
l
)
2
s
succ
(
v
)
s
s
v
erhalten. Man beachte wieder, dass das Minuszeichen verschwindet, da wir uns ge-
gen die Richtung des Gradienten bewegen müssen, und dass der Faktor 2 in die
Lernrate
1
eingerechnet wird. Für ein Batch-Training sind wieder die Gewichtsän-
derungen über alle Lernmuster zu summieren und erst anschließend den Gewichten
zuzurechnen.
Eine allgemeine Bestimmung der Ableitung der Ausgabe nach der Netzeingabe
oder der Ableitung der Netzeingabe nach den Gewichten, die ja noch in der Ge-
wichtsanpassungsformel enthalten sind, ist leider nicht möglich, da Radiale-Basis-
funktionen-Netze verschiedene Abstandsfunktionen und verschiedene radiale Funk-
tionen verwenden können. Wir betrachten hier beispielhaft den Euklidischen Ab-
stand und die Gaußsche Aktivierungsfunktion, die am häufigsten verwendet wer-
den. Dann ist (Euklidischer Abstand)
n
i
=1
w
v
, in
(
l
)
out
(
l
)
2
.
d
=
w
vp
i
v
p
i
Also haben wir für den zweiten Faktor
2
net
(
l
)
n
i
=1
out
(
l
)
2
w
v
in
(
l
)
v
w
v
=
w
vp
i
.
p
i
v
Für den ersten Faktor (Gaußsche Funktion) erhalten wir (unter der vereinfachenden
Annahme, dass die Ausgabefunktion die Identität ist)
net
(
l
)
v
2
net
(
l
)
v
2
net
(
l
)
out
(
l
)
=
net
(
l
)
=
f
act
,
v
net
(
l
)
v
v
net
(
l
)
v
v
2
v
2
v
=
e
e
.
net
(
l
)
v
v
v
Abschließend müssen wir noch den Gradienten für die Radiusparameter
v
der ver-
steckten Neuronen bestimmen. Diese Ableitung läuft im Prinzip auf die gleiche Wei-
