Information Technology Reference
In-Depth Information
e
Abbildung 5.24: Quickpropa-
gation beruht auf einer loka-
len Annäherung der Fehler-
funktion durch eine Parabel.
m
ist das tatsächliche Mini-
mum.
e
(
t
1)
Scheitelpunkt
e
(
t
)
w
m
w
(
t
+
1
)
w
(
t
)
w
(
t
1
)
Abbildung 5.25: Die Formel
für die Gewichtsänderung
kann über Steigungsdreiecke
aus der Ableitung der Nähe-
rungsparabel bestimmt wer-
den.
w
e
w
e
(
t
1
)
w
e
(
t
)
0
w
w
(
t
+1)
w
(
t
)
w
(
t
1)
Die Änderungsregel für das Gewicht kann man z. B. über zwei Steigungsdreiecke
aus der Ableitung der Parabel gewinnen (siehe Abbildung 5.25). Offenbar ist (siehe
die grau unterlegten Dreiecke)
w
e
(
t
1
)
w
e
(
t
)
w
(
t
1)
w
(
t
)
w
e
(
t
)
w
(
t
)
w
(
t
+ 1)
=
.
Durch Auflösen nach
w
(
t
)=
w
(
t
+
1
)
w
(
t
)
und unter Ausnutzung von
w
(
t
1
)=
w
(
t
)
w
(
t
1
)
erhält man
w
e
(
t
)
w
e
(
t
1)
w
e
(
t
)
w
(
t
)=
·
w
(
t
1
)
.
Zu berücksichtigen ist allerdings, dass die obige Gleichung nicht zwischen einer
nach oben und einer nach unten geöffneten Näherungsparabel unterscheidet, so
dass u.U. auch ein Maximum der Fehlerfunktion angestrebt werden könnte. Dies
kann zwar durch einen Test, ob
w
e
(
t
1)
w
e
(
t
)
w
(
t
1
)
<
0
gilt (nach oben geöffnete Parabel), abgefangen werden, doch wird dieser Test in
Implementierungen meist nicht durchgeführt. Stattdessen wird ein Parameter ein-
geführt, der die Vergrößerung der Gewichtsänderung relativ zum vorhergehenden
Schritt begrenzt. D. h., es wird sichergestellt, dass
|
w
(
t
)|
c
·|
w
(
t
1
)|
gilt, wobei
c
ein Parameter ist, der üblicherweise zwischen 1.75 und 2.25 gewählt
wird. Dies verbessert zwar das Verhalten, stellt jedoch
nicht
sicher, dass das Gewicht
in der richtigen Richtung geändert wird.
