Information Technology Reference
In-Depth Information
1
Setzen der Eingabe
2
Vo rwä r t sp r opa ga t i on de r E i nga b e
u
U
hidden
:
u
U
out
1
+
exp
p
pred
(
u
)
w
up
out
p
1
u
U
in
:out
u
=
x
u
:
out
u
=
2
4
x
1
1
y
1
4
3
2
2
2
2
y
2
x
2
1
3
2
2
2
3
4
y
m
x
n
1
4
2
4
Fehler-Rückpropagation
u
U
hidden
:
u
=
3
Fehlerfaktor
u
U
out
:
u
=(
y
u
out
u
)
u
s
succ(
u
)
s
w
su
u
Ableitung der Aktivierungsfunktion
Gewichtsänderung
u
U
hidden
U
out
:
u
=
out
u
(
1
out
u
)
w
up
:
w
up
=
u
out
p
Abbildung 5.17: Kochbuch-Rezept für die Ausführung (Vorwärtspropagation) und
das Training (Fehler-Rückpropagation) eines mehrschichtigen Perzeptrons mit logi-
stischen Aktivierungsfunktionen in den versteckten und Ausgabeneuronen.
als Beispiel verwendet haben. Dieses Perzeptron und die zugehörigen Trainingsbei-
spiele sind in Abbildung 5.18 gezeigt. In Analogie zu Abbildung 3.13 auf Seite 22
zeigt Abbildung 5.19 die Fehlerquadrate (-summe) für die Berechnung der Negation
in Abhängigkeit von den Werten des Gewichtes und des Biaswertes. Es wurde eine
logistische Aktivierungsfunktion vorausgesetzt, was sich auch deutlich im Verlauf
der Fehlerfunktion widerspiegelt. Man beachte, dass durch die Differenzierbarkeit
der Aktivierungsfunktion die Fehlerfunktion nun (sinnvoll) differenzierbar ist, und
nicht mehr aus Plateaus besteht. Daher können wir jetzt auf der (unveränderten)
Fehlerfunktion einen Gradientenabstieg durchführen.
Den Ablauf dieses Gradientenabstiegs, ausgehend von den Startwerten
=
3
und
w
=
2
und mit der Lernrate 1 zeigt Tabelle 5.1, links für das Online-, rechts für
das Batch-Training. Die Abläufe sind sehr ähnlich, was auf die geringe Zahl der Trai-
ningsbeispiele und den glatten Verlauf der Fehlerfunktion zurückzuführen ist. Ab-
bildung 5.20 zeigt den Ablauf graphisch, wobei im linken und mittleren Diagramm
zum Vergleich die Regionen eingezeichnet sind, die wir in Abschnitt 3.5 verwendet
haben (vergleiche Abbildung 3.15 auf Seite 24 und Abbildung 3.16 auf Seite 24). Die
Punkte zeigen den Zustand des Netzes nach jeweils 20 Epochen. In der dreidimensio-
nalen Darstellung rechts ist besonders gut zu erkennen, wie sich der Fehler langsam
verringert und schließlich eine Region mit sehr kleinem Fehler erreicht wird.
