Information Technology Reference
In-Depth Information
y
z
Y
= 6
4
6
3
5
2
4
1
x
3
0
1
2
3
4
5
1
2
2
1
x
3
0
4
0
2
3
5
1
4
Abbildung 5.15: Transformierte Daten (links) und Originaldaten (rechts) sowie mit
der Methode der kleinsten Quadrate berechnete Ausgleichsgerade (transformierte
Daten) und zugehörige Ausgleichskurve (Originaldaten).
und die Ausgleichskurve für die Originaldaten folglich
y
6
1
+
e
4.133
1.3775
x
.
Diese beiden Ausgleichsfunktionen sind zusammen mit den (transformierten bzw.
Original-) Datenpunkten in Abbildung 5.15 dargestellt.
Die bestimmte Ausgleichskurve für die Originaldaten wird durch ein Neuron
mit einem Eingang
x
berechnet, wenn wir als Netzeingabefunktion
f
net
(
x
)
wx
mit
w
=
b
1.3775, als Aktivierungsfunktion die logistische Funktion
f
act
(net,
)
(
1
+
e
(
net
)
)
1
mit dem Parameter
=
a
4.133 und schließlich als Ausgabe-
funktion
f
out
(
act
)
6actwählen.
Man beachte, dass man mit Hilfe der logistischen Regression nicht nur die Para-
meter eines Neurons mit einem Eingang, sondern analog zur
multilinearen Regression
(siehe Abschnitt A.2) auch die Parameter eines Neurons mit mehreren Eingängen
berechnen kann. Da jedoch die Fehlerquadratsumme nur für Ausgabeneuronen be-
stimmbar ist, ist dieses Verfahren auf zweischichtige Perzeptren (d. h. nur mit Ein-
und Ausgabeschicht und ohne versteckte Schichten) beschränkt. Es lässt sich nicht
ohne weiteres auf drei- und mehrschichtige Perzeptren erweitern, womit wir im we-
sentlichen vor dem gleichen Problem stehen wie in Abschnitt 3.7. Wir betrachten da-
her im folgenden ein anderes Verfahren, bei dem eine Erweiterung auf mehrschich-
tige Perzeptren möglich ist.
5.4 Gradientenabstieg
Im folgenden betrachten wir das Verfahren des Gradientenabstiegs zur Bestimmung
der Parameter eines mehrschichtigen Perzeptrons. Dieses Verfahren beruht imGrun-
de auf der gleichen Idee wie das in Abschnitt 3.5 verwendete Verfahren: Je nach den
We r t en de r Gewi cht e und B i a swe r t e wi rd d i e Ausgabe de s zu t r a i n i e renden mehr -
schichtigen Perzeptrons mehr oder weniger falsch sein. Wenn es gelingt, aus der
Fehlerfunktion die Richtungen abzuleiten, in denen die Gewichte und Biaswerte ge-
ändert werden müssen, um den Fehler zu verringern, verfügen wir über eine Mög-
