Information Technology Reference
In-Depth Information
Die Radien
k
werden bei Verwendung der am häufigsten benutzten Gaußschen Ak-
tivierungsfunktion oft nach der Heuristik
k
=
d
max
k
{1, . . . ,
m
} :
2
m
gleich groß gewählt, wobei
d
max
der maximale Abstand der Eingabevektoren zweier
Trainingsbeispiele ist (berechnet mit der für die versteckten Neuronen gewählten
Netzeingabefunktion, die ja eine Abstandsfunktion
d
ist), also
ı
(
l
j
)
,
ı
(
l
k
)
d
max
=
max
l
j
,
l
k
d
.
L
fixed
Diese Wahl hat den Vorteil, dass die Gaußglocken nicht zu schmal, also keine verein-
zelten Spitzen im Eingaberaum, aber auch nicht zu ausladend sind, sich also auch
nicht zu stark überlappen (jedenfalls dann, wenn der Datensatz „gutartig“ ist, al-
so keine vereinzelten, weit von allen anderen entfernt liegenden Trainingsbeispiele
enthält).
Die Gewichte von der versteckten Schicht zur Ausgabeschicht und die Biaswer-
te der Ausgabeneuronen werden mit Hilfe der folgenden Überlegung bestimmt: Da
die Parameter der versteckten Schicht (Zentren und Radien) bekannt sind, können
wir für jedes Trainingsbeispiel die Ausgaben der versteckten Neuronen berechnen.
Die Verbindungsgewichte und Biaswerte sind nun so zu bestimmen, dass aus diesen
Ausgaben die gewünschten Ausgaben des Netzes berechnet werden. Da die Netzein-
gabefunktion des Ausgabeneurons eine gewichtete Summe seiner Eingaben und sei-
ne Aktivierungs- und Ausgabefunktion beide linear sind, liefert jedes Trainingsmu-
ster
l
für jedes Ausgabeneuron
u
eine zu erfüllende lineare Gleichung
m
k
=1
w
uv
m
out
(
l
)
u
=
o
(
l
)
.
v
m
u
(Dies ist der wesentliche Grund für die Festlegung linearer Aktivierungs- und Aus-
gabefunktionen für die Ausgabeneuronen.) Wir erhalten so für jedes Ausgabeneu-
ron ein lineares Gleichungssystem mit
m
Gleichungen (eine Gleichung für jedes Trai-
ningsbeispiel) und
m
+
1Unbekannten(
m
Gewichte und ein Biaswert). Dass dieses
Gleichungssystem unterbestimmt ist (mehr Unbekannte als Gleichungen), können
wir dadurch beheben, dass wir den „überzähligen“ Parameter
u
einfach 0 setzen. In
Matrix/Vektorschreibweise lautet das zu lösende Gleichungssystem dann
A
·
w
u
=
o
u
,
der Gewichtsvektor des Ausgabeneurons
u
und
o
u
=
wobei
w
u
=(
w
uv
1
,...,
w
uv
m
)
o
(
l
1
)
,...,
o
(
l
m
)
der Vektor der gewünschten Ausgaben des Ausgabeneurons
u
für
die verschiedenen Trainingsbeispiele ist.
A
ist eine
m
m
Matrix mit den Ausga-
ben der Neuronen der versteckten Schicht für die verschiedenen Trainingsbeispiele,
nämlich
u
u
out
(
l
1
)
out
(
l
1
)
... out
(
l
1
)
v
1
v
2
v
m
out
(
l
2
)
out
(
l
2
)
... out
(
l
2
)
v
1
v
2
v
m
A
=
.
.
.
.
out
(
l
m
)
out
(
l
m
)
... out
(
l
m
)
v
1
v
2
v
m
