Information Technology Reference
In-Depth Information
Anschließend wird wieder der erste Schritt, die Gruppenbildung, ausgeführt usw.,
bis sich die Clusterzentren nicht mehr verändern. Die so gefundenen Clusterzentren
können direkt zur Initialisierung der Zentren eines Radiale-Basisfunktionen-Netzes
verwendet werden. Auch die Radien kann man bei diesem Verfahren aus den Da-
ten bestimmen. Man wählt z. B. einfach die Standardabweichung der Abstände der
Tra iningsbe i spi e l e , di e e inem Clus terzent rum zugeordne t s ind, von di esem Clus ter-
zentrum.
6.4 Training der Parameter
Einfache Radiale-Basisfunktionen-Netze lassen sich nicht mehr verbessern: Wegen
der hohen Zahl an Neuronen in der versteckten Schicht wird mit der im vorange-
henden Abschnitt vorgestellten Initialisierung stets genau die gewünschte Ausgabe
berechnet. Wenn jedoch weniger Neuronen verwendet werden, als Trainingsbeispie-
le vorliegen, kann durch Training die Leistung eines Radiale-Basisfunktionen-Netzes
noch gesteigert werden.
Die Parameter eines Radiale-Basisfunktionen-Netzes werden wie die Parameter
eines mehrschichtigen Perzeptrons durch
Gradientenabstieg
trainiert. Um die Regeln
für die Anpassung der Gewichte zu finden, gehen wir daher im Prinzip genauso vor
wie in Abschnitt 5.4. Für die Parameter der Ausgabeneuronen, d. h., für die Gewichte
der Verbindungen von den versteckten Neuronen zu den Ausgabeneuronen und die
Biaswerte der Ausgabeneuronen, erhalten wir sogar genau das gleiche Ergebnis wie
für einmehrschichtiges Perzeptron: Der Gradient für ein einzelnes Ausgabeneuron
u
und ein einzelnes Lernmuster
l
ist (siehe Seite 61)
w
u
e
(
l
u
=
e
(
l
)
out
(
l
)
o
(
l
)
out
(
l
)
in
(
l
)
u
u
net
(
l
)
w
u
= 2
,
u
u
u
u
wobei in
u
der Vektor der Ausgaben der Vorgänger des Neurons
u
,
o
(
l
)
die gewünsch-
u
te Ausgabe des Neurons
u
,net
(
l
)
u
seine Netzeingabe und out
(
l
u
seine tatsächliche
Ausgabe bei Eingabe des Eingabevektors
ı
(
l
)
des Lernmusters
l
sind. Die tatsächli-
che Ausgabe out
(
l
u
des Neurons
u
für das Lernmuster
l
wird bekanntlich aus seiner
Netzeingabe über seine Ausgabefunktion
f
out
und seine Aktivierungsfunktion
f
act
berechnet, d. h., es ist
out
(
l
u
=
f
out
net
(
l
)
f
act
.
u
Nehmen wir, wie in Abschnitt 5.4, der Einfachheit halber wieder an, dass die Ausga-
befunktion die Identität ist und setzen die lineare Aktivierungsfunktion der Ausga-
beneuronen eines Radiale-Basisfunktionen-Netzes ein, so erhalten wir
out
(
l
)
=
net
(
l
)
u
net
(
l
)
u
net
(
l
)
= 1.
u
u
Man beachte, dass der Biaswert
u
des Ausgabeneurons
u
bereits in der Netzeingabe
net
(
l
)
enthalten ist, da wir natürlich, wie in Abschnitt 5.4, mit erweiterten Eingabe-
u
