Information Technology Reference
In-Depth Information
Bei einer freien Lernaufgabe ist für das Training vor allem wichtig, wie die Ähn-
lichkeit zwischen Lernmustern gemessen wird. Dazu kann man z. B. eine Abstands-
funktion verwenden (Einzelheiten zu solchen Abstandsfunktionen werden im Ab-
schnitt 6.1 besprochen). Die Ausgaben werden einer Gruppe ähnlicher Eingabevek-
toren meist über die Wahl von Repräsentanten oder die Bildung von Prototypen
zugeordnet (siehe Kapitel 7).
Im Rest dieses Abschnitts gehen wir auf einige allgemeine Aspekte des Trainings
neuronaler Netze ein, die für die Praxis relevant sind. So empfiehlt es sich etwa, die
Eingaben eines neuronalen Netzes zu normieren, um bestimmte numerische Pro-
bleme, die sich aus einer ungleichen Skalierung der verschiedenen Eingabegrößen
ergeben können, zu vermeiden. Üblicherweise wird jede Eingabegröße so skaliert,
dass sie den Mittelwert 0 und die Varianz 1 hat. Dazu berechnet man aus den Einga-
bevektoren der Lernmuster
l
der Lernaufgabe
L
für jedes Eingabeneuron
u
k
1
|
L
|
l
L
1
|
L
|
l
L
2
ext
(
l
)
ext
(
l
)
µ
k
=
und
k
=
µ
k
,
u
k
u
k
also den Mittelwert und die Standardabweichung der externen Eingaben.
3
Dann
werden die externen Eingaben gemäß
ext
(
l
)(alt)
µ
k
ext
(
l
)(
neu
)
u
k
=
u
k
k
transformiert. Diese Normierung kann entweder in einem Vorverarbeitungsschritt
oder (in einem vorwärtsbetriebenen Netz) durch die Ausgabefunktion der Eingabe-
neuronen vorgenommen werden.
Bisher haben wir (z.T. implizit) vorausgesetzt, dass die Ein- und Ausgaben eines
neuronalen Netzes reelle Zahlen sind. In der Praxis treten jedoch oft auch symboli-
sche Attribute auf, z. B. Farbe, Fahrzeugtyp, Familienstand etc. Damit ein neuronales
Netz solche Attribute verarbeiten kann, müssen die Attributwerte durch Zahlen dar-
gestellt werden. Dazu kann man die Werte des Attributes zwar z. B. einfach durch-
nummerieren, doch kann dies zu unerwünschten Effekten führen, wenn die Zahlen
keine natürliche Ordnung der Attributwerte widerspiegeln. Besser ist daher eine so-
genannte 1-aus-
n
-Kodierung, bei der jedem symbolischen Attribut so viele (Eingabe-
oder Ausgabe-) Neuronen zugeordnet werden, wie es Werte besitzt: Jedes Neuron
entspricht einem Attributwert. Bei der Eingabe eines Lernmusters wird dann das
Neuron, das dem vorliegenden Wert entspricht, auf 1, alle anderen, dem gleichen
Attribut zugeordneten Neuronen dagegen auf 0 gesetzt.
3
Die zweite Formel beruht auf dem Maximum-Likelihood-Schätzer für die Varianz einer Normalver-
teilung. In der Statistik wird stattdessen oft auch der unverzerrte Schätzer verwendet, der sich nur durch
die Verwendung von
|
L
|
1statt
|
L
|
von dem angegebenen unterscheidet. Für die Normierung spielt
dieser Unterschied keine Rolle.
