Information Technology Reference
In-Depth Information
Lernmusters
l
enthaltenen externen Eingaben die in dem zugehörigen Ausgabevek-
tor
o
(
l
)
enthaltenen Ausgaben liefert.
Dieses Optimum wird man jedoch in der Praxis kaum erreichen können und
muss sich daher gegebenenfalls mit einer Teil- oder Näherungslösung zufriedenge-
ben. Um zu bestimmen, wie gut ein neuronales Netz eine feste Lernaufgabe löst, ver-
wendet man eine Fehlerfunktion, mit der man misst, wie gut die tatsächlichen Aus-
gaben mit den gewünschten übereinstimmen. Üblicherweise setzt man diese Feh-
lerfunktion als die Summe der Quadrate der Abweichungen von gewünschter und
tatsächlicher Ausgabe über alle Lernmuster und alle Ausgabeneuronen an. D. h., der
Fehler eines neuronalen Netzes bezüglich einer festen Lernaufgabe
L
fixed
wird defi-
niert als
e
(
l
)
e
(
l
)
=
v
U
out
l
L
fixed
l
L
fixed
e
=
e
v
=
,
v
v
U
out
wobei
2
e
(
l
v
=
o
(
l
)
out
(
l
)
v
v
der Einzelfehler für ein Lernmuster
l
und ein Ausgabeneuron
v
ist.
Das Quadrat der Abweichung der tatsächlichen von der gewünschten Ausgabe
verwendet man aus verschieden Gründen. Zunächst ist klar, dass wir nicht einfach
die Abweichungen selbst aufsummieren dürfen, da sich dann positive und negative
Abweichungen aufheben könnten, und wir so einen falschen Eindruck von der Güte
des Netzes bekämen. Wir müssen also mindestens die Beträge der Abweichungen
summieren.
Gegenüber dem Betrag der Abweichung der tatsächlichen von der gewünschten
Ausgabe hat das Quadrat aber zwei Vorteile: Erstens ist es überall stetig differen-
zierbar, während die Ableitung des Betrages bei 0 nicht existiert/unstetig ist. Die
stetige Differenzierbarkeit der Fehlerfunktion vereinfacht aber die Ableitung der Än-
derungsregeln für die Gewichte (siehe Abschnitt 5.4). Zweitens gewichtet das Qua-
drat große Abweichungen von der gewünschten Ausgabe stärker, so dass beim Trai-
ning vereinzelte starke Abweichungen vom gewünschten Wert tendenziell vermie-
den werden.
Wenden wi r uns nun den f re i en Le rnauf gaben zu .
Definition 4.5
Eine
freie Lernaufgabe
L
free
(free learning task) für ein neuronales Netz
mit n Eingabeneuronen, d. h. U
in
= {
u
1
,...,
u
n
}
,isteineMengevon
Lernmustern
l
=
ı
(
l
)
ext
(
l
)
u
1
,...,ext
(
l
)
,diejeweilsauseinem
Eingabevektor
ı
(
l
)
=
bestehen.
u
n
Während die Lernmuster einer festen Lernaufgabe eine gewünschte Ausgabe ent-
halten, was die Berechnung eines Fehlers erlaubt, brauchen wir bei einer freien Lern-
aufgabe ein anderes Kriterium, um zu beurteilen, wie gut ein neuronales Netz die
Aufgabe löst. Prinzipiell soll bei einer freien Lernaufgabe ein neuronales Netz so trai-
niert werden, dass es „für ähnliche Eingaben ähnliche Ausgaben liefert“, wobei die
Ausgaben vom Trainingsverfahren gewählt werden können. Das Ziel des Trainings
kann dann z. B. sein, die Eingabevektoren zu Gruppen ähnlicher Vektoren zusam-
menzufassen (Clustering), so dass für alle Vektoren einer Gruppe die gleiche Ausga-
be geliefert wird (siehe dazu etwa Abschnitt 7.2).
