Modellierung lernender Systeme durch Neuronale Netze (NN) - Modellierung komplexer Prozesse durch naturanaloge Verfahren - page 130

schen zwei Graphen, ist demnach im allgemeinen Fall kein graphentheoretischer Isomorphis-
mus, da die Anzahl der Kanten verändert werden kann. 4
Allerdings, und das macht die Angelegenheit auf einen ersten Blick etwas verwirrend, können
bestimmte Lernregeln wie z. B. die Delta-Regel, als bijektive Abbildungen zwischen den ver-
schiedenen Gewichtsmatrizen und damit der Struktur der entsprechenden Graphen aufgefasst
werden. Die Delta-Regel
'w ij = K (t i - a j )o i = Ko i G j (4.18)
besteht ähnlich wie die lineare Aktivierungsfunktion aus einfachen arithmetischen Operatio-
nen, die sämtlich umgekehrt werden können. Man kann demnach aus einer durch die Delta-
Regel modifizierten Gewichtsmatrix sofort und eindeutig die ursprüngliche Matrix berechnen
(falls Input- und Outputschicht gleich viele Neuronen haben). Damit haben wir den Fall, dass
eine Lernregel L zwar kein graphentheoretischer Isomorphismus sein muss, wohl aber im
mengentheoretischen Sinne eine bijektive Abbildung.
Wir führen diese allgemeinen Überlegungen hier nicht weiter, da sie eher für reine Mathemati-
ker von Interesse sind. Gezeigt werden sollte hier lediglich, dass es in der Tat möglich ist,
neuronale Netze als verschiedene Realisierungen gleicher allgemeiner, wenn auch etwas abs-
trakter Strukturen zu verstehen.

4.2.7 Informationsverarbeitung in neuronalen Netzen
Häufig wird als ein besonderer Vorzug neuronaler Netze genannt, dass diese „robust“ bzw.
„fehlertolerant“ sind. Gemeint ist damit gewöhnlich, dass neuronale Netze nach erfolgtem
Trainingsprozess nicht nur die gelernten Eingaben korrekt mit dem entsprechenden Muster
assoziieren, sondern dass auch fehlerhafte Eingaben von dem Netz erkannt und mit dem ge-
wünschten Muster assoziiert werden können - sofern der Fehler, d. h. die Abweichung von der
„eigentlichen“ Eingabe nicht zu groß ist. Diese positive Eigenschaft neuronaler Netze wird
auch nicht selten als „Generalisierungsfähigkeit“ bezeichnet: Verschiedene Eingaben werden
vom Netz als zusammengehörig erkannt, nämlich in Bezug auf das gleiche Muster. Wir haben
diese Form der Generalisierungsfähigkeit systematisch in anderen Kontexten untersucht (vgl.
Klüver und Klüver 2011 a).
Um diese Vorzüge der NN zu verstehen, müssen wir auf die in Kapitel 1 dargestellten Eigen-
schaften komplexer dynamischer Systeme, insbesondere den Begriff des Attraktionsbecken,
zurückkommen. Das Attraktionsbecken eines Attraktors ist definiert als die Menge aller An-
fangszustände, deren Trajektorien in diesem Attraktor enden; veranschaulichen kann man sich
dies mit verschiedenen Quellen, die sämtlich in den gleichen See fließen. Bei großen Attrakti-
onsbecken werden viele verschiedene Anfangszustände in den gleichen Attraktor überführt;
kleine Attraktionsbecken bewahren dagegen die Unterschiedlichkeit der meisten Anfangszu-
stände, indem unterschiedliche Attraktoren generiert werden. Die Größe der Attraktionsbecken
eines Systems ist demnach ein Maß dafür, wie stark das System die Unterschiedlichkeit ver-
schiedener Anfangszustände erhält. Anders gesagt: Bei Attraktionsbecken, die größer als 1
sind, verwischt die Systemdynamik gewissermaßen die Unterschiede zwischen den Anfangszu-
ständen in einem Attraktionsbecken.

4

Dabei kann der Fall auftreten, dass bei w ij = 0 zwischen i und j keine Kante existiert, für w ji z 0
jedoch eine Kante zwischen j und i. Man sieht, wie wichtig die Definition von NN als gewichtete und
damit gerichtete Graphen ist.