Information Technology Reference
In-Depth Information
Der Anfangszustand eines NN lässt sich dadurch definieren, dass dem NN ein bestimmter
Input gegeben wird. Wenn man sich ein einfaches feed forward Netz vorstellt, dann sind des-
sen Neuronen bis auf die aktivierten Inputneuronen zu Beginn im Aktivierungswert Null. Die
entsprechenden Funktionen generieren die entsprechende Netzdynamik und erzeugen einen
bestimmten Output. Dieser Output, bei dem die Dynamik des Netzes endet, lässt sich als des-
sen Endzustand betrachten, also quasi als einen Punktattraktor. Wenn nun verschiedene Inputs
den gleichen Output generieren, dann liegen diese Inputs offenbar im gleichen Attraktionsbe-
cken des Outputs. Die bei größeren Attraktionsbecken zu konstatierende „Fehlertoleranz“ des
entsprechenden NN erklärt sich damit aus einer allgemeinen Eigenschaft komplexer dynami-
scher Systeme, nämlich daraus, dass Attraktionsbecken mit mehr als einem Element alles ande-
re als selten sind. Bei Systemen der Komplexitätsklassen 1 und 2 (siehe oben Kapitel 1) sind
derartige Attraktionsbecken sogar die Regel.
Mit dieser Begrifflichkeit lässt sich übrigens auch die Fähigkeit von Menschen erklären, be-
stimmte Wahrnehmungen als vertraut wieder zu erkennen, obwohl sich diese zwischenzeitlich
verändert haben. Stellen wir uns eine ältere Tante vor, die wir nach einiger Zeit wieder treffen.
Obwohl die Tante in der Zwischenzeit ihre Frisur und ggf. auch ihr sonstiges Styling verändert
hat, erkennen wir sie gewöhnlich ohne Probleme wieder. Das neue Bild der Tante ist ein Ele-
ment des gleichen Attraktionsbeckens wie das des älteren Bild der Tante. Wieder erkennen
heißt demnach, dass neue Wahrnehmungen im gleichen Attraktionsbecken liegen wie be-
stimmte ältere.
Hier muss allerdings auf einen mathematisch sehr wichtigen Aspekt hingewiesen werden: Die
Möglichkeit, ein NN mit relativ großen Attraktionsbecken zu erhalten, setzt voraus, dass die
Funktionen des NN nicht streng monoton sind. Man kann nämlich mathematisch ziemlich
einfach zeigen, dass bei streng monotonen Funktionen zwischen Input- und Outputschicht
immer eine bijektive Abildung existiert: Jedem Input wird genau ein Output zugeordnet. Des-
wegen gelten die obigen Überlegungen „nur“ für streng monotonen Funktionen, z. B. bei
Schwellenwerten. Daraus wiederum kann man ableiten, dass die Prozesse im Gehirn nicht
streng monotonen sein können, da die „realen“ biologischen Netze über Generalisierungsfä-
higkeiten verfügen. Das jedoch entspricht durchaus empirischen Erkenntnissen über das Ge-
hirn; aus unseren Überlegungen kann man auch erkennen, warum die empirischen Erkenntnisse
mathematisch angebbare Gründe haben.
Wir haben ein Maß für die Fehlertoleranz von NN dadurch definiert, dass wir die Proportion
von Endzuständen (= Attraktoren) zu den möglichen Anfangszuständen des NN berechnen.
Hat also ein NN - oder ein anderes komplexes dynamisches System - m mögliche Endzustän-
de und n mögliche Anfangszustände, dann ist das Maß MC (= meaning generating capacity) =
m/n. 5 MC = 1/n, falls alle Anfangszustände den gleichen Attraktor generieren, es also nur ein
einziges großes Attraktionsbecken gibt, MC = 1, falls alle verschiedenen Anfangszustände
unterschiedliche Attraktoren generieren, die Attraktionsbecken also nur ein Element enthalten.
NN sind demnach sehr fehlertolerant, wenn ihr MC-Wert sehr klein ist, und sehr sensitiv ge-
genüber kleinen Veränderungen der Inputwerte, falls der MC-Wert relativ hoch ist. Da wie
bemerkt, Systeme mit vergleichsweise einfachen Dynamiken gewöhnlich über große Attrakti-
onsbecken verfügen, wozu feed forward Netze gehören, ist es nicht erstaunlich, dass diese über
kleine MC-Werte verfügen und damit meistens die Eigenschaft der Fehlertoleranz aufweisen.
Das ist jedoch nicht zwangsläufig der Fall wie z. B. bei streng monotonen Funktionen.
5 Wir haben dies Maß aus theoretischen Gründen als MC bezeichnet, die hier nicht weiter erläutert
werden können (vgl. Klüver und Klüver 2011 a).
Search WWH ::




Custom Search