Modellierung lernender Systeme durch Neuronale Netze (NN) - Modellierung komplexer Prozesse durch naturanaloge Verfahren - page 129

wenn man als Kanten definiert (A, B), (C, D), (A, D) sowie (B, C) und f als f(1) = A, f(3) = B,
f(2) = C und f(4) = D. Man sieht sofort, dass die obige Isomorphiebedingung erfüllt ist.
Ohne nähere Erläuterung weisen wir nur darauf hin, dass isomorphe Graphen von einem Graph
aus durch spezielle Permutationen der Adjazenzmatrizen erzeugt werden können.
Bei NN sind, wie wir gezeigt haben, die Adjazenzmatrizen selbst reell codiert, also mit Ge-
wichten versehen. In so einem Fall spricht man nicht nur von gerichteten, sondern zusätzlich
noch von gewichteten Graphen. Vollständig muss man demnach NN als gerichtete und gewich-
tete Graphen bezeichnen. Da gewichtete Graphen jedoch auch gerichtet sind, werden NN zu-
weilen auch nur als gewichtete Graphen bezeichnet.
Für die Darstellung der Aktivierungsausbreitung in einem NN können wir auf die im 1. Kapitel
eingeführte Darstellung der Dynamik komplexer Systeme zurückgreifen. Wenn wir entspre-
chend der dortigen Konvention die Menge aller Input-, Aktivierungs- und Outputfunktionen
einschließlich der durch die Gewichtsmatrix ausgedrückten Topologie als f bezeichnen, dann
führt f offenbar einen bestimmten Zustand des Graphen, also des NN, in einen anderen über,
also f(Z(G)) = Z'(G). Diese Abbildung ist häufig nicht bijektiv, wie man sich am Fall der linea-
ren Aktivierungsfunktion
a j = a i * w ij . (4.16)

klar machen kann. Da es sich hier um lineare arithmetische Operationen handelt, kann man nur
bedingt zurückrechnen. Bereits die Einführung einer Schwellwertfunktion wie
a j = net j wenn net j > T
a j = 0 sonst (4.17)

macht es im allgemeinen Fall offensichtlich unmöglich, einen einmal erreichten Zustand ein-
deutig auf den vorherigen Zustand zurück zu beziehen. Der Schwellenwert T lässt ja weitge-
hend offen, wie groß net j tatsächlich war. Die Abbildung f ist damit kein Isomorphismus mehr,
sondern „nur“ noch ein topologischer Homoeomorphismus, für den die Bedingung (4.15) zwar
erfüllt ist, aber nicht die der Bijektivität.
Wenn wir uns nun den Lernregeln zuwenden, dann haben wir es dabei, wie bereits bemerkt,
mit einem speziellen Fall von Metaregeln zu tun, also Regeln, die selbst auf Regeln operieren
und diese verändern. In den allermeisten Fällen geht es dabei um Variationen der Gewichts-
matrix, also der internen Topologie und nur diese Fälle werden wir hier behandeln. Eine Lern-
regel L lässt sich demnach auffassen als eine Abbildung L(W) = W', wenn W und W' die Ge-
wichtsmatrizen vor bzw. nach Anwendung der Lernregel bezeichnen. In der Gewichtsmatrix
werden sowohl die Anzahl der Knoten als auch die Anzahl der Kanten sowie deren Gewich-
tungen repräsentiert. Dabei können die von uns dargestellten Lernregeln zwar nicht die Anzahl
der Knoten, aber durchaus die Anzahl der Kanten modifizieren. Bei der linearen Aktivierungs-
funktion z. B., sofern diese neben Schwellwertfunktionen als einzige Interaktionsfunktion
eingesetzt wird, bedeutet ein Gewichtswert w ij = 0, dass zwischen den Einheiten i und j keine
Verbindung (= Kante) besteht. Wird nun durch die Anwendung einer bestimmten Lernregel w ij
z 0, dann ist damit dem Graphen eine neue Kante (i,j) hinzugefügt worden. Entsprechend kann
durch einen veränderten Gewichtswert w rs = 0 eine Kante (r,s) entfernt werden, falls vor der
Anwendung der Lernregel w rs z 0 war. Eine Lernregel L, verstanden jetzt als Abbildung zwi-