Modellierung lernender Systeme durch Neuronale Netze (NN) - Modellierung komplexer Prozesse durch naturanaloge Verfahren - page 119

Entsprechendes gilt für die unterschiedlichen Dynamiken neuronaler Netze (siehe unten nächs-
tes Subkapitel). Auch diese Unterschiede bestehen nur in unterschiedlichen Verteilungen von
Gewichtswerten in der Matrix. Man kann hieran erkennen, dass und warum die Gewichtsmat-
rix die wichtigste Grundlage für alle Netzwerktypen ist, aus der sich bereits ein großer Teil der
wesentlichen Informationen über ein bestimmtes Netzwerk gewinnen lässt.
Um die Bedeutung von Zwischenschichten zu verdeutlichen, soll eines der bekanntesten Prob-
leme behandelt werden, das in der Literatur zu NN immer wieder thematisiert wird, nämlich
die Abbildung der XOR-Funktion in einem NN. Dies Beispiel ist deswegen so wichtig gewe-
sen, weil es ursprünglich eine prinzipielle Grenze der Leistungsfähigkeit von NN zu demonst-
rieren schien.
Die XOR-Funktion unterscheidet sich von den meisten anderen Booleschen Funktionen in
mehrfacher Hinsicht, unter anderem in Bezug auf den P-Parameter, und ist eine nicht kanalisie-
rende Funktion (siehe Kapitel 2.3.). Deswegen lässt sie sich nicht so einfach in einem NN
realisieren, wie z. B. die bereits thematisierten einstelligen Junktoren. Historisch betrachtet war
die Lösung dieses Problems entscheidend für die weitere Entwicklung der NN; dies ist erst
gelungen, als Minsky und Papert (1969) die Einführung einer Zwischenschicht (hidden layer)
vorgeschlagen haben, wodurch die Entwicklung mehrschichtiger Netzwerke grundsätzlich
begonnen hatte. Die Darstellung der Disjunktion und Konjunktion durch ein NN beispielsweise
lässt sich nämlich auch ohne Zwischenschichten realisieren. Zur Erinnerung noch einmal die
„Wahrheitsmatrix“ der XOR-Funktion v :

10
1 0 1
010

Gegeben sei ein Netzwerk, das zwei Inputvariablen x 1 und x 2 und eine Outputvariable y ent-
hält. Die verbindende Boolesche Funktion f(x 1 ,x 2 ) = y sei die XOR-Funktion. Man kann relativ
leicht feststellen, dass diese Funktion nicht in einem NN darstellbar ist, das nur über diese drei
Einheiten verfügt. (Probieren Sie es selbst einmal aus, indem Sie etwa mit den Gewichtswerten
0, -1 und +1 arbeiten.) Demnach kann hier als erste Möglichkeit mit einer Zwischenschicht,
bestehend aus zwei zusätzlichen Elementen z 1 und z 2 , sowie drei Schwellenwerten T 1 , T 2 und
T 3 gearbeitet werden; als zweite Möglichkeit genügt es auch, mit einer Zwischenschicht mit
nur einem Zwischenelement zu arbeiten. 1
Zur Verdeutlichung haben wir lediglich die Einheiten des NN graphisch dargestellt; man muss
jetzt nach dem bereits bekannten Schema die Einheiten unterschiedlich aktivieren, um alle
„Inputmöglichkeiten“ (x 1 und x 2 ) durchzuspielen. Die beiden Schwellenwerte (T 1 und T 2 )
entscheiden jeweils über die Aktivierungswerte der Zwischeneinheiten z 1 und z 2 , d. h., sie
transformieren das Ergebnis der Aktivierungsfunktion in Bezug auf z 1 und z 2 . Zwischen z 1
sowie z 2 und y gibt es erneut einen Schwellenwert (T 3 ) und bestimmte Gewichtswerte, wie
auch zwischen x 1 sowie x 2 und z 1 und z 2 . Die Graphik zeigt die Topologie der beiden NN:

1 Der Vollständigkeit halber sei noch erwähnt, dass die Notwendigkeit einer Zwischenschicht für die
Darstellung der XOR-Funktion „nur“ für den Fall von sog. feed forward Netzen gilt (siehe unten),
also Netze, bei denen es nur Verbindungen von der Eingabeschicht und ggf. über Zwischenschichten
zur Ausgabeschicht gibt. Führt man z. B. auch Verbindungen zwischen den Neuronen in der Eingabe-
schicht ein, dann kann man ohne Zwischenschicht auskommen. Das hat einer unserer Studierenden,
nämlich Robert Hetka, gezeigt.