Modellierung lernender Systeme durch Neuronale Netze (NN) - Modellierung komplexer Prozesse durch naturanaloge Verfahren - page 120

Bild 4-5 Zwei mögliche Lösungen des XOR: auf der linken Seite sind 2 Elemente in der Zwischen-
schicht, auf der rechten Seite reicht ein Element in der Zwischenschicht, sofern zusätzlich direkte Verbin-
dungen zwischen der Eingabe- und Ausgabeschicht vorhanden sind.
Wir haben diese Darstellung bewusst so allgemein gehalten, um Ihnen die Möglichkeit zu
geben, selbst einmal auszuprobieren, mit welchen Schwellen- und Gewichtswerten die beiden
Netze jeweils die XOR-Aufgabe lösen können.
Anhand dieser Beispiele kann zusätzlich auf ein Problem hingewiesen werden, nämlich, dass
es durchaus schwierig sein kann, eine günstige Anzahl der Elemente in einer Zwischenschicht
zu bestimmen. Je nachdem ob zu wenig oder zu viele Elemente vorhanden sind, kann es pas-
sieren, dass das NN keine Lösung für ein Problem findet oder die Trainingsphase verlängert
wird - dies gilt auch für die Anzahl der Schichten. Man sollte daher grundsätzlich mit einer
kleineren Topologie beginnen und diese sukzessive erweitern, insbesondere dann, wenn keine
Topologie bekannt ist, die für eine bestimmte Aufgabe am besten geeignet ist (Mohratz und
Protzel 1996). Dies Problem ist auch der Grund dafür, dass schon relativ früh damit experimen-
tiert wurde, die externe Topologie von NN durch zusätzliche Optimierungsalgorithmen wie
etwa genetische Algorithmen zu modifizieren; wir wiesen bereits darauf hin.
4.2.3 Feed forward und feed back Netzwerke
Schließlich kann man die „Richtung“ der Aktivierungsprozesse eines NN entsprechend der
Gliederung in Schichten unterschiedlich definieren - man spricht hier von feed forward NN
und feed back NN. Mit feed forward ist gemeint, dass ein NN einen externen Input erhält,
diesen verarbeitet und so einen Aktivierungsvektor in der Ausgabeschicht realisiert. Deren
Aktivierungswerte werden als neuer Input an die Einheiten der Eingabeschicht gegeben, der
Verarbeitungsprozess läuft wieder in Richtung der Ausgabeschicht ab und so weiter, bis eine
Lösung bzw. ein Attraktor erreicht worden ist. Alternativ dazu wird auch häufig festgelegt,
dass nur einmal der Aktivierungsfluss von der Eingabeschicht an die Einheiten der Ausgabe-
schicht verläuft; der entsprechende Aktivierungswert der Ausgabeneuronen ist dann bereits der
endgültige Output. Dies ist insbesondere für lernende Systeme wichtig.
Beim feed back Verfahren besteht der Unterschied darin, dass sich nach Erreichen der Ausga-
beschicht die Richtung sozusagen umdreht: Die Einheiten der Ausgabeschicht senden jetzt ihre
Aktivierungen über die Einheiten der Zwischenschichten - falls vorhanden - zur Eingabe-
schicht, die darauf mit einer einschlägigen Veränderung ihrer Zustandswerte reagiert, diese
wieder über die Einheiten der Zwischenschichten zur Ausgabeschicht sendet, etc. Dies stellt
jedoch nur eine Möglichkeit dar (siehe Bild 4-6). Häufig genügt es, diesen feed back Prozess