Modellierung lernender Systeme durch Neuronale Netze (NN) - Modellierung komplexer Prozesse durch naturanaloge Verfahren - page 117

ten einschichtige und mehrschichtige Modelle sowie drittens feed-forward und feed-back Mo-
delle, die unter 4.2.3 näher erläutert werden.
Zum einen kann man, wie erwähnt, die Aktivierungs- und Propagierungsfunktionen stochas-
tisch festlegen. Wie meistens bei der Einführung stochastischer Elemente in Optimierungsalgo-
rithmen, und darum handelt es sich bei NN auch, wie noch zu sehen sein wird, dient dies dazu,
das vorzeitige Erreichen eines lokalen Optimums zu verhindern. Ob das sinnvoll und notwen-
dig ist, ist von den jeweiligen Problemen abhängig. Die praktischen Erfahrungen mit NN in
den letzten beiden Jahrzehnten haben allerdings gezeigt, dass in den weitaus meisten wichtigen
Anwendungsfällen die Verwendung deterministischer Propagierungs- und Aktivierungsfunkti-
onen ausreicht. Wir werden deswegen diese Erweiterung der Grundlogik hier nicht weiter
behandeln.
Zum anderen kann und muss man bestimmen, welche Neuronen des gesamten Netzes externe
Signale aufnehmen und welche Neuronen nach Abschluss des Lernvorgangs die Lösung reprä-
sentieren (der Lernvorgang wird ausführlich in 4.2.4. behandelt). Damit ist Folgendes gemeint:
Wenn man sich ein NN graphisch veranschaulichen will, dann ergibt sich z. B. folgendes Bild:
Bild 4-4 Graphische Darstellung einer möglichen Netzwerktopologie
Die Operationen eines NN, also gewissermaßen die von ihm zu bearbeitenden Aufgaben, wer-
den üblicherweise dadurch gestartet, dass das NN einen bestimmten Vektor als „Input“ erhält.
Zum Beispiel erhielten die einfachen Netzwerke in den obigen Beispielen (Tautologie und
Negation) jeweils 1 oder 0 als Input, demnach eindimensionale Vektoren.
Als erstes müssen jetzt die „Inputneuronen“ bestimmt werden, also die Neuronen, die auf die
externe Vorgabe durch Aktivierung ihrer Zustände reagieren. Diese Neuronen, die auch alle
Einheiten des NN sein können, werden als Eingabeschicht (Inputschicht) bezeichnet .
In Bild 4-4 sind dies die Einheiten 1, 2 und 3. Das NN verarbeitet die externe Vorgabe nach der
dargestellten Grundlogik und realisiert einen Endzustand (Attraktor), der ein Ergebnis in Bezug
auf eine gestellte Aufgabe repräsentiert. Dies Ergebnis, das z. B. beim überwachten Lernen
ständig durch Vergleich mit einem extern vorgegebenen Vektor - dem Zielvektor - erreicht
werden muss, muss im NN repräsentiert sein und d. h. durch die Aktivierungszustände wieder
vorher bestimmter Neuronen.
Diese Neuronen - im Extremfall wieder alle - bilden dann die Ausgabeschicht (Outputschicht)
In der obigen Abbildung sind das die Einheiten 6, 7 und 8. Da die Einheiten 4 und 5 weder Teil
der Eingabe- noch der Ausgabeschicht ist, bilden sie eine so genannte Zwischenschicht, die
häufig auch sehr missverständlich als „verborgene Schicht“ (hidden layer) bezeichnet wird.
Verborgen ist daran jedoch gar nichts, sondern die Einheiten 4 und 5 haben lediglich keine