Modellierung lernender Systeme durch Neuronale Netze (NN) - Modellierung komplexer Prozesse durch naturanaloge Verfahren - page 138

2. Klassifizierung nach Lernverhalten :
a) überwacht (z. B. assoziative Netzwerke)
b) nicht überwacht (z. B. SOM und SEN)
c) verstärkend
3. Richtung des Informationsflusses:
a) feed forward Netzwerke (z. B. assoziative Speicher, SOM)
b) feed back Netzwerke (z. B. Hopfield, BAM, Interaktive Netze)
4. Deterministisch vs. stochastisch:
a) deterministisch (alle bisher erwähnten Typen)
b) stochastisch (z. B. die so genannte Boltzmann-Maschine)
Für spezielle Netze wie z. B. Hopfield Netze oder die Boltzmann-Maschine verweisen wir auf
die einschlägige Spezialliteratur. Im Gegensatz zur ersten Auflage, wo zwei Spezialfälle noch
näher dargestellt wurden, verzichten wir hier auf eine nähere Betrachtung und zwar vor allem
deshalb, weil sich immer wieder gezeigt hat, dass man bei überwachtem Lernen gewöhnlich
mit feed forward Netzen auskommt und bei nicht überwachtem Lernen mit einem SOM oder
neuerdings mit einem SEN. 6
In einer tabellarischen Übersicht, die man als Basis für einen Pseudocode nehmen kann, sei
schließlich der Prozess der Erzeugung von NN aus BN noch einmal dargestellt. Wir haben dies
Verfahren als „Neurogenerator“ bezeichnet, der leisten soll, Benutzern genau den Netzwerk-
typus zu generieren, der für das jeweilige Problem besonders gut geeignet ist. Die Basisidee
dabei ist, dass der Neurogenerator als lernendes System konzipiert ist, das sozusagen selbst
erprobt, welchen Netzwerktypus der Benutzer jeweils braucht:
x Konstruiere ein BN mit hinreichend vielen Einheiten; lege die BF (Booleschen Funktionen)
nicht fest, sondern nur die Adjazenzmatrix.
x Codiere die Adjazenzmatrix mit reellen Werten zwischen -1 und +1.
x Definiere die Aktivierungsfunktion und ggf. auch die Propagierungsfunktion - determinis-
tisch oder stochastisch.
x Definiere die Lernregel.
x Lege fest, ob überwachtes Lernen oder nicht überwachtes Lernen erfolgen soll; definiere
die Bewertungsfunktion (z. B. Euklidische Distanz).
x Bestimme die extern orientierte Topologie, also die Gliederung des NN in Schichten.
x Bestimme die Richtung der Dynamik - z. B. feed forward.
Ein einfacher Prototyp des Neurogenerators ist mittlerweile von zwei unserer Studenten entwi-
ckelt und implementiert worden. Dieser Prototyp ist in der Lage, selbstständig ein feed forward
Netz, das überwacht lernt, zu generieren, das sämtliche Boolesche Funktionen, einschließlich
der XOR-Funktion (siehe oben) darstellen kann .7

6 Die in der ersten Auflage dargestellten heteroassoziativen Speicher entsprechen mathematisch
weitgehend den sog. BAM-Netzen; diese werden im Kapitel über hybride Systeme näher dargestellt.

7

Die Entwickler waren Lars Lindekamp und Fabian Figge; wesentlich erweitert wurde er durch Kai
Timmermann und Daniel Tang.