Information Technology Reference
In-Depth Information
4. Eingabemuster, die mit den schon bereits vorhandenen ge-
speicherten Mustern nicht bis zu einem bestimmten Grad
übereinstimmen, werden nicht verändert.
Damit erhält man eine Lösung des Stabilitäts-Plastizitäts-
Dilemmas, denn
• neue Muster können neue Kategorien erzeugen (Plastizi-
tät) und
• neue Muster können alte Muster nicht verdecken oder
auslöschen, wenn sie diesen nicht sehr ähnlich sind
(Stabilität).
John Hopield ( Abb. 3.22 ), ein bekannter Physiker, schrieb
1982 einen sehr einlussreichen Artikel Neural Networks and
physical systems with emergent collective computational abi-
lities , in dem er binäre Hopield-Netze als neuronales Äqui-
valent der Ising-Modelle der Physik untersuchte.
in mancher Beziehung eher dem Ablauf einer natürlichen
Informationsverarbeitung.
Im Jahre 1983 stellten Kunihiko Fukushima , Shogo Mi-
yake und T. Ito in Neocognitron: a neural network model
for a mechanism of visual pattern recognition mit dem Neo-
cognitron ein neuronales Modell zur Positions- und Skalie-
rungs-invarianten Erkennung handgeschriebener Zeichen vor.
Dieses war eine Erweiterung des schon 1975 entwickelten
Cognitrons und bestand aus einer schichtweisen Folge ein-
facher und komplexer Zellen (S-Zellen und C-Zellen), wie
sie auch im biologischen visuellen System von Katzen vor-
kommt. Interessant ist darin weiterhin der Einsatz rezeptiver
Felder, Unschärfe-Operatoren (blurring) und die Verwendung
gemeinsamer Verbindungen (shared weights). Diese Modelle
wurden von Fukushima bis in die heutige Zeit systematisch
weiter verbessert.
Eine besondere Popularität fanden die Künstlichen
Neuronalen Netze durch die Publikation des Lernverfah-
rens Backpropagation 1986 durch Rumelhart, Hinton und
Williams in Learning internal respresentations by error
propagation in dem von Rumelhart und McClelland her-
ausgegebenen Buch: Parallel Distributed Processing (Ru-
melhart u. McClelland 1986) sowie dem im gleichen Jahr
erschienenen Artikel in Nature: Learning respresentations
by back-propagating errors . Darin wurde mit dem Lern-
verfahren Backpropagation (ca. 10 Jahre nachdem dieses
Verfahren bereits von Herbos entdeckt worden war) ein im
Vergleich zu den bisherigen Lernverfahren sehr schnelles
und robustes Lernverfahren für mehrstuige vorwärts ge-
richtete Netze vorgestellt, das sich mathematisch elegant als
Gradientenabstiegsverfahren des Netzwerkfehlers herleiten
ließ. Man schätzt, dass über 60 % aller in der Praxis einge-
setzten Neuronalen Netze auf diesem Verfahren oder auf
Varianten dieses Verfahrens beruhen.
Zu den deutschen Forschern, die sich auf diesem Ge-
biet hervorgetan haben, gehören Prof. Christoph von der
Malsburg (Ruhr-Univ. Bochum), Prof. Hermann Haken
( Abb. 3.23 ) (Univ. Stuttgart), Prof. Werner von Seelen (Univ.
Dortmund), Prof. Günter Palm (Univ. Ulm), Prof. Rolf Eck-
miller (Univ. Bonn) und Prof. Alex Waibel (CMU und Univ.
Karlsruhe). Prof. von Seelen wurde durch neuartige neuro-
nale Ansätze für das Stereosehen eines mobilen Roboters be-
kannt, Prof. Günter Palm ist durch seine theoretischen Arbei-
ten über Assoziativspeicher und ihre Hardware-Realisierung
wissenschaftlich bekannt. Prof. Alex Waibel ist mit seinen
Arbeiten über Time-Delay-Netze zur Spracherkennung her-
vorgetreten.
Der große Vorteil von Künstlichen Neuronalen Netzen
liegt darin, dass zur Lösung eines Problems kein expliziter
Lösungsalgorithmus benötigt wird. Möchte man ein Problem
durch einen Computer lösen lassen, so besteht die traditi-
onelle Vorgehensweise aus folgenden Schritten: Im ersten
Schritt muss das Problem mit allen Randbedingungen ana-
Abb. 3.22 John Hopield
Zwei Jahre später erweiterte er das Modell auf kontinuier-
liche Hopield-Netze und zeigte in Neurons with graded res-
ponse have collective computational properties like those of
two-state neurons , dass diese ebenfalls mithilfe einer Ener-
giefunktion untersucht werden können.
Hopield-Netze sind einschichtige Neuronale Netze, die
ausschließlich indirekte Rückkopplungen zwischen je zwei
verschiedenen Knoten i, j ( i j ) des Netzes besitzen, aber
keine direkte Rückkopplung zum gleichen Knoten. Alle Ver-
bindungen zwischen zwei Neuronen sind symmetrisch, d. h.
w i,j = w ji . Dies kann auch so interpretiert werden, dass zwi-
schen zwei Neuronen nur eine bidirektionale Leitung besteht.
Für die Betrachtung von Hopield-Netzen gibt es u. a. zwei
Motivationen:
1. Hopield selbst benutzte seine Netze zur Modellierung von
sog. „Spingläsern“. Hierunter versteht man Materialien,
deren Atome sich wie magnetische Dipole verhalten. Bei
der Modellierung entspricht jedem Dipol ein Neuron, die
Ausrichtung des Dipols im Magnetfeld ist der Aktivie-
rungszustand des entsprechenden Neurons und die Netz-
werkstruktur beschreibt die magnetischen Wechselwirkun-
gen zwischen den Dipolen.
2. Da die „Netzwerkstruktur“ des Gehirns einen rückge-
koppelten Aufbau besitzt, entspricht ein Hopield-Netz
 
 
 
Search WWH ::




Custom Search