Information Technology Reference
In-Depth Information
Abb. 3.17
a
James A. Anderson,
b
Bernard
Widrow,
c
Marcian E. Hoff
Abb. 3.18
a
Teuvo Kohonen,
b
David Rumel-
hart,
c
Christoph von der Malsburg
Die Lernregel, die Widrow und Hoff einführten, beruhte
zum ersten Mal auf einem Gradientenabstiegsverfahren auf
der Fehleroberläche des Netzes. Ihnen zu Ehren wird diese
Lernregel neben der Bezeichnung „d-Regel“ auch „Widrow-
Hoff-Regel“ genannt. Bernard Widrow gründete auch später
die Memistor Corporation, die erste Neurocomputing-Firma.
Diese stellte
Memistoren
her, Transistor-ähnliche Elemente,
mit denen die einstellbaren Gewichte eines Künstlichen Neu-
ronalen Netzes realisiert werden konnten.
Teuvo Kohonen
(
Abb. 3.18a
) stellte 1972 in seiner Arbeit
Correlation matrix memories
ein Modell des linearen Assozi-
ierers, eines speziellen Assoziativspeichers, vor, das unabhän-
gig von ihm auch
James A. Anderson
(
Abb. 3.17a
)
im glei-
chen Jahr präsentierte, allerdings aus neurophysiologischer
Sicht. Charakteristisch für dieses Modell war die Verwendung
linearer Aktivierungsfunktionen und kontinuierlicher Werte
für Gewichte, Aktivierungen und Ausgaben.
Die Arbeiten von Anderson wurden von
L. N. Cooper
auf-
gegriffen
und in
A possible organization of animal memory
and learning
erweitert. Besonders bekannt wurde Teuvo Ko-
honen jedoch durch seine selbstorganisierenden Karten, die
u. a. 1982 in dem Artikel
Self-organized formation of topo-
logically correct feature maps
beschrieben wurden. In ihnen
wurden insbesondere Konzepte für unüberwachtes Lernen
entwickelt. Von ihm sind ferner auch seine beiden Bücher
Associative Memory - A System Theoretic Approach
und
Self-Organization and
Associative Memory
erwähnenswert.
Ein bedeutender deutscher Beitrag gelang 1973
Christoph
von der Malsburg
(
Abb. 3.18c
) in seiner Arbeit
Self-organi-
zation of orientation sensitive cells in the striata cortex
. Er
verwendete ein komplexeres, biologisch besser motiviertes
nichtlineares Neuronenmodell, mit dem er durch Computer-
simulationen zeigen konnte, dass die Zellen mit seinem Lern-
verfahren rezeptive Felder ähnlicher Orientierungsspeziität
herausbildeten, wie sie in neurophysiologischen Arbeiten von
Hubel und Wiesel festgestellt wurden.
Bereits im Jahre 1974 entwickelte
Paul Werbos
(
Abb. 3.19
) in seiner Dissertation an der Harvard-Univer-
sität das
Backpro pagation
-Verfahren. Es war eine Wei-
terentwicklung der Lernregel von Widrow und Hoff. Die
Arbeit erzeugte aber keine große Aufmerksamkeit und
geriet schnell in Vergessenheit. Dieses Verfahren wurde
anschließend ca. 10 Jahre später durch
David Rumelhart
(
Abb. 3.18b
)
und
James McClelland
de facto neu entdeckt
und erlangte wegen seiner Erfolge in der Praxis große Be-
deutung.
Abb. 3.19
Paul Werbos
ten 20 Jahre eine Vielzahl von Arbeiten veröffentlicht, die
sich durch eine detaillierte mathematische Analyse der darin
vorgestellten neuronalen Modelle auszeichnen, aber nicht
leicht zu lesen sind. Viele seiner Arbeiten behandeln das
Problem, wie ein neuronales Netz lernfähig (plastisch) blei-
ben kann, ohne bereits gelernte Muster durch neue Muster
zu zerstören.
