Information Technology Reference
In-Depth Information
Abb. 3.13
a
Donald O. Hebb,
b
Marvin
Minsky,
c
Frank Rosenblatt,
d
Karl Stein-
buch
sprüngliche Perceptron, wie auch einige Varianten davon, diese
und verwandte Probleme aus prinzipiellen Gründen nicht re-
präsentieren konnten. Ihre Schlussfolgerung jedoch, dass auch
mächtigere Modelle als das Perceptron die gleichen Probleme
aufweisen und damit das ganze Gebiet der neuronalen Netze
ein „research dead-end“ sei, war jedoch nicht zutreffend.
n
w
n
w
n
Tab. 3.2
Wahrheitstafel für das XOR-Problem
x
y
XOR
Abb. 3.14
Graische Darstellung eines Perceptrons
0
0
0
0
1
1
Ein einfaches (einstuiges) Perceptron bestand aus einer
Eingabeschicht und einem einzigen Ausgabeneuron. Die
Verbindungen zwischen den Neuronen der Eingabeschicht
und dem Ausgabeneuron waren mit Gewichten versehen. Die
Neuronen der Eingabeschicht gaben eine 1 aus, falls ein ex-
terner Impuls anlag, ansonsten eine 0.
Das Ausgabeneuron addierte diese Impulse auf und wurde
aktiv, wenn durch die Summe der gewichteten Eingänge ein
fester Schwellenwert überschritten wurde. In diesem Fall war
die Ausgabe 1, ansonsten 0.
Das Perceptron sollte jedoch für die weitere Entwicklung
der Künstlichen Neuronalen Netze eine traurige Berühmt-
heit erhalten. Im Jahre 1969 unternahmen
Marvin Minsky
und
Seymour Papert
(
Abb. 3.15
) in ihrer Arbeit „Perceptrons“
eine genaue mathematische Analyse des Perceptrons und
zeigten, dass das Modell eines einfachen Perceptrons viele
wichtige Probleme gar nicht repräsentieren kann.
1
0
1
1
1
0
Die
Abb. 3.16
zeigt die Lösung des XOR-Problems durch
ein zweistuiges Perceptron, wenn man die Schwellenwerte
mit
s
=
15
,
und
s
=
05
,
einstellt.
3
4
n
1
1
1
-2
n
3
n
4
1
1
n
2
Abb. 3.16
2-stuiges Perceptron-Netz zur Lösung des XOR-Problems
Die Konsequenzen dieser falschen Schlussfolgerung wa-
ren fatal. Forscher auf diesem Gebiet erhielten in den nächs-
ten 15 Jahren so gut wie keine Forschungsgelder, insbeson-
dere keine Gelder der DARPA (Defense Advanced Research
Projects Agency). In diesen ca. 15 Jahren der geringen An-
erkennung des Gebietes wurden allerdings von den heute
berühmten Forschern die theoretischen Grundlagen für die
Renaissance des Gebiets gelegt.
Daneben entstanden in den nächsten Jahren eine Reihe
von Konzepten, z. B. von
Oliver Selfridge
oder von
Karl
Steinbuch
(
Abb. 3.13d
).
Bernard Widrow
(
Abb. 3.17b
) und
Marcian E. Hoff
(
Abb. 3.17c
)
stellten in
Adaptive switching
circuits
das
Adaline
vor, ein adaptives System, das schnell
und genau lernen konnte. Ähnlich wie das Perceptron war es
ein binäres Schwellwert-Neuron.
Abb. 3.15
Seymour Papert
Anhand einiger sehr einfacher Probleme, wie dem XOR-Pro-
blem (
Tab. 3.2
), dem „parity“-Problem und dem „connectivity“-
Problem (Problem eines Neuronalen Netzes zu erkennen, ob
eine gegebene Figur einfach verbunden ist oder aus mehreren
separaten Figuren besteht) konnten sie zeigen, dass das ur-
