Information Technology Reference
In-Depth Information
u
1
Abbildung 8.3: Vereinfachte Darstel-
lung des Hopfield-Netzes aus Abbil-
dung 8.2, die die Symmetrie der Ge-
wichte ausnutzt.
0
1
u
2
0
2
1
u
3
0
u
1
u
2
Tabe l l e 8 . 1 : Be re chnungen de s e i n-
fachen Hopfield-Netzes aus Abbil-
dung 8.1 für die Eingaben
x
1
=
1
und
x
2
=
1beiparallelerAktualisie-
rung der Aktivierungen.
1
Eingabephase
1
1
Arbeitsphase
1
1
1
1
1
1
1
Unabhängig davon, wie die Neuronen ihre Aktivierung und Ausgabe neu berech-
nen, wird stets das Ergebnis erreicht, das man auch durch eine Neuberechnung in
einer topologischen Reihenfolge erhält. Wie wir an dem in Abschnitt 4.2 betrachte-
ten Beispiel (Seite 39) gesehen haben, kann das Ergebnis der Berechnungen eines
neuronalen Netzes mit Kreisen jedoch von der Reihenfolge abhängen, in der die Ak-
tivierungen aktualisiert werden.
Wir versuchen zunächst, die Aktivierungen
synchron
(gleichzeitig, parallel) neu
zu berechnen. D. h., wir berechnenmit den jeweils alten Ausgaben der beiden Neuro-
nen deren neue Aktivierungen und neue Ausgaben. Dies führt zu den in Tabelle 8.1
gezeigten Berechnungen. Offenbar stellt sich kein stabiler Aktivierungszustand ein,
sondern das Netz oszilliert zwischen den Zuständen (1, 1) und (1, 1).Berechnen
wir die Aktivierungen dagegen
asynchron
neu, d. h. berechnen wir stets nur für ein
Neuron eine neue Aktivierung und neue Ausgabe und verwenden wir in folgenden
Berechnungen bereits die neu berechnete Ausgabe, so stellt sich stets ein stabiler Zu-
stand ein. Zur Verdeutlichung sind in Tabelle 8.2 die beiden möglichen Berechnungs-
folgen gezeigt, bei denen die beiden Neuronen stets abwechselnd ihre Aktivierung
neu berechnen. In beiden Fällen wird ein stabiler Zustand erreicht. Welcher Zustand
dies ist, hängt jedoch davon ab, welches Neuron zuerst aktualisiert wird. Symme-
trieüberlegungen zeigen, dass auch bei anderen Eingaben stets einer dieser beiden
Zustände erreicht wird.
Eine ähnliche Beobachtung kann man an dem Hopfield-Netz mit drei Neuronen
aus Abbildung 8.2 machen. Bei Eingabe des Vektors
(
1, 1, 1
)
oszilliert das Netz
bei synchroner Neuberechnung zwischen den Zuständen
(
1, 1, 1
)
und
(
1, 1,
1
)
,
während es bei asynchroner Neuberechnung entweder in den Zustand
(
1, 1, 1
)
oder
in den Zustand (
1,
1,
1
)
gelangt.
Auch bei anderen Eingaben wird schließlich einer dieser beiden Zustände er-
reicht, und zwar unabhängig von der Reihenfolge, in der die Neuronen aktualisiert
werden. Dies sieht man am besten mit Hilfe eines
Zustandsgraphen
,wieerinAbbil-
dung 8.4 gezeigt ist. Jeder Zustand (d. h., jede Kombination von Aktivierungen der
Neuronen) ist durch eine Ellipse dargestellt, in die die Vorzeichen der Aktivierun-
gen der drei Neuronen
u
1
,
u
2
und
u
3
(von links nach rechts) eingetragen sind. An
