Information Technology Reference
In-Depth Information
Der Faktor
2
verschwindet wegen der Symmetrie der Gewichte, durch die jeder Sum-
mand doppelt auftritt. Aus den obigen Summen können wir die neue und alte Akti-
vierung des Neurons
u
herausziehen und erhalten
act
(alt)
act
(neu)
E
=
v
U
{
u
}
w
uv
act
v
u
.
u
u
= net
u
Wir müssen nun zwei Fälle unterscheiden. Wenn net
u
<
u
,soistderzweiteFaktor
kleiner 0. Außerdem ist act
(neu
u
=
1unddawirannehmen,dasssichdieAktivie-
rung durch die Neuberechnung geändert hat, act
(alt
u
=
1. Also ist der erste Faktor
größer 0 und folglich
E
<
0. Ist dagegen net
u
u
,soistderzweiteFaktorgrößer-
gleich 0. Außerdem ist act
(neu)
= 1unddamitact
(alt
u
= 1. Also ist der erste Faktor
u
kleiner 0 und folglich
E
0.
Wenn sich durch einen Zustandsübergang die Energie eines Hopfield-Netzes ver-
ringert hat, so kann der Ausgangszustands offenbar nicht wieder erreicht werden,
denn dazu wäre eine Energieerhöhung nötig. Der zweite Fall lässt aber auch Zu-
standsübergänge zu, bei denen die Energie gleich bleibt. Wir müssen daher noch
Zyklen von Zuständen gleicher Energie ausschließen. Dazu brauchen wir aber nur
festzustellen, dass ein Zustandsübergang dieser Art auf jeden Fall die Zahl der
+
1-
Aktivierungen des Netzes erhöht. Also kann auch hier der Ausgangszustand nicht
wieder erreicht werden. Mit jedem Zustandsübergang verringert sich daher die Zahl
der erreichbaren Zustände, und da es nur endlich viele Zustände gibt, muss schließ-
lich ein stabiler Zustand erreicht werden.
Die Zusatzbetrachtung (Zahl der
+
1-Aktivierungen) ist übrigens unnötig, wenn
die Aktivierungsfunktion so definiert wird, wie auf Seite 118 als Alternative ange-
geben, wenn also die alte Aktivierung erhalten bleibt, wenn die Netzeingabe mit
dem Schwellenwert übereinstimmt. Denn in diesem Fall ändert sich die Aktivierung
nur dann auf +1, wenn net
u
>
u
.Alsohabenwirauchfürdenzweitenobenbe-
trachteten Fall
E
<
0undfolglichreichtdieBetrachtungalleinderEnergiedes
Hopfield-Netzes.
Wir müssen außerdem bemerken, dass die Konvergenz in einen Zustand (lokal)
minimaler Energie nur sichergestellt ist, wenn nicht einzelne Neuronen ab einem
bestimmten Zeitpunkt nicht mehr für eine Neuberechnung ihrer Aktivierung ausge-
wählt werden. Sonst könnte ja z. B. stets ein Neuron aktualisiert werden, durch des-
sen Neuberechnung der aktuelle Zustand nicht verlassen wird. Dass kein Neuron
von der Aktualisierung ausgeschlossen wird, ist auf jeden Fall sichergestellt, wenn
die Neuronen in einer beliebigen, aber festen Reihenfolge zyklisch durchlaufen wer-
den. In diesem Fall können wir folgende Überlegung anschließen: Entweder es wird
bei einem Durchlauf der Neuronen kein Aktivierungszustand geändert. Dann ha-
ben wir bereits einen stabilen Zustand erreicht. Oder es wird mindestens eine Akti-
vierung geändert. Dann wurde (mindestens) einer der 2
n
möglichen Aktivierungs-
zustände (
n
Neuronen, jeweils zwei mögliche Aktivierungen) ausgeschlossen, denn
wie wir oben gesehen haben, kann der verlassene Zustand nicht wieder erreicht wer-
den. Folglich müssen wir nach spätesten 2
n
Durchläufen durch die Neuronen, also
nach spätestens
n
·
2
n
Neuberechnungen von Neuronenaktivierungen einen stabilen
Zustand erreicht haben.
