Information Technology Reference
In-Depth Information
laufen der Neuronen in beliebiger, aber fester Reihenfolge werden höchstens n
·
2
n
Schritte
(Einzelaktualisierungen) benötigt, wobei n die Anzahl der Neuronen des Netzes ist.
Beweis:
Dieser Satz wird mit einer Methode bewiesen, die man in Analogie zu Fer-
mats Methode des unendlichen Abstiegs die
Methode des endlichen Abstiegs
nennen
könnte. Wir definieren eine Funktion, die jedem Zustand eines Hopfield-Netzes eine
reelle Zahl zuordnet und die mit jedem Zustandsübergang kleiner wird oder höch-
stens gleich bleibt. Diese Funktion nennt man üblicherweise die
Energiefunktion
des
Hopfield-Netzes, die von ihr einem Zustand zugeordnete Zahl die
Energie
dieses
Zustands (der Grund für diesen Namen hängt mit der physikalischen Interpreta-
tion eines Hopfield-Netzes zusammen, denn die Energiefunktion entspricht dem
Hamilton-Operator, der die Energie des Magnetfeldes beschreibt; siehe unten). In-
dem wir bei Übergang in einen Zustand gleicher Energie noch eine Zusatzbetrach-
tung anschließen, können wir leicht zeigen, dass ein Zustand, wenn er einmal ver-
lassen wird, nicht wieder erreicht werden kann. Da ein Hopfield-Netz nur endlich
viele mögliche Zustände hat, kann irgendwann durch Zustandsübergänge nicht wei-
ter abgestiegen werden und folglich muss sich ein stabiler Zustand einstellen.
Die Energiefunktion eines Hopfield-Netzes mit
n
Neuronen
u
1
,...,
u
n
ist
E
=
1
2
act
W
act
+
T
act,
den Aktivierungszustand des Netzes angibt,
W
die
Gewichtsmatrix des Hopfield-Netzes und
=(
u
1
,...,
u
n
)
der Vektor der Schwel-
lenwerte der Neuronen ist. Geschrieben mit einzelnen Gewichten und Schwellen-
werten lautet diese Energiefunktion
act =(act
u
1
,...,act
u
n
)
wobei
E
=
1
2
u
,
v
U
,
u
=
v
w
uv
act
u
act
v
+
u
U
u
act
u
.
1
In dieser Darstellung zeigt sich auch der Grund für den Faktor
2
vor der ersten
Summe. Wegen der Symmetrie der Gewichte tritt in der ersten Summe jeder Term
doppelt auf, was durch den Faktor
2
ausgeglichen wird.
Wir zeigen zunächst, dass die Energie bei einem Zustandsübergang nicht größer
werden kann. Da die Neuronen asynchron aktualisiert werden, wird bei einem Zu-
standsübergang die Aktivierung nur eines Neurons
u
neu berechnet. Wir nehmen
an, dass durch die Neuberechnung seine Aktivierung von act
(
alt
)
u
auf act
(
neu
u
wech-
selt. Die Differenz der Energie des alten und des neuen Aktivierungszustands be-
steht dann aus allen Summanden, die die Aktivierung act
u
enthalten. Alle anderen
Summanden fallen weg, da sie sowohl in der alten als auch in der neuen Energie
auftreten. Daher ist
v
U
{
u
}
w
uv
act
(neu)
act
v
+
u
act
(neu)
E
=
E
(
neu
)
E
(
alt
)
=
u
u
v
U
{
u
}
w
uv
act
(alt)
act
v
+
u
act
(alt)
.
u
u
