Information Technology Reference
In-Depth Information
von dieser Matrix abgezogen werden, um sicherzustellen, dass die Diagonale der
Gewichtsmatrix 0 ist, denn in einem Hopfield-Netz gibt es ja keine Selbstrückkopp-
lungen der Neuronen. Mit dieser Matrix
W
haben wir für das Muster
p
:
(
=
W
p
=(
pp
T
)
p
E
p
=
p
p
(
p
T
p
)
=|
p
|
2
=
n
p
=
np
p
=(
n
1
)
p
.
() gilt, weil Matrix- und Vektormultiplikationen assoziativ sind, wir folglich die
Klammern versetzen können. Mit versetzten Klammern muss man zuerst das Ska-
larprodukt (auch: inneres Produkt) des Vektors
p
mit sich selbst bestimmen. Dies
liefert gerade seine quadrierte Länge. Wir wissen nun aber, dass
p
{1, 1}
n
und
daher, dass
p
T
p
= |
p
|
2
=
n
.Dawir
n
2vorausgesetzthaben,ist,wieerforderlich,
c
=(
n
1)
>
0. Also ist das Muster
p
ein stabiler Zustand des Hopfield-Netzes.
Schreibt man die Berechnungen in einzelnen Gewichten, so erhält man:
0,
falls
u
=
v
,
falls
u
=
v
,act
(
p
u
=
act
(
p
)
w
uv
=
1,
,
v
1,
sonst.
Diese Regel nennt man auch die
Hebbsche Lernregel
[Hebb 1949]. Sie wurde ursprüng-
lich aus einer biologischen Analogie abgeleitet: Verstärkt wird die Verbindung zwi-
schen zwei gleichzeitig aktiven Neuronen.
Man beachte allerdings, dass mit diesem Verfahren auch das zu dem Muster
p
komplementäre Muster
p
stabiler Zustand wird. Denn mit
W
p
=(
n
1)
p
W
(
p
)=(
n
1)(
p
).
gilt natürlich auch
Diese Speicherung des Komplementmusters lässt sich leider nicht vermeiden.
Sollen mehrere Muster
p
1
,...,
p
m
,
m
<
n
,gespeichertwerden,soberechnetman
für jedes Muster
p
i
eine Matrix
W
i
(wie oben angegeben) und berechnet die Ge-
wichtsmatrix
W
als Summe dieser Matrizen, also
m
i
=
1
W
i
=
m
i
=
1
p
i
p
T
W
=
m
E
.
i
Sind die zu speichernden Muster paarweise orthogonal (d. h., stehen die zugehö-
rigen Vektoren senkrecht aufeinander), so erhält man mit dieser Matrix
W
für ein
beliebiges Muster
p
j
,
j
{
1, . . . ,
m
}
:
m
i
=1
W
i
p
j
=
m
i
=1
(
p
i
p
i
)
p
j
W
p
j
=
m
E
p
j
=
p
j
m
i
=
1
p
i
(
p
i
p
j
)
=
mp
j
