Information Technology Reference
In-Depth Information
1
x
y
2
x
0
1
Abbildung 3.17: Gelerntes Schwellenwertelement für die Negation und seine geome-
trische Deutung.
gern, sind die folgenden Überlegungen: Wenn statt einer gewünschten Ausgabe
von 0 eine 1 geliefert wird, dann ist der Schwellenwert zu klein und/oder die Ge-
wichte zu groß. Man sollte daher den Schwellenwert etwas erhöhen und die Ge-
wichte etwas verringern. (Letzteres ist natürlich nur sinnvoll, wenn die zugehörige
Eingabe den Wert 1 hat, da ja sonst das Gewicht gar keinen Einfluss auf die gewich-
tete Summe hat.) Wird umgekehrt statt einer gewünschten Ausgabe von 1 eine 0
geliefert, dann ist der Schwellenwert zu groß und/oder die Gewichte zu klein. Man
sollte daher den Schwellenwert etwas verringern und die Gewichte etwas erhöhen
(wieder vorausgesetzt, die zugehörige Eingabe ist 1).
Für unser einfaches Schwellenwertelement haben die in Abbildung 3.15 einge-
zeichneten Änderungen genau diese Wirkungen. Die angeführten Überlegungen ha-
ben jedoch den Vorteil, dass sie auch auf Schwellenwertelemente mit mehr als einem
Eingang anwendbar sind. Wir können daher die folgende allgemeine Lernmethode
für Schwellenwertelemente definieren:
Definition 3.2
Sei x
=(
x
1
,...,
x
n
)
ein Eingabevektor eines Schwellenwertelementes, o die
für diesen Eingabevektor gewünschte Ausgabe (output) und y die tatsächliche Ausgabe des
Schwellenwertelementes. Ist y
=
o, dann wird zur Verringerung des Fehlers der Schwellen-
wert und der Gewichtsvektor w
=(
w
1
,...,
w
n
)
wie folgt verändert:
(neu)
=
(alt)
+
mit
=
(
o
y
)
,
i
{
1, . . . ,
n
}
:
w
(neu)
i
=
w
(alt)
i
+
w
i
mit
w
i
=
(
o
y
)
x
i
,
wobei ein Parameter ist, der
Lernrate
genannt wird. Er bestimmt die Stärke der Gewichts-
änderungen. Dieses Verfahren heißt
Delta-Regel
oder
Widrow-Hoff-Verfahren
[Widrow
u. Hoff 1960].
In dieser Definition müssen wir die Änderung des Schwellenwertes und die Än-
derung der Gewichte unterscheiden, da die Änderungsrichtungen entgegengesetzt
sind (unterschiedliche Vorzeichen für
(
t
y
) bzw.
(
t
y
)
x
i
). Man kann jedoch die
Änderungsregeln vereinheitlichen, indem man den Schwellenwert in ein Gewicht
umwandelt. Das Prinzip dieser Umwandlung ist in Abbildung 3.18 veranschaulicht:
Der Schwellenwert wird auf 0 festgelegt. Als Ausgleich wird ein zusätzlicher (ima-
ginärer) Eingang
x
0
eingeführt, der den festen Wert 1 hat. Dieser Eingang wird mit
dem negierten Schwellenwert gewichtet. Die beiden Schwellenwertelemente sind of-
fenbar äquivalent, denn das linke prüft die Bedingung
i
=1
w
i
x
i
,dasrechtedie
Bedingung
i
=1
w
i
x
i
0, um den auszugebenden Wert zu bestimmen.
Da der Schwellenwert bei der Umwandlung in ein Gewicht negiert wird, erhalten
wir die gleichen Änderungsrichtungen für alle Parameter: Ist die Ausgabe 1 statt 0,
so sollten sowohl
w
i
als auch
verringert werden. Ist die Ausgabe 0 statt 1, so soll-
ten sowohl
w
i
als auch
erhöht werden. Folglich können wir die Veränderungsrich-
