Information Technology Reference
In-Depth Information
x
0
1
=
w
0
=
x
1
x
1
w
1
w
1
x
2
y
x
2
y
w
2
w
2
w
n
w
n
x
n
x
n
n
i
=1
w
i
x
i
n
i
=1
w
i
x
i
0
Abbildung 3.18: Umwandlung des Schwellenwertes in ein Gewicht.
tung aller Parameter bestimmen, indem wir die tatsächliche von der gewünschten
Ausgabe abziehen. Damit können wir die Delta-Regel auch so formulieren:
Sei
x
=(
x
0
=
1,
x
1
,...,
x
n
)
ein erweiterter Eingabevektor eines Schwellenwert-
elementes (man beachte die zusätzliche Eingabe
x
0
=
1),
o
die für diesen Eingabe-
vektor gewünschte Ausgabe und
y
die tatsächliche Ausgabe des Schwellenwertele-
mentes. Ist
y
=
o
,dannwirdzurVerringerungdesFehlersdererweiterteGewichts-
vektor
w
=(
w
0
=
,
w
1
,...,
w
n
)
(man beachte das zusätzliche Gewicht
w
0
=
)
wie folgt verändert:
i
{0, 1, . . . ,
n
} :
w
(
neu
)
i
=
w
(
alt
)
i
+
w
i
w
i
=
(
o
y
)
x
i
.
mit
Wir weisen hier auf diese Möglichkeit hin, da sie sich oft verwenden lässt, um z. B.
Ableitungen einfacher zu schreiben (siehe etwa Abschnitt 5.4). Der Klarheit wegen
werden wir im Rest dieses Kapitels jedoch weiter Schwellenwert und Gewichte un-
terscheiden.
Mit Hilfe der Delta-Regel können wir zwei Algorithmen zum Trainieren eines
Schwellenwertelementes angeben: eine Online-Version und eine Batch-Version. Um
diese Algorithmen zu formulieren, nehmen wir an, dass eine Menge
L
= {(
x
1
,
o
1
)
,
...,
(
x
m
,
o
m
)}
von Trainingsbeispielen gegeben ist, jeweils bestehend aus einem Ein-
gabevektor
x
i
IR
n
und der zu diesem Eingabevektor gewünschten Ausgabe
o
i
{
0, 1
}
,
i
=
1, . . . ,
m
.WeitermögenbeliebigeGewichte
w
und ein beliebiger Schwel-
lenwert
gegeben sein (z. B. zufällig bestimmt). Wir betrachten zunächst das Online-
Tra ining:
Algorithmus 3.2 (Online-Training eines Schwellenwertelementes)
procedure
online_training
(
var
w
,
var
,
L
,
)
;
var
y, e;
(* Ausgabe, Fehlersumme *)
begin
repeat
e
:
=
0
;
(* initialisiere die Fehlersumme *)
for all
(
x
,
o
)
L
do begin
(* durchlaufe die Beispiele *)
