Information Technology Reference
In-Depth Information
2
2
2
1
1
1
w
w
w
0
0
0
1
1
1
2
2
2
2
1
0
1
2
2
1
0
1
2
2
1
0
1
2
Änderungen für
x
=
0
Änderungen für
x
=
1
Summe
Abbildung 3.15: Richtungen der Gewichts-/Schwellenwertänderungen.
2
2
4
e
1
1
3
4
2
w
w
0
0
3
1
2
1
1
1
2
2
2
1
0
2
2
1
0
2
1
1
Online-Lernen
Batch-Lernen
Batch-Lernen
Abbildung 3.16: Lernvorgänge mit Startwerten
=
2
,
w
= 2undLernrate1.
beispiele durchlaufen sind, werden die aggregierten Änderungen ausgeführt. Dann
werden die Trainingsbeispiele erneut durchlaufen und am Ende wieder die Gewich-
te und der Schwellenwert angepasst usw., bis der Fehler verschwindet. Diese Art des
Tra inings nennt man
Batch-Lernen
bzw.
Batch-Training
,daalleTrainingsbeispielege-
bündelt zur Verfügung stehen müssen (engl.
batch
:Stapel,
batch processing
:Stapelver-
arbeitung). Es entspricht einer Anpassung der Gewichte und des Schwellenwertes
gemäß dem rechten Diagramm.
Als Beispiel sind in Abbildung 3.16 die Lernvorgänge für die Startwerte
=
2
und
w
= 2gezeigt.SowohldasOnline-Lernen(linkesDiagramm)alsauchdasBatch-
Lernen (mittleres Diagramm) verwenden eine
Lernrate
von 1. Die Lernrate gibt an,
wie groß die Änderungen sind, die an Gewicht und Schwellenwert vorgenommen
werden, und damit, wie schnell gelernt wird. (Die Lernrate sollte jedoch auch nicht
beliebig groß gewählt werden, siehe Kapitel 5.) Bei einer Lernrate von 1 werden Ge-
wicht und Schwellenwert um 1 vergrößert oder verkleinert. Um den „Abstieg im
Fehlergebirge“ zu verdeutlichen, ist das Batch-Lernen im rechten Diagramm von
Abbildung 3.16 noch einmal dreidimensional dargestellt. Das schließlich gelernte
Schwellenwertelement (mit
=
2
und
w
= 1) ist zusammen mit seiner geome-
trischen Deutung in Abbildung 3.17 gezeigt.
In dem gerade betrachteten Beispiel haben wir die Änderungsregeln i.W. aus der
Anschauung der Fehlerfunktion abgeleitet. Eine andere Möglichkeit, die Regeln für
die Änderungen zu erhalten, die an den Gewichten und dem Schwellenwert eines
Schwellenwertelementes vorgenommen werden müssen, um den Fehler zu verrin-
