Information Technology Reference
In-Depth Information
Einem einstufigen Perzeptron kann jede Funktion, die es realisieren kann, auch in
endlicher Zeit antrainiert werden. Das Konvergenz-Theorem von Rosenblatt detailliert
diese Aussage, indem sie postuliert, dass jede erlernbare Funktion in endlicher Zeit an-
trainiert werden kann. Zum Lernen wird ein überwachtes Lernen auf der Grundlage der
Delta-Regel
verwendet. Diese Regel ist ein spezielles aber einfaches Verfahren zur An-
passung der Gewichte innerhalb eines vorwärts gerichteten Netzes mit nur einer Schicht
von trainierbaren Verbindungen. Hierbei werden die Gewichte der Verbindungen entspre-
chend des Beitrages der Gewichte zum Netzfehler adaptiert. Dazu dient eine Lernrate, die
steuert, wie stark der Fehler bei der Korrektur der Gewichte berücksichtigt wird. Der Al-
gorithmus sorgt dafür, dass eine Gewichtsveränderung nur dann durchgeführt wird, falls
die erwartete Ausgabe nicht mit der tatsächlich berechneten Ausgabe übereinstimmt.
ALGORITHMUS
: Delta-Regel
WIEDERHOLE
VON
m:= 1 BIS Anzahl der Muster
TUE
Muster an Eingabeschicht anlegen
Bestimme Ausgabewerte der Ausgabe-Neuronen
VON
j:= 1
BIS
Anzahl der Ausgabe-Neuronen
TUE
WENN
tatsächliche Ausgabej
≠
erwartete Ausg abe,
DANN
VON
i:= 1 BIS Anzahl der Eingabe-Neuronen
TUE
w
ij
= w
ij
+ Lernfaktor * erwartete Ausgabe
j
*
tatsächliche Ausgabe
j
- erwartete Ausgabe
j
)
ENDE
-
VON
ENDE
-
WENN
ENDE
-
VON
ENDE
-
VON
Test aller Muster
BIS
gewünschtes Verhalten erreicht
ENDE
-
ALGORITHMUS
Ist die tatsächliche Ausgabe niedriger als die erwartete Ausgabe, müssen die Gewichte der
eingehenden Verbindungen erhöht werden. Analog wird das Gewicht verringert, falls die
tatsächliche Ausgabe größer als die erwartete Ausgabe ist. Allerdings ist die Delta-Regel
nur dann anwendbar, wenn überwacht gelernt werden kann und nur eine Schicht trainier-
barer Gewichte im Netz vorhanden ist. Beim überwachten Lernen (supervised learning)
liegen sowohl die Eingabedaten als auch die dafür erwarteten Ausgabewerte vor. Mit die-
sen Daten wird das Netz trainiert. Die Ausgabewerte des Netzes können dann mit den er-
warteten Ausgabewerten verglichen werden. Auch ist die Einsatzfähigkeit des Perzeptrons
auf die linear separierbaren Funktionen beschränkt.
Um dieser Einschränkung zu entgehen, greift man auf vorwärts gerichtete Netze mit
mindestens einer inneren Schicht von Neuronen zurück, was bedeutet, dass mehrere Ver-
bindungsschichten zu trainieren sind. Hierzu verwendet man das Backpropagation-Lern-
verfahren, das mittels mathematischer Verfahren den Netzfehler zu minimieren versucht.
Das
Backpropagation
-Verfahren ist eine Form des überwachten Lernens zum Anpassen
der Verbindungsgewichte. Die Gewichtsänderung erfolgt, ausgehend von einem aus der
Abweichung der berechneten Ausgabe von der erwarteten Ausgabe bestimmten Fehlersi-
gnals. Die Gewichtsänderung wird schichtenweise, beginnend mit den Verbindungen zur
