Information Technology Reference
In-Depth Information
wichtigen Lernregeln auf das mehrfach erwähnte Prinzip von Hebb beziehen. Das „Winner
take-all“-Prinzip der Kohonen-Karte etwa hat mit der Delta-Regel nicht viel gemeinsam, ob-
wohl die Berechnungen vergleichsweise ähnlich sind. Zum anderen sind die Lernregeln me-
thodisch dadurch gekennzeichnet, dass in allen die Aktivierungs- bzw. Outputwerte sozusagen
zweimal vorkommen: Einmal werden diese Werte dazu verwendet, die entsprechenden Ge-
wichtsveränderungen zu berechnen, und zum anderen erscheinen die Outputwerte als Ergebnis
der variierten Gewichtswerte. Das ist natürlich kein logischer Zirkel, da es sich jeweils um die
Outputwerte zu verschiedenen Zeitpunkten handelt. Dennoch ist dieser Ansatz etwas unele-
gant, da in der Sprache der Experimentalmethodik die Outputwerte einmal als Bestandteil der
unabhängigen Variablen genommen werden - die Berechnungsformel - und zum anderen als
abhängige Variable erscheinen - die veränderten Outputwerte als Ergebnis der Lernprozesse.
Zur Vermeidung dieser beiden Defizite entwickelten wir ein allgemeines Lernparadigma, das
a) für sämtliche Lernformen angewandt werden kann und b) ohne die Outputwerte in den ei-
gentlichen Berechnungsverfahren für die jeweiligen Regeln auskommt. Natürlich müssen auch
hier spezielle Regeln für die einzelnen Lernformen entwickelt werden, die sich jedoch alle aus
dem allgemeinen Paradigma ableiten lassen. Da auch wir uns am Prinzip von Hebb orientieren,
lautet dies Paradigma in der allgemeinen Form
'w
ij
= r c * «(1 - w
ij
(t) «, (4.11)
wobei c eine Konstante ist, die der Lernrate K in den obigen Lernregeln für das überwachte und
verstärkende Lernen entspricht (für 0
w
ij
< 1). Der Faktor «(1 - w
ij
(t) «fungiert als „Dämp-
fungsfaktor“, der verhindern soll, dass die Veränderungen zu groß werden.
Das Schema (4.11) ist auch gleichzeitig die Lernregel für das verstärkende Lernen. Beim
überwachten Lernen wird, wie oben dargestellt, die Differenz zwischen einem Zielvektor und
den faktischen Werten des Outputvektors berücksichtigt. Die entsprechende Lernregel für
zweischichtige Netze lautet dann
'w
ij
= c * «(1 - w
ij
(t) «* G
(4.12)
G ist natürlich die Differenz zwischen dem Outputvektor und dem Zielvektor.
Bei dreischichtigen (bzw. mehrschichtigen) Netzen lautet die Formel (gewissermaßen in Ana-
logie zur Backpropagation-Regel):
G, falls j eine Ausgabezelle ist
t
-
c * 1 w
ij
°
¦
'w
ij
'w
jk
(4.13)
®
°
k
, falls j eine verdeckte Zelle ist
n p
¯
In dieser Regel ist p ein „Proportionalitätsfaktor“, der die Veränderungen der Gewichtswerte
zwischen Input- und Zwischenschicht proportional zu den Veränderungen der Gewichtswerte
zwischen der Zwischenschicht und der Ausgabeschicht berechnet. In Gleichung (4.13) be-
zeichnet n die Anzahl der Gewichtswerte w
jk
; es wird also mit dem arithmetischen Durch-
schnitt gearbeitet. Der Proportionalitätsfaktor p wird gewöhnlich als natürliche Zahl genom-
men; in unseren Experimenten hat sich häufig p = 2 als vorteilhaft erwiesen.
Sämtliche Lernregeln kommen offenbar ohne die Outputwerte aus. Die Regel (4.13) ist auch
deutlich einfacher als die Backpropagation-Regel, die nach unseren didaktischen Erfahrungen
häufig nur schwer zu vermitteln ist.
Search WWH ::
Custom Search