Information Technology Reference
In-Depth Information
Hierbei werden zwei Funktionen h und g als weitere Faktoren neben der Lernrate η ver-
wendet, von denen eine vom teaching input t
j
abhängig ist.
Die
Delta-Regel
gehört zu den Derivaten der Hebbschen Lernregel. Auch bei dieser
Lernregel wird das Verbindungsgewicht verändert. Der Grad der Veränderung steigt dabei
proportional zur Differenz der aktuellen Aktivierung und der erwarteten Aktivierung eines
Neurons. Die Delta-Regel tritt in zwei Formen auf:
∆w= Ot A=O
ij
η
(
−
)
η δ
i
j
j
i
j
und
∆w= Ot O=O
ij
η
(
−
)
η δ
i
j
j
i
j
Bei beiden Formen entspricht das teaching input t
j
der erwarteten Ausgabe. Die Delta-Re-
gel ist ein Spezialfall, denn sie wird nur bei linearen Aktivierungsfunktionen von Netzen
mit nur einer Schicht trainierbarer Gewichte verwendet.
Die
Backpropagation-Regel
ist der Delta-Regel sehr ähnlich. Sie wird bei Netzen mit
mehr als einer Schicht trainierbarer Gewichte und für Neuronen mit nichtlinearer Aktivie-
rungsfunktion verwendet. Die Aktivierungsfunktion muss bei dieser Lernregel semilinear
sein. Das bedeutet, dass sie monoton und differenzierbar sein muss. Die Backpropagation-
Regel lautet:
∆w= O
ij
ηδ
i
j
Soweit ist sie analog zur Delta-Regel. Der Unterschied zu ihr liegt in der Berechnung von
δ
j
. Falls j eine Ausgabezelle ist, berechnet sich δ
j
aus
= ′
(
)
(
)
δ
j
f
Net
t
−
O
j
j
j
Falls j eine verdeckte Zelle betrifft, berechnet sich δ
j
hingegen aus
= ′
(
)
(
)
∑
δ
f
Net
δ
∆
w
j
j
k
jk
k
Dabei ist ƒ′ die Aktivierungsfunktion, Net die Propagierungsfunktion und t die erwartete
Ausgabe. Bei der zweiten Fallunterscheidung ist der Summationsindex k zu beachten.
Das Verbindungsgewicht w
jk
zeigt an, dass damit alle nachfolgenden Zellen gemeint sind.
Die bisher eingeführten generischen Modelle konnektionistischer Systeme beinhalten
eine Vielzahl von Parametern und lassen somit eine große Variabilität innerhalb der Klasse
konnektionistischer Modelle zu. Anhand verschiedener Einschränkungen dieser Parame-
ter, insbesondere der Ausgabe-, der Propagierungs- und der Aktivierungsfunktion, können
unterschiedlich komplexe Modellklassen gebildet werden. Diese Variabilität führt dazu,
dass vor der Entwicklung eines künstlichen neuronalen Netzes vor allem drei grundlegen-
