Information Technology Reference
In-Depth Information
alter nahezu abgeschlossen ist, das Zellsterben aber zu jeder Zeit stattfinden kann. Diese
Modelle bieten jedoch den Vorteil, dass sie durch das Absterben selten genutzter Zellen
und die Entwicklung neuer benötigter Zellen ihre Netz-Topologie selbst zum Optimum
weiterentwickeln. Wenig verbreitet ist die Modifikation der Rechenfunktionen. Die meis-
ten Lernmethoden verwenden die Modifikationsform der Gewichtsmatrix, damit das Netz
lernen kann. Gewöhnlich bestehen Lernregeln jedoch darin, dass sie die Gewichtsmatrix
in Abhängigkeit vom Lernerfolg modifizieren, bis der gewünschte Erfolg (Problemlö-
sung, Optimum, Attraktor im Lösungsraum etc.) erreicht ist.
Die
Hebbsche Lernregel
basiert auf dem Prinzip, Verbindungen von Neuronen unterei-
nander zu verstärken, wenn sie zur gleichen Zeit stark aktiviert sind. Sie wurde 1949 von
Donald O. Hebb formuliert und dient häufig als Grundlage komplizierterer Lernregeln.
Die mathematische Formel der Hebbschen Regel lautet wie folgt:
∆wOA
ij
=η
i
j
Diese Formel bringt mathematisch zum Ausdruck, dass eine Verbindung zwischen zwei
Neuronen immer dann gestärkt bzw. geschwächt wird, wenn beide Neurone annähernd
zeitgleich aktiv respektive inaktiv sind. Aus physiologischer Perspektive ändert sich die
synaptische Eigenschaften (exzitatorisch oder inhibitorisch) proportional zur Summe der
prä- und postsynaptischen Aktivitäten der beteiligten Neuronen, d. h. gleichzeitig feuern-
de Neuronen stärken ihre synaptische Verbindung und hemmen gleichzeitig die Aktivi-
täten der nicht-feuernden Neuronen. Aus Sicht der Lerntheorie beschreibt die Formel der
synaptischen Verstärkung bzw. Abschwächung sogar ein universelles Muster, indem näm-
lich Lernen durch Wiederholung und Wissen durch Bestätigung von sich bewährenden
Mustern erfolgt. Wobei ∆w
ij
die Änderung des Gewichtes zwischen dem vorgeschalteten
Neuron i und dem Neuron j, auf das jenes einwirkt, darstellt. Die Ausgabe der vorgeschal-
teten Zelle i wird mit O
i
, die Aktivierung der darauf folgenden Zelle j mit A
j
bezeichnet.
η ist die sogenannte Lernrate. Unter der Lernrate, als numerischer Wert, versteht man
den Faktor, der die individuellen Lernprozesse je nach Fähigkeit oder Begabung steuert.
Die Hebbsche Lernregel wird häufig im Zusammenhang mit binären Aktivierungswerten
verwendet. Sind diese Werte 1 und 0, ist zu beachten, dass eine Verbindung zwar ge-
stärkt, aber nicht geschwächt, sondern nur inaktiv gesetzt werden kann. Aus diesem Grund
werden als Binärwerte bevorzugt 1 und − 1 verwendet. Da die Verbindungsgewichte die
Synapsenart (hemmend bei negativen oder erregend bei positiven Werten) darstellen, ist
es jedoch nicht plausibel, das Gewicht vom ursprünglichen positiven Wert auf einen ne-
gativen Wert herabzusetzen, da aus einem hemmenden Neuron kein erregendes Neuron
werden kann.
Bei der allgemeinen mathematischen Form der Hebbschen Regel, spielt noch ein wei-
terer Parameter eine Rolle: das teaching input t
j
, das die erwartete Aktivierung darstellt.
Die allgemeine Form lautet:
∆w= h(Ow)g(A t
ij
η
,
,
)