Information Technology Reference
In-Depth Information
funktion sowie die Identitätsfunktion als Ausgangsfunktion. Lediglich die Aktivierungs-
funktion wird durch eine Sigmoidfunktion gebildet. Beim Lernverfahren handelt es sich
um überwachtes Lernen, d. h., es werden Trainingsdaten mit Angabe der gewünschten
Ausgabe benötigt. Das wesentliche Kennzeichen des Backpropagation-Netzes bildet der
spezielle Lernalgorithmus. Hierbei gilt es zu beachten, dass die Delta-Regel den Nachteil
hat, dass sie lediglich für zweischichtige Netze angewandt werden kann, da die von ihr zur
Gewichtsanpassung benötigte gewünschte Ausgabe nur für die Ausgabe-Neuronen vor-
liegt. Eine Verallgemeinerung dieser Regel für beliebig viele verborgene Schichten leistet
die generalisierte Delta-Regel (generalized delta rule), auch Backpropagation-Algorith-
mus genannt. Die generalisierte Delta-Regel erweitert die herkömmliche Delta-Regel um
die Berechnung der Fehlersignale verborgener Neuronen bei Feed-forward-Topologie.
Dabei werden zunächst die Eingabedaten dem Netz zugeführt, um die Aktivierungszu-
stände aller Neuronen und damit auch die Ausgabewerte des Netzes zu berechnen. In
einem weiteren Schritt werden die Fehlerwerte der Ausgabeschicht und der verborgenen
Schicht(en) jeweils schichtweise zurückgeführt und die entsprechenden Gewichtsände-
rungen berechnet. Diese Prozedur wird für alle Trainingsdatensätze wiederholt, so dass
auf diese Weise der vom Netz produzierte Fehler sukzessive verringert wird. Bei einer
derartigen Minimierung des Netzfehlers handelt es sich um einen Gradientenabstieg, was
anschaulich einer Bewegung auf einem mehrdimensionalen Fehlergebirge hin zu dessen
tiefsten Punkt entspricht. Problematisch bei diesem Vorgehen ist der Umstand, dass der
Lernvorgang relativ langsam abläuft und nicht sichergestellt ist, dass das globale Mi-
nimum des Fehlergebirges tatsächlich gefunden wird. Aus diesem Grund existiert eine
Reihe von Modifikationen der generalisierten Delta-Regel, die auf eine Beschleunigung
des Lernverfahrens abzielen und die Wahrscheinlichkeit erhöhen sollen, dass das globale
Minimum gefunden wird. Am häufigsten wird hierbei der sogenannte Momentumterm ein-
geführt. Dabei fließen in die Berechnung der aktuellen Gewichtsänderung die Gewichts-
änderungen der vorherigen Lernschritte ein, was dazu führt, dass die Bewegung auf dem
Fehlergebirge „begradigt“ wird und lokale Minima überwunden werden können.
Das von Hopfield vorgestellte Modell stellt einen Sonderfall in der Klasse der über-
wacht lernenden neuronalen Netze dar. Es handelt sich um ein sogenanntes autoassozi-
atives Netz, bei dem Eingabe- und Ausgabemuster identisch sind, d. h., die Präsentation
eines Eingabemusters führt nicht zur Ausgabe eines anderen assoziierten Musters, sondern
des eingespeisten Musters selbst. Auf diese Art und Weise kann das neuronale Netz ein
verfälschtes Eingabemuster korrigieren und ein Muster ausgeben, das dem ursprüngli-
chen, unverfälschten Eingabemuster entspricht. Diese Eigenschaft, die beispielsweise bei
der Spracherkennung genutzt werden kann, wird auch Mustervervollständigung genannt,
d. h., das Netz dient als Speicher, der die vollständig abgespeicherte Information mit Hilfe
einer Teilinformation, einer Art Schlüssel, wiederfindet. Während das Backpropagation-
Netz keine Rückkopplungen zwischen Neuronen beinhaltet, wird die besondere Art der In-
formationsverarbeitung im Hopfield-Netz über eine vollständige symmetrische (w ij = w ji )
Rückkopplung aller Neuronen in Form ungerichteter Verbindungen erreicht, was zu ei-
ner ungeschichteten Architektur bzw. Topologie führt. Dabei ist zu beachten, dass das
Search WWH ::




Custom Search