Information Technology Reference
In-Depth Information
Erste Vergleichsexperimente mit den neuen Regeln, die wir zusammenfassend als ERS
(Enforcing Rules Supervised = Verstärkungsregeln für Überwachung) bezeichnen, zeigten,
dass bei großen Netzen im Fall des Lernens eines Musters die ERS deutlich effektiver ab-
schnitten als die etablierten Regeln; bei einigen Mustern, die von dreischichtigen Netzen ge-
lernt werden sollten, brauchte die Backpropagation-Regel mehrere hundert Schritte, während
die ERS mit weniger als 10 Lernschritten auskam. Allerdings gilt dies erfreuliche Resultat nur
bedingt für das Lernen mehrerer Muster (vgl. für einen derartigen Fall das Beispiel 4.5.1). Hier
ist anscheinend noch einiges an Forschungsarbeit zu leisten.
Allerdings haben wir bereits zeigen können, dass im Fall zweischichtiger Netze alle Boole-
schen Funktionen, die wie AND und OR mit zweischichtigen Netzen gelernt werden können,
gleichzeitig ziemlich schnell und zuverlässig mit dem neuen Lernparadigma gelernt werden
konnten. Einige Probleme stellen sich - mal wieder - bei XOR und der Äquivalenz bei drei-
schichtigen Netzen.
Die Form des nicht überwachten bzw. selbstorganisierten Lernens wird unten detailliert darge-
stellt anhand des von uns entwickelten SEN (Self Enforcing Network), so dass wir hier nur
darauf zu verweisen brauchen. Festzuhalten ist, dass es wahrscheinlich möglich ist, beide ein-
gangs angesprochenen Probleme mit dem universalen Lernschema erfolgreich zu beheben.
Experimente unserer Studenten haben übrigens gezeigt, dass bei den traditionellen Lernregeln
(und möglicherweise auch bei unseren neuen) die Reihenfolge der zu lernenden Muster durch-
aus eine Rolle spielt. Wenn man die Reihenfolge der Eingaben wie meistens üblich zufällig
generiert, dann kann es bei einer bestimmten Reihenfolge den gewünschten Lernerfolg geben,
bei einer anderen jedoch nicht. Wir haben noch keine Regularität für dies Problem entdecken
können, also welche Reihenfolgen günstig sind und welche nicht. Da dies Problem bisher in
den üblichen Lehrbüchern nicht erwähnt wird, weisen wir hier trotz der Vorläufigkeit unserer
Resultate darauf hin. In der Anwendung kann es bei missglückten Lernprozessen von daher
durchaus sinnvoll sein, den Prozess mit veränderten Reihenfolgen zu wiederholen.
4.2.6 Exkurs: Graphentheoretische Darstellung neuronaler Netze
Wir hatten zu Beginn dieses Kapitels darauf verwiesen, dass es in dem vielfältigen Bereich
neuronaler Netze häufig sehr schwierig ist, eine allgemeine Übersicht im Dickicht der ver-
schiedenen Modelltypen zu behalten. Um diese Übersicht auf eine zusätzliche Weise zu er-
möglichen, sollen die wesentlichen Grundeigenschaften von NN in einer etwas anderen Termi-
nologie dargestellt werden, nämlich in der der Graphentheorie. Leser, die an dieser etwas for-
maleren Darstellung nicht interessiert sind, können diesen kleinen Exkurs auch übergehen, da
die folgenden Themen auch so verständlich sind (bzw. sein sollen). Wir empfehlen natürlich
auf jeden Fall auch die Lektüre dieses Exkurses gerade Leser/-innen, die nicht systematisch an
das Denken in formalen Strukturen gewöhnt sind.
Verschiedene Typen von NN sind von uns mehrfach graphisch dargestellt worden, um durch
die Visualisierung eine bessere Verständlichkeit zu ermöglichen. Gleichzeitig demonstrieren
diese graphischen Veranschaulichungen, dass man NN auch als spezielle Anwendungsfälle
einer allgemeinen mathematischen Theorie auffassen kann, nämlich der so genannten Graphen-
theorie.
3
Betrachten wir noch einmal ein einfaches feed forward NN mit vier Einheiten, die folgender-
maßen miteinander verknüpft sind:
3
Die Ähnlichkeit der Begriffe „Graphik“ und „Graph“ ist natürlich kein Zufall und man möge dies
nicht als unfreiwilligen Kalauer missverstehen.
Search WWH ::
Custom Search