Information Technology Reference
In-Depth Information
Die
Speicherkapazität
eines Neuronalen Netzes wird durch die Anzahl der Muster be-
stimmt, für die eine fehlerlose Zuordnung der zufälligen Eingabe-Muster zu den akziden-
tiell gesetzten Ausgabe-Mustern fehlerfrei möglich ist. Gemäß dieser Definition sollte die
Speicherkapazität eines neuronalen Netzes deutlich niedriger als die Anzahl unterschied-
lich zu klassifizierender Muster sein, damit die Generalisierungsfähigkeit dieses Netzes
gewährleistet werden kann.
Neuronale Netze können auch dahingehend optimiert werden, indem man überlegt,
welche Verbindungen innerhalb des Netzes entfernt werden können, ohne dass die Spei-
cherkapazität bzw. die Generalisierungsfähigkeit darunter leidet. Zur Optimierung können
sowohl statistische Verfahren als auch genetische Verfahren herangezogen werden. Bei
statistischen Verfahren stehen plausible, statistische Überlegungen im Vordergrund:
• Gewichte, die über längere Zeit während des Trainings stets nahe des Wertes null lie-
gen, tragen offensichtlich wenig zum Gesamtergebnis bei. Diese Gewichte bzw. die
entsprechenden Verbindungen können entfernt werden.
• In den Eingabemustern gibt es immer Regionen mit unterschiedlich starkem Bezug
zum Erkennungsprozess. So kann man jeder Region der Eingabe eine eigene kleine
innere Schicht zuordnen. Diese speziellen Schichten werden dann als rezeptive Felder
bezeichnet.
Experimente mit vorwärts verketteten Neuronalen Netzen zeigen, dass ein einfaches
Herauslösen von Verbindungen zwar zu einer gewollten Ausdünnung der Netztopologie
führt, jedoch oftmals auch mit einem eher nicht gewollten Verlust an Speicherkapazität
einhergeht. Bessere Resultate erzielt man daher mit einer Umverteilung von Verbindun-
gen. Diese Umverteilung beginnt mit einem Netz, das nicht mehr vollständig ebenenweise
vernetzt ist, was zwar die Speicherkapazität etwas einschränkt, jedoch die Tendenz zur
Regelausbildung verstärkt. Im Verlauf der einzelnen Optimierungsschritte werden nun die
Verbindungen entfernt, deren Gewichte längere Zeit einen Wert nahe null angenommen
haben. Für jede dieser gelöschten Verbindungen wird in der betreffenden Ebene eine neue
Verbindung akzidentiell aufgebaut. Wird dieses Verfahren auf ein Netz mit rezeptiven
Feldern angewendet, so kann diese Art der Optimierung die Gestalt der rezeptiven Felder
verändern und an die tatsächlich relevanten Gebiete anpassen. Es kann sogar vorkommen,
dass einige der ursprünglich angedachten Eingabe-Neuronen keine Verbindungen mehr
zum Netz aufrecht erhalten können, da diese Eingaben für die Ermittlung des Ergebnis-
ses als überflüssig erkannt und demzufolge entfernt wurden. Neben diesen statistischen
Überlegungen können auch genetische Algorithmen für Optimierungsaufgaben eingesetzt
werden. So kann der sehr schwierige Prozess der Wahl günstiger Netzparameter durch
genetische Algorithmen effizient unterstützt werden.
Ein rein vorwärts gerichtetes Netz produziert nach erfolgreichem Abschluss der Trai-
ningsphase für ein Eingabemuster stets dasselbe Ausgabemuster. Dies trifft auch dann zu,
wenn das Eingabemuster mehrfach und in unterschiedlichen Zusammenhängen vorgege-
ben wird. Insofern sind vorwärts gerichtete Netze nicht in der Lage, Kontext-Informationen
