Information Technology Reference
In-Depth Information
Da die Kernaufgabe eines neuronalen Netzes darin besteht, dass es eine gewünschte Re-
aktion auf ein vorher nicht gelerntes Muster zeigt, gilt es, diese Generalisierungsfähigkeit
zu maximieren. Konkret bedeutet dies, dass der Generalisierungsfehler zu minimieren ist.
Um einen Generalisierungsfehler überhaupt ermitteln zu können, bedarf es der Aufteilung
der vorhandenen Datenmenge in eine Trainingsmenge und eine Testmenge. Dann lässt
sich der Fehler des Netzes bei der Verarbeitung der Muster der Testmenge als Genera-
lisierungsfehler auffassen. Eine solche Testmenge erhält man, wenn man beispielsweise
die Muster der Trainingsmenge verrauscht. Von Verrauschen spricht man, wenn man eine
bestimmte Zahl akzidentiell ausgewählter Eingabewerte verändert. Es zeigt sich, dass der
Generalisierungsfehler eines Netzes von folgenden Aspekten signifikant beeinflusst wird:
• Netzgröße, insbesondere durch die Zahl der Neuronen in den inneren Schichten in Ab-
hängigkeit von der Zahl der zu lernenden unterschiedlichen Kategorien.
• Anzahl und Art der Verbindungen und deren Gewichte.
• Training des Netzes, vor allem das Lernverfahren, die Lernparameter und die Zahl der
Lernschritte.
Neuronale Netze können Muster speichern, die ihnen antrainiert wurden. Leider lässt sich
diese Speicherkapazität nicht exakt mathematisch berechnen, vielmehr hängt sie von der
Anzahl der Verbindungen zwischen den Neuronen ab. Da im Falle der vorwärts verket-
teten Netze die Anzahl der Eingabe-Neuronen sowie die Anzahl der Ausgabe-Neuronen
durch die zugrunde liegende Problemstellung mehr oder weniger feststeht, gilt es, die
Größe der inneren Schichten zu bestimmen. Dabei gilt der Grundsatz: „So viel Neuronen
in die innere Schicht wie nötig, aber so wenig wie möglich“. Auch hier gilt die Devise:
Das nötige Minimum und nicht das mögliche Maximum.Wird nämlich die innere Schicht
zu groß gewählt, kann sich das Netz jedes einzelne Trainingsmuster mit zugehörigem
Ausgabewert merken und damit die Reaktionen auswendig lernen. Auswendig gelerntes
Faktenwissen lässt sich jedoch schlecht oder gar nicht auf neue Problemstellungen ap-
plizieren. Letzteres kann man an solchen antrainierten Netzen erkennen, die nur auf die
bekannten Trainingsmuster richtig reagieren und damit kaum generalisierungsfähig sind.
Die Regel, nachdem ein Fehler gleich Null bedeutet, dass nahezu alle Muster gemerkt
werden, bzw. dass ein zu großer Fehler darauf schließen lässt, dass das Netz überfordert
ist, weist auf die Tatsache hin, dass die Größe der Zwischenschicht nur näherungsweise
bestimmt werden kann. Dazu werden die Musterdatenmengen verwendet, die für die Ein-
und Ausgabemuster nur zufälliges Rauschen enthalten. Nun wird das Netz mehrfach mit
diesen zufälligen Mustern trainiert, wobei mit jedem neuen Training die Zahl der Muster
erhöht wird. Dies wird solange durchgeführt, bis der Trainingsfehler nicht mehr Null ist.
An diesem Punkt ist nämlich die Grenze der Speicherkapazität des Netzes erreicht und es
wird zu abstrahieren beginnen. Da jedoch in den akzidentiellen Mustern keine Zusammen-
hänge erkennbar sind, wird der Trainingsfehler bei diesen Abstraktionsbemühungen stark
ansteigen.
Search WWH ::




Custom Search