Grundlagen - Cognitive Computing - page 77

eine Beschränkung auf vorwärts gerichtete Netze erforderlich. Es hat sich wiederholt ge-
zeigt, dass in dieser Weise optimierte Netze bei geringerer Komplexität möglich werden.
Daraus resultieren insbesondere kürzere Trainingszeiten, vergleichbare oder sogar bessere
Leistungen, als vollverknüpfte Netze mit gleicher Knotenanzahl es erbringen.
Eine relativ einfache Optimierung besteht darin, die günstigste Anzahl und Anordnung
der versteckten Knoten zu ermitteln. Bei nur einer versteckten Schicht braucht man dafür
keinen genetischen Algorithmus zu bemühen. Bei mehrschichtigen Netzen wird ein ma-
nuelles Austesten jedoch aufwendig, die Anzahl der Möglichkeiten wächst sehr schnell in
eine Größenordnung, in der vollständige Enumeration nicht mehr möglich ist. Große kon-
nektionistische Modelle oder neuronale Netze zeichnen sich häufig durch eine modulare
Struktur aus. Darunter ist zuerst einmal zu verstehen, dass sich durch eine heterogene Ver-
knüpfungsstruktur die Verarbeitungseinheiten in Cluster einteilen lassen. Dies kann auf
zweierlei Weise geschehen. Zum einen sind die Layers von Verarbeitungseinheiten stark
miteinander verbunden. Die Verarbeitungseinheiten innerhalb eines Layers sind nicht oder
nur schwach vernetzt. Dies entspricht in etwa einer typischen Multilayer- Verarbeitungs-
einheiten-Architektur. Zum anderen weisen die Verarbeitungseinheiten innerhalb einer
Gruppe einen höheren Verbindungsgrad auf als die Gruppen untereinander. Die zweite
Form der Modularisierung wird insbesondere dann erforderlich, wenn ein konnektionis-
tisches Modell nicht zur einfachen Mustererkennung, sondern zur Simulation komplexer
kognitiver Prozesse eingesetzt werden soll.
In Anlehnung an die Literatur zur Optimierung der Topologie modularer Netze besteht
ein Netz aus einer beliebigen Anzahl von Gebieten, die miteinander verbunden sind. Jedes
Gebiet wird durch eine Anzahl von Parametern kodiert, ebenso die Verbindungen zwi-
schen den einzelnen Gebieten, die als Projektionen bezeichnet werden. Ein Gebiet wird
durch eine eindeutige Identifikationsnummer, die Gesamtgröße und Angaben zur Ausdeh-
nung in x, y und z Richtung beschrieben. Eine Projektion wird beschrieben durch Angabe
des Zielgebietes, der Auffächerung der Verbindungen sowie der Verbindungsdichte, d. h.
wie viel Prozent der möglichen Verbindungen tatsächlich ausgebildet werden. Zusätzlich
werden für jede Projektion die Lernrate und der Abfall der Lernrate für Backpropagation
gespeichert. Da die Anzahl der Projektionen je Gebiet nicht festgelegt ist, ergeben sich
Chromosomen unterschiedlicher Länge. Dies erfordert angepasste Crossover Operatoren,
die vergleichbare Stellen innerhalb zweier Chromosomen aufsuchen. Das heißt, dass nicht
die absolute Position sondern die relative Position innerhalb der Beschreibung eines Ge-
bietes oder einer Projektion gewählt werden muss. Damit dies möglich ist, wurde jedes
Segment des genetischen Codes mit speziellen Marker-Genen versehen, die durch den
genetischen Algorithmus selbst nicht verändert werden.
Zu guter Letzt soll noch einmal auf die biologischen Grundlagen hingewiesen werden.
Diese ergaben, dass das menschliche Gehirn etwa aus 10 11 Neuronen und etwa 10 14 Syn-
apsen besteht. Auf der DNA steht bei weitem nicht genügend Platz für eine Eins-zu-Eins-
Kodierung zur Verfügung. Daraus folgt, dass nicht die endgültige Struktur des Gehirns,
die zudem durch Lernprozesse modifiziert in der DNA kodiert wird, sondern vielmehr
das Wachstum des Gehirns. Für die Optimierung konnektionistischer Modelle ist dies ein