Modellierung lernender Systeme durch Neuronale Netze (NN) - Modellierung komplexer Prozesse durch naturanaloge Verfahren - page 136

bauen, die verhindern, dass die Aktivierungswerte über einen bestimmten Schwellenwert
wachsen - gewöhnlich. Dies ist freilich ein nicht nur mathematisch sehr unelegantes Verfah-
ren, sondern auch gerade für Benutzer, die mit derartigen Netzen nicht vertraut sind, reichlich
schwierig, die passenden Parameterwerte einzustellen. Wir haben deswegen zwei Varianten der
linearen Aktivierungsfunktion entwickelt und in das SEN implementiert:
. (4.27)
Bei dieser Variante, der „ linearen Mittelwertfunktion “, wird die Dämpfung der Aktivierungs-
werte einfach dadurch realisiert, dass eine Mittelwertbildung vorgenommen wird (k ist die
Anzahl der sendenden Neuronen). Bei vorgegebenem A i zwischen 0 und 1 und w ij im gleichen
Intervall, bleiben die A j gewöhnlich unter 1 und nur in Extremfällen zwischen 1 und 2.
A j

A ¦ w ij /k A j

¦

lg 3 A i 1 w ij .

(4.28)

Diese Variante lässt sich als „ linear logarithmisch “ bezeichnen. Bei Ausgangswerten der Ge-
wichte w ij und der Aktivierungswerte A i zwischen 0 und 1 werden die logarithmischen Werte
natürlich negativ; deswegen ist der Summand +1 hinzugefügt. Da dies Werte zwischen 1 und 2
ergibt, haben wir als logarithmische Basis 3 genommen. Die bisherigen Erfahrungen zeigten,
dass meistens die linear-logarithmische Funktion die stabilsten Ergebnisse liefert.
Zusätzlich ist es möglich, die erwähnte sigmoide Funktion zu verwenden, die jedoch nach
unseren experimentellen Erfahrungen häufig keine befriedigenden Ergebnisse liefert, d. h. das
Netzwerk stabilisiert sich häufig nicht.
Die Gewichtsmatrix für ein SEN enthält, wie bemerkt, zur Beginn nur Gewichtswerte w = 0.
Die Gewichtswerte, mit denen ein SEN für eine bestimmte Aufgabe arbeitet, werden aus der
semantischen Matrix gemäß folgender einfacher Lernregel generiert:
w(t+1) = w(t) + 'w und
'w = c * v sm . (4.29)

Die Konstante c ist wieder eine Lernrate, die gewöhnlich als c = 0.1 gesetzt wird; v sm ist der
entsprechende Wert in der semantischen Matrix. Falls die semantische Matrix binär codiert ist
wie im obigen Beispiel, dann ist offensichtlich 'w = 0 oder 'w = c. Im Fall reeller Kodierun-
gen, die bei praktischen Anwendungen häufig sinnvoller sind, werden die Gewichtswerte ent-
sprechend festgesetzt.
Eine Gewichtsmatrix, die aus der einfachen semantischen Matrix im obigen Beispiel generiert
wird, sieht dann so aus:

Adler Kuh Löwe

fliegt 0.1 0 0

Fleischfresser 0.1 0 0.1

Säugetier 0 0.1 0.1

Falls diese Werte noch keinen hinreichenden Lernerfolg ergeben, wird der Lernschritt wieder-
holt, so dass die Werte 0 bleiben und die Werte von 0.1 auf 0.2 erhöht werden. Gewöhnlich
reichen diese Werte nach unseren Erfahrungen aus; nur in seltenen Fällen müssen die Ge-
wichtswerte auf 0.3 oder höher gesetzt werden.
Vor Beginn einer Netzwerkoperation sind die Aktivierungswerte A i aller Neuronen auf 0 ge-
setzt. Eine Simulation wird dadurch gestartet, dass bestimmte Neuronen mit einem extern ein-
gegebenen numerischen Wert größer als Null aktiviert werden; gewöhnlich ist dies ein Wert in