Information Technology Reference
In-Depth Information
n
„Shortcut“
∑
xw S
≥
1
:
falls
ll
n
∑
=
l
=
1
f
xw
o
l
l
l
=
1
0
:
sonst
.
Neuere Modelle beschreiben die Ausgabe durch glattere,
d. h. differenzierbare Funktionen. Solche differenzierbaren
und beschränkten Funktionen sind z. B. s-förmige (sigmoide)
Funktionen (
Abb. 3.8
).
Abb. 3.9
Beispiel für ein Künstliches Neuronales Netz
Das Lernen innerhalb eines Netzes wird durch Selbstmo-
diikation des Netzes gemäß einer fest vorgegebenen Vor-
schrift (Lernregel) realisiert. Hierbei lassen sich (analog zu
den Lernvorgängen in der Natur) prinzipiell drei Arten von
Lernparadigmen deinieren und unterscheiden.
1. Überwachtes Lernen (
supervised learning
)
Das überwachte Lernen entspricht dem Lernen eines Schü-
lers in der Schule. Ein „externer“ Lehrer gibt dem Netz
zu jeder Eingabe die korrekte Ausgabe oder die Differenz
der tatsächlichen Ausgabe zu der korrekten Ausgabe an.
Anhand dieser Differenz wird dann über die Lernregel das
Netz modiiziert. Diese Technik setzt allerdings die Exis-
tenz von Beispielen voraus, die aus Paaren von Ein- und
Ausgabedaten bestehen.
2. Bestärkendes Lernen (
reinforcement learning
)
Das bestärkende Lernen entspricht dem Dressieren. Der
Unterschied zum überwachten Lernen besteht hier da-
rin, dass dem Netz lediglich mitgeteilt wird, ob seine
Ausgabe korrekt oder inkorrekt war. Das Netz erfährt
nicht den exakten Wert des Unterschiedes. Ihr Vorbild
hat diese Art des Lernens in der Erziehung eines Tieres,
welches ebenfalls nur durch Lob und Tadel erzogen wer-
den kann.
3. Unüberwachtes Lernen (
unsupervised learning
)
Bei diesem Lernparadigma (auch
self-organized learning
genannt) gibt es überhaupt keinen externen Lehrer. Es
entspricht dem eigenständigen Lernen durch Erfahrungen.
Nachdem sich ein Kind zum ersten Mal den Finger an
einer heißen Herdplatte verbrannt hat, wird es danach die
Herdplatte nicht mehr berühren.
Die Selbstmodiikation kann die folgenden Möglichkeiten
umfassen:
1. Entwicklung neuer Verbindungen
2. Löschen existierender Verbindungen
3. Modiikation der Stärken der Verbindungen
4. Modiikation des Schwellenwertes (bzw. Bias)
5. Modiikation der Aktivierungs- bzw. Ausgabefunktion
6. Einfügen neuer Neuronen
7. Löschen bestehender Neuronen
8. Modiikation der Lernregel (z. B. durch Änderung der Pa-
rameter)
Abb. 3.8
Logistische Funktion (1/(1 + exp(−
x
))). Beispiel für eine
s-förmige Ausgabefunktion
In manchen Fällen ist es - in Analogie zu den Nerven-
zellen - sinnvoll, einem Neuron einen „inneren Zustand“
Z
zuzuordnen. Der Zustand hängt in diesem Fall ab vom
„Altzustand“ und der Veränderung der Aktivierungsfunk-
tion, z. B.
=+
neu
alt
Z
:
Z fxw
( ,)
a
Die Ausgabefunktion
f
o
ist hierbei eine Funktion in Ab-
hängigkeit von
Z
und den gewichteten Eingaben.
Verbindet man nun mehrere künstliche Neuronen mitein-
ander, so erhält man ein Künstliches Neuronales Netz. Hier-
bei können unterschiedliche Vernetzungsstrukturen verwen-
det werden: Netze mit oder ohne Rückkopplungen, Netze mit
verschiedenen Schichten usw.
Die
Abb. 3.9
zeigt ein schichtenweise verbundenes Neu-
ronales Netz mit einer Eingabeschicht (3 Neuronen), zwei
„verdeckten“ Schichten und einer Ausgabeschicht. Dieses
Netz enthält ferner einen „Shortcut“, d. h. eine Verbindung,
die eine Schicht überspringt.
