Information Technology Reference
In-Depth Information
y
1
x
1
x
2
y
2
x
n
y
m
U
(
1
)
hidden
U
(
2
)
hidden
U
(
r
2
)
hidden
U
in
U
out
Abbildung 5.1: Allgemeiner Aufbau eines
r
-schichtigen Perzeptrons.
Die Aktivierungsfunktion jedes versteckten Neurons ist eine sogenannte
sigmoide Funkti-
on
,d.h.einemonotonwachsendeFunktion
f
:IR [0, 1]
mit
f
(
x
)=0
und
f
(
x
)=1.
lim
x
lim
x
Die Aktivierungsfunktion jedes Ausgabeneurons ist entweder ebenfalls eine sigmoide Funk-
tion oder eine lineare Funktion f
act
(
net,
)=
net
.
Anschaulich bedeuten die Einschränkungen des Graphen, dass ein mehrschichti-
ges Perzeptron aus einer Eingabe- und einer Ausgabeschicht (den Neuronen der
Mengen
U
in
bzw.
U
out
)undkeiner,einerodermehrerenverstecktenSchichten(den
Neuronen in den Mengen
U
(
i
)
hidden
)besteht.Verbindungengibtesnurzwischenden
Neuronen benachbarter Schichten, also zwischen der Eingabeschicht und der ersten
versteckten Schicht, zwischen aufeinanderfolgenden versteckten Schichten und zwi-
schen der letzten verstecken Schicht und der Ausgabeschicht (siehe Abbildung 5.1).
Man beachte, dass ein mehrschichtiges Perzeptron nach dieser Definition immer
mindestens zwei Schichten — die Eingabe- und die Ausgabeschicht — besitzt.
Beispiele für sigmoide Aktivierungsfunktionen, die alle einen Parameter, näm-
lich einen
Biaswert
besitzen, zeigt Abbildung 5.2. Die Schwellenwertelemente aus
Kapitel 3 benutzen ausschließlich die Sprungfunktion als Aktivierungsfunktion. Die
Vo r t e i l e ande r e r Ak t i v i e rung s f unk t i onen we rden i n Ab s c hn i t t 5 . 2 b e sp r o c hen . An
dieser Stelle merken wir an, dass statt der angegebenen
unipolaren
sigmoiden Funk-
tionen (lim
x
f
(
x
)=0) oft auch
bipolare
sigmoide Funktionen (lim
x
f
(
x
)=
1) verwendet werden. Eine solche ist z. B. der
tangens hyperbolicus
(siehe Abbil-
dung 5.3), der mit der logistischen Funktion eng verwandt ist. Es ist außerdem klar,
dass sich aus jeder unipolaren sigmoiden Funktion durch Multiplikation mit 2 und
Abziehen von 1 eine bipolare sigmoide Funktion erhalten lässt.
Durch bipolare sigmoide Aktivierungsfunktionen ergibt sich kein prinzipieller
Unterschied. Wir beschränken uns daher in diesem Buch auf unipolare sigmoide Ak-
tivierungsfunktionen. Alle Betrachtungen und Ableitungen der folgenden Abschnit-
te lassen sich leicht übertragen.
