Information Technology Reference
In-Depth Information
zur Verfügung stehen. Mit diesen Programmen können beliebigemehrschichtige Per-
zeptren trainiert und auf neuen Daten ausgeführt werden. Sie enthalten alle hier be-
sprochenen Varianten des Gradientenabstiegs.
5.9 Sensitivitätsanalyse
(Künstliche) neuronale Netze haben den großen Nachteil, dass das von ihnen gelern-
te Wissen oft nur schwer verständlich ist, da es in den Verbindungsgewichten, also ei-
ner Matrix reeller Zahlen, gespeichert ist. Zwar haben wir in den vorangehenden Ab-
schnitten und Kapiteln versucht, die Funktionsweise neuronaler Netze anschaulich
geometrisch zu erklären, doch bereitet eine solche Deutung bei komplexeren Net-
zen, wie sie in der Praxis auftreten, erhebliche Schwierigkeiten. Besonders bei hoch-
dimensionalen Eingaberäumen versagt das menschliche Vorstellungsvermögen. Ein
komplexes neuronales Netz erscheint daher leicht als eine „black box“, die auf mehr
oder weniger unergründliche Weise aus den Eingaben die Ausgaben berechnet.
Man kann diese Situation jedoch etwas verbessern, indem man eine sogenannte
Sensitivitätsanalyse
durchführt, durch die bestimmt wird, welchen Einfluss die ver-
schiedenen Eingaben auf die Ausgabe des Netzes haben. Wir summieren dazu die
Ableitung der Ausgaben nach den externen Eingaben über alle Ausgabeneuronen
und alle Lernmuster. Diese Summe wird durch die Anzahl der Lernmuster geteilt,
um den Wert unabhängig von der Größe des Trainingsdatensatzes zu halten. D. h.,
wir berechnen
out
(
l
)
1
|
L
fixed
|
v
ext
(
l
)
l
L
fixed
u
U
in
:
s
(
u
)=
.
v
U
out
u
Der so erhaltene Wert
s
(
u
)
zeigt uns an, wie wichtig die Eingabe, die dem Neuron
u
zugeordnet ist, für die Berechnungen des mehrschichtigen Perzeptrons ist. Auf die-
ser Grundlage können wir dann z. B. das Netz vereinfachen, indemwir die Eingaben
mit den kleinsten Werten
s
(
u
) entfernen.
Zur Ableitung der genauen Berechnungsformel wenden wir, wie bei der Ablei-
tung des Gradientenabstiegs, zunächst die Kettenregel an:
out
v
ext
u
=
out
v
out
u
ext
u
=
out
v
net
v
out
u
out
u
ext
u
.
out
u
net
v
Wenn die Ausgabefunktion der Eingabeneuronen die Identität ist, wie wir hier an-
nehmen wollen, können wir den letzten Faktor vernachlässigen, da
out
u
ext
u
= 1.
Für den zweiten Faktor erhalten wir im allgemeinen Fall
out
p
out
u
net
v
out
u
=
out
u
p
pred(
v
)
p
pred(
v
)
w
vp
out
p
=
w
vp
.
