Information Technology Reference
In-Depth Information
se Summe der Fehlerquadrate gilt es durch geeignete Veränderungen der Gewich-
te und der Parameter der Aktivierungsfunktionen zu minimieren. Dies führt uns
zu der in der Analysis und Statistik wohlbekannten
Methode der kleinsten Quadrate
,
auch
Regression
genannt, zur Bestimmung von Ausgleichsgeraden (Regressionsge-
raden) und allgemein Ausgleichspolynomen für eine gegebene Menge von Daten-
punkten (
x
i
,
y
i
).DieseMethodeistinAbschnittA.2rekapituliert.
Hier interessieren uns zwar nicht eigentlich Ausgleichsgeraden oder Ausgleichs-
polynome, aber die Bestimmung eines Ausgleichspolynoms lässt sich auch zur Be-
stimmung anderer Ausgleichsfunktionen verwenden, nämlich dann, wenn es ge-
lingt, eine geeignete Transformation zu finden, durch die das Problem auf das Pro-
blem der Bestimmung eines Ausgleichspolynoms zurückgeführt wird. So lassen sich
z. B. auch Ausgleichsfunktionen der Form
y
=
ax
b
durch die Bestimmung einer Ausgleichgeraden finden. Denn logarithmiert man die-
se Gleichung, so ergibt sich
ln
y
=
ln
a
+
b
·
ln
x
.
Diese Gleichung können wir durch die Bestimmung einer Ausgleichsgeraden behan-
deln. Wir müssen lediglich die Datenpunkte (
x
i
,
y
i
) logarithmieren und mit den so
transformierten Werten rechnen.
4
In dem Zusammenhang mit (künstlichen) neuronalen Netzen ist wichtig, dass es
auch für die sogenannte
logistische Funktion
Y
1 +
e
a
+
bx
,
y
=
wobei
Y
,
a
und
b
Konstanten sind, eine Transformation gibt, mit der wir das Pro-
blem der Bestimmung einer Ausgleichsfunktion dieser Form auf die Bestimmung ei-
ner Ausgleichsgerade zurückführen können (sogenannte
logistische Regression
). Dies
ist wichtig, weil die logistische Funktion eine sehr häufig verwendete Aktivierungs-
funktion ist (siehe auch Abschnitt 5.4). Wenn wir über eine Methode zur Bestim-
mung einer logistischen Ausgleichsfunktion verfügen, haben wir unmittelbar eine
Methode zur Bestimmung der Parameter eines zweischichtigen Perzeptrons mit ei-
nem Eingang, da wir ja mit dem Wert von
a
den Biaswert des Ausgabeneurons und
mit demWert von
b
das Gewicht des Eingangs haben.
Wie kann man aber die logistische Funktion „linearisieren“, d. h. , so umformen,
dass das Problem auf das Problem der Bestimmung einer Ausgleichsgerade zurück-
geführt wird? Wir beginnen, indem wir den Reziprokwert der logistischen Glei-
chung bestimmen:
1
+
e
a
+
bx
Y
1
y
=
.
4
Man beachte allerdings, dass bei einem solchen Vorgehen zwar die Fehlerquadratsumme im trans-
formierten Raum (Koordinaten
x
=
ln
x
und
y
=
ln
y
), aber damit nicht notwendig die Fehlerquadrat-
summe im Originalraum (Koordinaten
x
und
y
)minimiertwird.DennochführtderAnsatzmeistzusehr
guten Ergebnissen.
