Information Technology Reference
In-Depth Information
Also erhalten wir das System der Normalgleichungen
n
i
=1
x
i
n
i
=1
y
i
n
i
=1
z
i
na
+
b
+
c
=
n
i
=1
x
i
n
i
=1
x
i
n
i
=1
x
i
y
i
n
i
=1
z
i
x
i
a
+
b
+
c
=
n
i
=1
y
i
n
i
=1
x
i
y
i
n
i
=1
y
i
n
i
=1
z
i
y
i
a
+
b
+
c
=
aus dem sich
a
,
b
und
c
leicht berechnen lassen.
Es dürfte klar sein, dass sich die Methode der kleinsten Quadrate auch auf Po-
lynome in mehreren Variablen erweitern lässt. Wie sie sich unter bestimmten Um-
ständen auch noch auf andere Funktionenklassen erweitern lässt, ist in Abschnitt 5.3
anhand der
logistischen Regression
gezeigt.
Ein Programm zur multipolynomialen Regression, das zur schnellen Berechnung
der verschiedenen benötigten Potenzprodukte eine auf Ideen der dynamischen Pro-
grammierung beruhende Methode benutzt, steht unter
http://www.computational-intelligence.eu
zur Verfügung.
A.3 Aktivierungsumrechnung
In diesem Anhang geben wir an, wie sich die Gewichte und Schwellenwerte eines
Hopfield-Netzes, das mit den Aktivierungen 0 und 1 arbeitet, in die entsprechenden
Parameter eines Hopfield-Netzes, das mit den Aktivierungen
1und1arbeitet,um-
rechnen lassen (und umgekehrt). Dies zeigt, dass die beiden Netzarten äquivalent
sind, wir also berechtigt waren, in Kapitel 8 je nach Gegebenheit die eine oder die
andere Form zu wählen.
Wir deuten im folgenden durch einen oberen Index den Wertebereich der Akti-
vierung der Neuronen des Netzes an, auf das sich die auftretenden Größen beziehen.
Es bedeuten:
0
: Größe aus Netz mit act
u
{ 0, 1},
: Größe aus Netz mit act
u
{1, 1}.
Offenbar muss stets gelten
1
2
(
act
act
u
=
u
+
1
)
und
u
=
2act
u
1,
d. h. das Neuron
u
hat in beiden Netzarten die Aktivierung 1, oder es hat in der einen
Netzart die Aktivierung 0 und in der anderen die entsprechende Aktivierung
1.
Damit die beiden Netztypen das gleiche Verhalten zeigen, muss außerdem gelten:
act
s
(
net
u
)=
s
(
net
u
u
)
,
u
