Rückgekoppelte Netze - Computational Intelligence - page 147

1 k t 1 k t 1 k t 1 k t

( t 0 ) ( t )

Abbildung 9.12: Vierstufige Ausfaltung des rückgekoppelten neuronalen Netzes aus
Abbildung 9.2 in der Zeit. Es ist = k A t .

beschreibt, als auch die Werte der in ihr auftretenden Parameter. Oft liegt jedoch die
Situation vor, dass zwar die Form der Differentialgleichung bekannt ist, nicht jedoch
die Werte der auftretenden Parameter. Wenn Messdaten des betrachteten Systems
vorliegen, kann man in einem solchen Fall versuchen, die Systemparameter durch
Training eines rückgekoppelten neuronalen Netzes zu bestimmen, das die Differenti-
algleichung darstellt. Denn die Gewichte und Biaswerte des neuronalen Netzes sind
ja Funktionen der Systemparameter und folglich können die Parameterwerte (mit
gewissen Einschränkungen) aus ihnen abgelesen werden.
Rückgekoppelte neuronale Netze werden im Prinzip auf die gleiche Weise trai-
niert wie mehrschichtige Perzeptren, nämlich durch Fehler-Rückpropagation (siehe
Abschnitte 5.4 und 5.5). Einer direkten Anwendung dieses Verfahrens stehen jedoch
die Rückkopplungen entgegen, durch die die Fehlersignale zyklisch weitergegeben
werden. Dieses Problem wird gelöst, indem man die Rückkopplungen durch eine
Ausfaltung des Netzes in der Zeit zwischen zwei Trainingsmustern eliminiert. Diese
spezielle Art der Fehler-Rückpropagation nennt man auch Fehler-Rückpropagation in
der Zeit (backpropagation through time).
Wir verdeutlichen hier nur das Prinzip am Beispiel des Newtonschen Abküh-
lungsgesetzes aus Abschnitt 9.1 (siehe Seite 139). Wir nehmen an, dass uns Messwer-
te der Abkühlung (oder Erwärmung) eines Körpers zur Verfügung stehen, die die
Tempe r a tur de s Körpe r s zu ve r s chi edenen Ze i tpunk t en angeben . Auße rdem se i d i e
Tempe r a tur A der Umgebung bekannt, in der sich der Körper befindet. Aus die-
sen Messwerten möchten wir den Wert der Abkühlungskonstanten k des Körpers
bestimmen.
Wie beim Training mehrschichtiger Perzeptren werden das Gewicht der Rück-
kopplung und der Biaswert zufällig initialisiert. Die Zeit zwischen zwei aufeinander-
folgenden Messwerten wird — analog zu Abschnitt 9.1 — in eine bestimmte Anzahl
von Intervallen unterteilt. Gemäß der gewählten Anzahl an Intervallen wird dann
die Rückkopplung des Netzes „ausgefaltet“. Liegen z. B. zwischen einem Messwert
und dem folgenden vier Intervalle, ist also t j +1 = t j + 4 t ,dannerhaltenwirsodas
in Abbildung 9.12 gezeigte Netz. Man beachte, dass die Neuronen dieses Netzes kei-
ne Rückkopplungen besitzen, weder explizite noch implizite. Daher haben die Ver-
bindungsgewichte auch den Wert 1 k t :Die1stelltdieimpliziteRückkopplung
des Netzes aus Abbildung 9.2 dar (vergleiche die Erläuterungen auf Seite 142).
Wird nun diesem Netz ein Messwert j (Temperatur des Körpers zu einem Zeit-
punkt t j )eingegeben,soberechnetes—mitdenaktuellenWertendesGewichtesund
des Biaswertes — einen Näherungswert für den nächsten Messwert j + 1 (Tempera-
tur zumZeitpunkt t j + 1 = t j + 4 t ). Durch Vergleich mit dem tatsächlichenWert j + 1
erhalten wir ein Fehlersignal, das mit den bekannten Formeln der Fehler-Rückpropa-
gation weitergegeben wird und zu Änderungen der Gewichte und Biaswerte führt.
Es ist allerdings zu beachten, dass das Netz aus Abbildung 9.12 eigentlich nur
ein Gewicht und einen Biaswert besitzt, denn alle Gewichte beziehen sich ja auf