Information Technology Reference
In-Depth Information
Abbildung 5.10: Grenzen des Satzes
über die Annäherung einer Funktion
durch ein mehrschichtiges Perzeptron.
Die Verbindungen der Neuronen der zweiten versteckten Schicht zum Ausga-
beneuron sind mit den Funktionswerten der durch diese Neuronen repräsentierten
Treppenstufen gewichtet. Da immer nur ein Neuron der zweiten versteckten Schicht
aktiv sein kann, erhält das Ausgabeneuron so als Netzeingabe die Höhe der Trep-
penstufe, in der der Eingabewert liegt. Weil es als Aktivierungsfunktion die Identität
besitzt, gibt es diesen Wert unverändert aus. Folglich berechnet das in Abbildung 5.9
skizzierte vierschichtige Perzeptron gerade die in Abbildung 5.8 gezeigte Treppen-
funktion.
Es ist klar, dass man die Güte der Annäherung durch eine Treppenfunktion be-
liebig erhöhen kann, indem man die Treppenstufen hinreichend schmal macht. Man
erinnere sich dazu an die Einführung des Integralbegriffs in der Analysis über Rie-
mannsche Ober- und Untersummen: Zu jeder vorgegebenen Fehlerschranke > 0
gibt es eine „Stufenbreite“ ( ) > 0, so dass sich die Riemannsche Ober- und Un-
tersumme um weniger als unterscheiden. Folglich können wir den folgenden Satz
formulieren:
Satz 5.1 Jede Riemann-integrierbare Funktion ist durch ein mehrschichtiges Perzeptron be-
liebig genau approximierbar.
Man beachte, dass dieser Satz nur Riemann-Integrierbarkeit der darzustellenden
Funktion voraussetzt und nicht Stetigkeit. Die darzustellende Funktion darf also
Sprungstellen haben. Jedoch darf sie in dem Bereich, in dem sie durch ein mehr-
schichtiges Perzeptron angenähert werden soll, nur endlich viele Sprungstellen end-
licher Höhe besitzen. Die Funktion muss folglich „fast überall“ stetig sein.
Man beachte weiter, dass in diesem Satz der Fehler der Näherung durch die Flä-
che zwischen der darzustellenden Funktion und der Ausgabe des mehrschichtigen
Perzeptrons gemessen wird. Diese Fläche kann durch Erhöhen der Zahl der Neu-
ronen (durch Erhöhen der Zahl der Treppenstufen) beliebig klein gemacht werden.
Das garantiert jedoch nicht ,dassfüreingegebenesPerzeptron,daseinebestimmte
Näherungsgüte in diesem Sinne erreicht, an jedem Punkt die Differenz zwischen sei-
ner Ausgabe und der darzustellenden Funktion kleiner ist als eine bestimmte Fehler-
schranke. Die darzustellende Funktion könnte z. B. eine sehr schmale Spitze besitzen,
die durch keine Treppenstufe erfasst wird (siehe Abbildung 5.10). Dann ist zwar die
Fläche zwischen der darzustellenden Funktion und der Ausgabe des mehrschichti-
gen Perzeptrons klein (weil die Spitze schmal ist und daher nur eine kleine Fläche
einschließt), aber an der Stelle der Spitze kann die Abweichung der Ausgabe vom
wahren Funktionswert trotzdem sehr groß sein.
Natürlich lässt sich die Idee, eine gegebene Funktion durch eine Treppenfunkti-
on anzunähern, unmittelbar auf mehrstellige Funktionen übertragen: Der Eingabe-
Search WWH ::




Custom Search