Database Reference
In-Depth Information
Am Anfang steht die Prazisierung des Begriffes: Es ist wichtig, zwischen ei-
ner
Nachricht
und dem mit ihr assoziierten
Informationsgehalt
zu unterscheiden.
Wenn wir Nachrichten formal behandeln, sie also jeglicher semantischer Bedeutung
entledigen, so stellt sich die Frage nach einem Kriterium, das uns Nachrichten in-
teressant erscheinen lasst. Nun ist es so, dass wir uberraschende Nachrichten im
Allgemeinen als informativer empfinden als die Bestatigung offensichtlicher Vermu-
tungen
1
.Unsere Uberraschung ist dabei eng gekoppelt mit der Wahrscheinlichkeit,
die wir dieser Nachricht (bzw. dem mit ihr verbundenen Ereignis) zuweisen. Es
liegt also nahe, den Informationsgehalt einer Nachricht in Abhangigkeit von ihrer
Wahrscheinlichkeit zu definieren:
Information
(
Nachricht
)=
Inf
(P (
Nachricht
))
wobei
→ R
0
∪{∞}
eine stetige, monoton fallende Funktion ist. Der unmoglichen Nachricht wird dabei
ein unendlicher Informationsgehalt zugewiesen, wahrend bekannte Nachrichten den
Informationsgehalt 0 haben. Zu Normierungszwecken legt man außerdem noch fest,
welche Wahrscheinlichkeit mit dem Wert 1 assoziiert werden soll. Im Allgemeinen
fixiert man
Inf
:[0, 1]
Inf
(0.5) = 1 (A.11)
Eine weitere, entscheidende Forderung an
Inf
ist die folgende: Der Informationsge-
halt voneinander unabhangiger Nachrichten soll die Summe der einzelnen Informa-
tionsgehalte sein. Da die gemeinsame Wahrscheinlichkeit unabhangiger Nachrichten
gerade das Produkt der einzelnen Wahrscheinlichkeiten ist, bedeutet dies
Inf
(x
1
x
2
)=
Inf
(x
1
)+
Inf
(x
2
)
Diese Funktionalgleichung bestimmt
Inf
nun eindeutig: Es ist
Inf
(x):=
−
log
2
x
(A.12)
also der negative duale Logarithmus
2
. Die Basis 2 wird durch die Normierung (A.11)
bedingt. Der duale Logarithmus kann nach der folgenden Formel aus einem Loga-
rithmus zur Basis b (z. B. b =10oderb = e) berechnet werden:
log
2
x =
log
b
x
log
b
2
Die Maßeinheit der Information ist das
bit
. Die Fixierung der Basis spielt allerdings
oft nur eine sekundare Rolle, wir werden daher im Folgenden oft nur log statt log
2
schreiben.
Der in
bit
gemessene Informationsgehalt einer Nachricht gibt die Anzahl der
Ja/Nein-Antworten an, die bei einer optimalen Fragestrategie notig sind, um diese
Nachricht zu isolieren. 1
bit
entspricht dabei dem Informationsgehalt einer Ja/Nein-
Antwort (s. auch [232]).
1
Die Betonung liegt hier auf “offensichtlich” - sicherlich war der Nachweis der beruhmten
Fer-
mat'schen Vermutung
ein Meilenstein in der modernen Mathematik und uberaus informativ!
2
Die Losung solcher Funktionalgleichungen im Rahmen der Informationstheorie ist z.B. zu finden
in [96], S. 110f.
