Database Reference
In-Depth Information
Die Gleichung (A.12) liefert einen uberaus gri
gen Maßbegriff fur Information.
Bei dieser Quantifizierung der Information bleibt allerdings nicht nur ihr Inhalt un-
berucksichtigt, es fließen auch keinerlei Bewertungen oder Nutzenvorstellungen ein.
Das heißt jedoch nicht, dass die formale Information einer Nachricht ein absolut ob-
jektiver Begriff ist (was unserer Intuition widersprache). Durch die Zuordnung von
Wahrscheinlichkeiten zu Nachrichten kann eine subjektive Komponente ins Spiel
kommen. Im Allgemeinen werden wir es aber eher mit statistischen Wahrscheinlich-
keiten zu tun haben, wie auch im folgenden Beispiel.
Beispiel A.38
In einer Urne befinden sich insgesamt 8 Kugeln, 4 weiße, 2 rote und
je 1 blaue und grune Kugel. In einem Zug werde jeweils 1 Kugel (mit Zurucklegen)
gezogen. Die Wahrscheinlichkeit, eine weiße (rote, blaue, grune) Kugel zu ziehen,
betragt dann
2
(
4
,
8
,
8
). Folglich lasst sich die mit dem Ausgang eines Zuges ver-
bundene Information berechnen als
Information
(
weiss
)=
Inf
(
2
)=1
bit
Information
(
rot
) =
Inf
(
4
)=2
bit
Information
(
blau
)=
Inf
(
8
)=3
bit
Information
(
grun
)=
Inf
(
8
)=3
bit
A.8
Entropie
Fuhrt man die gedankliche Verbindung zwischen Wahrscheinlichkeiten und Informa-
tion weiter, so ist nicht nur die mittels Wahrscheinlichkeitsverteilung P mit jedem
einzelnen Elementarereignis ω assoziierte Information von Bedeutung. Um einen
Gesamteindruck von der zu erwartenden Information zu bekommen, berechnet man
ferner den
mittleren Informationsgehalt
H(P )=
−
P (ω)log
2
P (ω)
ω
wobei man fur den eigentlich nicht definierten Ausdruck 0 log
2
0 aus Stetigkeits-
grunden den Wert 0 nimmt. H(P )heißtdie
Entropie
der Verteilung P . Sie misst
die
Unsicherheit
bezuglich eines zu erwartenden Elementarereignisses, die man in
Kenntnis der Verteilung P empfindet.
Der Begriff “Entropie” wurde zuerst in der statistischen Mechanik in Verbin-
dung mit thermodynamischen Systemen benutzt. Sie war diejenige physikalische
Große, die man maximierte, um eine moglichst indifferente Ausgangsverteilung zur
Beschreibung des Systems zu erhalten (s. [104]). Shannon [209] erkannte spater,
dass die Entropie nichts anderes war als die Unbestimmtheit, die man dem Sys-
tem bei gegebenen Randbedingungen zubilligen musste, und benutzte Entropie als
grundlegenden Begriff in der Informationstheorie.
