Database Reference
In-Depth Information
An dieser Stelle ist es wichtig, sich noch einmal bewusst zu machen, dass unsere
Information umso großer ist, je unsicherer wir uber das Eintreffen eines bestimmten
Ereignisses sind. Wenn wir bereits im Voraus hundertprozentig wissen, mit welchem
Elementarereignis ω
0
wir zu rechnen haben, d. h. ist P (ω
0
) = 1 und P (ω)=0fur
alle anderen ω
= ω
0
,soistH(P ) = 0. Ist hingegen P eine Gleichverteilung uber den
betrachteten Variablen, so haben wir offensichtlich uberhaupt keine Vorstellung, was
passieren wird. In diesem Fall ist H(P ) - ebenso wie unsere “mittlere Uberraschung”
- maximal, wie der folgende Satz zeigt:
Proposition A.39
Bezeichne
P
0
die Gleichverteilung uber
Ω
,d.h.
P
0
(ω)=
n
fur
ω
∈
= n
.
1. Es ist
H(P
0
)=log
2
n
.
2. Fur jede beliebige Wahrscheinlichkeitsverteilung
P
uber
Ω
gilt
H(P )
Ω
,wobei
|
Ω
|
≤
H(P
0
)
.
Selbsttestaufgabe A.40 (Maximale Entropie)
Beweisen Sie Proposition
A.39.
Hinweis
: Verwenden Sie fur den Nachweis des zweiten Teils die Ungleichung
m
x
i
y
i
≥
x
i
log
2
0,
(A.13)
i=1
wobei (x
1
,...,x
m
), (y
1
,...,y
m
) Tupel nichtnegativer reeller Zahlen mit
i=1
x
i
=
i=1
y
i
sind. Fur einen Beweis dieser Ungleichung siehe z. B. [96], S. 111.
Die Entropie ist ein Maß, das auf Wahrscheinlichkeitsverteilungen angewen-
det wird. Dabei spielt es keine Rolle, ob es sich um die gemeinsame Verteilung
mehrerer Aussagenvariablen handelt oder um die (marginale) Verteilung uber eine
bestimmte Aussagenvariable A =
a
(1)
,...,a
(n)
}
. In letzterem Fall bezeichnet man
die Entropie der entsprechenden Verteilung auch als die Entropie von A,also
{
n
P (a
(i)
)log
2
P (a
(i)
)
H(A)=
−
(A.14)
i=1
wobei P als gegeben angenommen wird. H(A)druckt unsere mittlere Unsicherheit
daruber aus, welchen Wert die Variable A annehmen wird.
Betrachten
a
(1)
,...,a
(n)
}
wir
zwei
Aussagenvariable
A
=
{
,B =
b
(1)
,...,b
(m)
}
{
und eine gemeinsame Verteilung P uber A und B.Dannlasst sich oft
aus dem Wert der einen Variablen Information uber den Wert der anderen gewinnen.
Der
bedingte Informationsgehalt
,denB = b
(j)
fur A = a
(i)
besitzt, wird gemessen
durch
b
(j)
). Summiert man uber alle Werte auf und berucksichtigt die
entsprechenden bedingten Wahrscheinlichkeiten, so erhalt man die
erwartete Unbe-
stimmtheit von
A
nach der Beobachtung von
B als
log
2
P (a
(i)
|
−
P (b
(j)
)P (a
(i)
|
b
(j)
)log
2
P (a
(i)
|
b
(j)
)
H(A
|
B)=
−
i,j
H(A
B) wird kurz als die
bedingte Entropie von
A
bezuglich
B bezeichnet. Die
Unbestimmtheit bezuglich A
und
B wird als
Verbundentropie
bezeichnet und mit
H(A, B) bezeichnet:
|
