Database Reference
In-Depth Information
berechnet. R(Q, P ) wird als
relative Entropie (cross-entropy) von
Q
bzgl.
P bezeich-
net. Sie misst den Informationsabstand zwischen P und Q auf der Basis von Q.Sie
ist zwar nicht symmetrisch, d. h. im Allgemeinen gilt R(Q, P )
= R(P, Q), jedoch
positiv definit, es ist also immer R(Q, P )
0 (wegen der Ungleichung (A.13)), und
R(Q, P ) = 0 genau dann, wenn P = Q. Die relative Entropie ist eines der wich-
tigsten Grundkonzepte in der Informationstheorie, denn sowohl die gegenseitige
Information (A.16) als auch die Entropie selbst lassen sich (bis auf eine Konstante)
als relative Entropien auffassen. Bei der gegenseitigen Information sieht man das
sofort aus der Definition von
Inf
(A
≥
B); fur die Entropie zeigt dies der folgende
Satz:
Proposition A.41
Sei
P =(p
1
,...,p
n
)
eine Wahrscheinlichkeitsverteilung, und
sei
P
0
=(
n
,...,
n
)
eine passende Gleichverteilung. Dann ist
R(P, P
0
)=log
2
n
−
H(P )
Selbsttestaufgabe A.42 (Relative Entropie)
Beweisen Sie Proposition A.41.
Selbsttestaufgabe A.43 (Entropie)
Sei Ω =
die Menge der Ele-
mentarereignisse, und es sei P eine Wahrscheinlichkeitsverteilung auf Ω mit P (ω
i
)=
p
i
. H(P )=H(p
1
,...,p
n
)=
{
ω
1
,...,ω
n
}
−
i=1
p
i
log
2
p
i
ist die Entropie von P .
1. Sei 2
≤
k
≤
n
1 ein fester Index, und sei s := p
1
+ ...+ p
k
.ZeigenSie:
H(p
1
,...,p
n
)=H(s, p
k+1
,...,p
n
)+sH(
p
s
,...,
p
k
−
s
)
2. Sei X
X.(Wirwahlen hier eine
mengentheoretische Schreibweise fur Ereignisse.) Mit P
X
und P
Y
bezeichnen wir
die bedingten Verteilungen nach X und Y ,d.h.P
X
= P (
⊂
Ω ein Ereignis mit X
=
∅
,X
=Ω.SeiY := Ω
−
·|
X) und P
Y
= P (
·|
Y ).
Zeigen Sie (unter Verwendung von Teil 1):
H(P )=H(P (X),P(Y )) + P (X)H(P
X
)+P (Y )H(P
Y
)
