Cryptography Reference
In-Depth Information
Da die Verbundquelle allein durch eine Menge diskreter Wahrscheinlichkeiten
eindeutig beschrieben wird, kann für die Entropieberechnung prinzipiell der
gleiche Ansatz wie für diskrete Einzelquellen verwendet werden. Indem in Gl.
(2.2)
p
(
x
i
)
durch
p
(
x
i
,y
j
)
ersetzt wird, erhält man die Entropie der Verbund-
quelle bzw. die
Verbundentropie
[joint entropy]
N
M
H
(
X,Y
)=
−
p
(
x
i
,y
j
)
ld
p
(
x
i
,y
j
)
.
(2.14)
i
=1
j
=1
Um weitere Aussagen zur Verbundentropie zu gewinnen, setzen wir Gl. (2.13)
in Gl. (2.14) ein,
N
M
H
(
X,Y
)=
−
p
(
x
i
)
p
(
y
j
|x
i
)
ld
(
p
(
x
i
)
p
(
y
j
|x
i
))
,
i
=1
j
=1
und erhalten nach einigen Umformungen
H
(
X,Y
)=
−
p
(
x
i
)
ld
p
(
x
i
)
−
p
(
x
i
)
p
(
y
j
|x
i
)
ld
p
(
y
j
|x
i
)
.
i
i
j
Im ersten Term erkennen wir die Quellenentropie
H
(
X
)
, der zweite Term stellt
die
bedingte Entropie
[conditional entropy]
H
(
Y
|
X
)
dar:
H
(
Y |X
)=
−
p
(
x
i
)
p
(
y
j
|x
i
)
ld
p
(
y
j
|x
i
)
.
(2.15)
i
j
Damit erhalten wir schließlich folgende Formel für die Verbundentropie:
H
(
X,Y
)=
H
(
X
)+
H
(
Y |X
)
.
(2.16)
Für den Fall, dass zuerst in der Quelle
Y
ein Ereignis auftritt, d. h., dass
p
(
x
i
,y
j
)=
p
(
y
j
)
· p
(
x
i
|y
j
)
ist, erhält man im Ergebnis
H
(
X,Y
)=
H
(
Y
)+
H
(
X|Y
)
(2.17)
mit der bedingten Entropie
H
(
X|Y
)=
−
p
(
y
j
)
p
(
x
i
|y
j
)
ld
p
(
x
i
|y
j
)
.
(2.18)
j
i
