Cryptography Reference
In-Depth Information
X
)=
i
1
p
(
y
j
|x
i
)
H
(
Y
|
p
(
x
i
)
p
(
y
j
|
x
i
)
ld
j
=
1
4
(2
·
1
ld
2) +
1
8
(
1
ld
2+2
·
1
4
ld
4) +
1
8
ld
1+
1
2
(2
·
1
ld
4+
1
2
ld
2)
2
2
4
=1
,
19
bit/Ereignis ,
H
(
X,Y
)=
H
(
X
)+
H
(
Y |X
)
=1
,
75
bit/Ereignis
+1
,
19
bit/Ereignis
=2
,
94
bit/V erbundereignis.
Kontrolle: Berechnung der Verbundentropie nach Gl. (2.14)
H
(
X,Y
)=
1
4
ld
4+5
·
1
8
ld
8+
1
16
ld
16 + 2
·
1
32
ld
32
=2
,
94
bit/V erbundereignis.
Grenzfälle:
a) Vollständige Unabhängigkeit
H
(
X,Y
)=
H
(
X
)+
H
(
Y
)=3
,
32
bit/V erbundereignis.
b) Vollständige Abhängigkeit
H
(
X,Y
)=
H
(
X
)=1
,
75
bit/V erbundereignis.
Wir wollen nun noch die
spezielle Verbundquelle
(
X, X
)
betrachten, bei
der beide Quellen identisch sind.
Stellt man sich diesen Modellfall als
eine Quelle mit zwei identischen Ereig-
nismengen
vor, dann wird mit der Verbundwahrscheinlichkeit
p
(
x
i
,x
j
)
die Ab-
hängigkeit von zwei aufeinanderfolgenden Ereignissen einer Quelle
X
ausge-
drückt, und die bedingte Entropie
H
(
X|X
)
ist nichts anderes als die bekannte
MARKOW-Entropie
H
M
erster Ordnung (Bild 2.2.6).
H(X)
H(X)
H(X|X) = H
M
Bild 2.2.6
VENN-Diagramm der Verbundquelle
(
X,X
)
