Cryptography Reference
In-Depth Information
In diesem Fall gilt für die Verbundentropie
H
(
X
)
≤ H
(
X,X
)
≤
2
· H
(
X
)
,
und somit wird die MARKOW-Entropie
H(X)
bei vollständiger Unabhängigkeit,
H
M
=
H
(
X,X
)
− H
(
X
)=
0
bei vollständiger Abhängigkeit.
Zur Demonstration dieser speziellen Verbundquelle dient das folgende Beispiel.
Beispiel 2.2.7
Eine diskrete Quelle
X
=
{x
1
,x
2
,x
3
}
sei durch folgende Matrix der Verbund-
wahrscheinlichkeiten beschrieben:
⎛
⎞
1
16
1
8
00
32
1
4
1
8
⎝
⎠
(
p
(
x
i
,x
j
)) =
.
3
32
1
8
Zu berechnen sind:
a) Quellenentropie
H
(
X
)
,
b) bedingte Entropie
H
(
X
|
X
)
als MARKOW-Entropie.
Lösung
:
zu a)
p
(
x
i
)=
j
p
(
x
i
,x
j
)
ergibt:
p
(
x
1
)=
16
,p
(
x
2
)=
32
,p
(
x
3
)=
1
32
.
p
(
x
j
)=
i
p
(
x
i
,x
j
)
ergibt:
p
(
x
1
)=
16
,p
(
x
2
)=
32
,p
(
x
3
)=
1
32
.
Die Gleichheit der Ergebnisse bedeutet, dass sich die Quelle im stationären
Zustand befindet (Bedingung für die Berechnung der MARKOW-Entropie!).
H
(
X
)=
5
16
ld
16
5
+
7
ld
32
7
+
15
ld
32
15
=1
,
52
bit/Zeichen .
32
32
zu b)
X
)=
H
M
=
i
1
p
(
x
j
|x
i
)
H
(
X
|
p
(
x
i
)
p
(
x
j
|
x
i
)
ld
,
j
⎛
⎞
2
5
001
8
15
1
5
2
5
p
(
x
i
,x
j
)
p
(
x
i
)
⎝
⎠
(
p
(
x
j
|
x
i
)) =
=
,
3
15
4
15
1
5
8
15
H
M
=
5
16
ld
5+2
·
2
5
ld
5
2
+
15
32
ld
15
8
+
3
ld
15
3
+
4
ld
15
4
15
15
=1
,
16
bit/Zeichen .
