Cryptography Reference
In-Depth Information
p
(
x
j
|
x
5
)
K5
p
(
x
j
|
x
5
)
l
5
j
p
(
x
4
|
x
5
)=0
,
40 0
0
,
40
p
(
x
1
|
x
5
)=0
,
30 10
0
,
60
p
(
x
2
|
x
5
)=0
,
20 110
0
,
60
p
(
x
3
|
x
5
)=0
,
10 111
0
,
30
p
(
x
5
|
x
5
)=0
−
−
l
m,
5
=1
,
90
b) Berechnung der Koderedundanz gemäß Gl. (3.11):
Zur Berechnung von
l
M
und
H
M
werden die stationären Zustandswahrschein-
lichkeiten
p
(
x
i
)
benötigt (s. Abschn. 2.2.2):
Die iterative Anwendung der Gl. (2.10) ergibt nach etwa 15 Schritten folgende
stationäre Verteilung der Zustandswahrscheinlichkeiten:
p
(
x
1
)=0
,
21
p
(
x
2
)=0
,
22
p
(
x
3
)=0
,
31
p
(
x
4
)=0
,
13
p
(
x
5
)=0
,
13
.
Nach dem Einsetzen dieser Werte und der gegebenen Übergangswahrschein-
lichkeiten
p
(
x
j
|x
i
)
in Gl. (2.12) erhalten wir eine MARKOW-Entropie
H
M
=1
,
68
bit/Zustand .
(Für
Zustand
könnte auch
Quellenzeichen
(
QZ
) stehen.)
Die mittlere Kodewortlänge über alle Teilkodes wird
l
M
=0
,
21
·
1
,
8+0
,
22
·
1
,
6+0
,
31
·
2
,
0+0
,
13 (1
,
2+1
,
9)
=1
,
75
Bit/Zustand.
Damit ergibt sich eine Koderedundanz
R
K
=1
,
75
Bit/Zustand ·
1
bit/Bit −
1
,
68
bit/Zustand
=0
,
07
bit/Zustand.
c) Zum Vergleich:
NUR
SHANNON-FANO-Kode entsprechend der Verteilung
der stationären Zustandswahrscheinlichkeiten:
p
(
x
i
)
Optimalkode
p
(
x
i
)
l
i
p
(
x
3
)=0
,
31
00
0
,
62
p
(
x
2
)=0
,
22
01
0
,
44
p
(
x
1
)=0
,
21
10
0
,
42
p
(
x
4
)=0
,
13
110
0
,
39
p
(
x
5
)=0
,
13
111
0
,
39
l
m
=2
,
26