Cryptography Reference
In-Depth Information
In den weiteren Ausführungen werden wir voraussetzen, dass die Übergangs-
wahrscheinlichkeiten
p
(
y
j
|x
i
)
bekannt sind, ganz gleich auf welche Weise sie
ermittelt wurden.
Beschreiben lassen sich die Komponenten dieses Übertragungssystems durch
die Vektoren der Zeichenwahrscheinlichkeiten
p
(
x
i
)
bzw.
p
(
y
j
)
und die Matri-
zen der Übergangswahrscheinlichkeiten
p
(
y
j
|x
i
)
und
p
(
x
i
|y
j
)
:
(
p
(
x
i
)) = (
p
(
x
0
)
,p
(
x
1
)
, ..., p
(
x
N−
1
))
,
(
p
(
y
j
)) = (
p
(
y
0
)
,p
(
y
1
)
, ..., p
(
y
M−
1
))
,
⎛
⎞
p
(
y
0
|x
0
)
p
(
y
1
|x
0
)
... p
(
y
M−
1
|x
0
)
⎝
⎠
p
(
y
j
|x
i
)
=
x
1
)
......................................
p
(
y
0
|x
N−
1
)
p
(
y
1
|x
N−
1
)
...p
(
y
M−
1
|x
N−
1
)
p
(
y
0
|
x
1
)
p
(
y
1
|
x
1
)
... p
(
y
M−
1
|
,
⎛
⎞
p
(
x
0
|y
0
)
p
(
x
0
|y
1
)
... p
(
x
0
|y
M−
1
)
⎝
⎠
p
(
x
i
|y
j
)
=
y
M−
1
)
......................................
p
(
x
N−
1
|
p
(
x
1
|
y
0
)
p
(
x
1
|
y
1
)
... p
(
x
1
|
.
y
0
)
p
(
x
N−
1
|
y
1
)
...p
(
x
N−
1
|
y
M−
1
)
Mit diesen Werten lässt sich die Transinformation entsprechend den Gln. (4.4)
und (4.6) leicht berechnen. Es sind
H
(
X
)=
−
p
(
x
i
)
ld
p
(
x
i
)
bzw.
H
(
Y
)=
−
p
(
y
j
)
ld
p
(
y
j
)
i
j
und
p
(
x
i
)
j
H
(
Y |X
)=
−
p
(
y
j
|x
i
)
ld
p
(
y
j
|x
i
)
bzw.
i
p
(
y
j
)
i
H
(
X|Y
)=
−
p
(
x
i
|y
j
)
ld
p
(
x
i
|y
j
)
.
j
Beispiel 5.1.1
Gegeben seien eine Quelle
X
=
{
x
0
,x
1
,x
2
}
mit
(
p
(
x
i
)) = (0
,
10
,
30
,
6)
und
eine Senke
Y
=
{
. Der diskrete Kanal wird durch die Matrix seiner
Übergangswahrscheinlichkeiten
(
p
(
y
j
|x
i
))
beschrieben:
y
0
,y
1
,y
2
}
⎛
⎞
0
,
70 0
,
20 0
,
10
0
,
05 0
,
80 0
,
15
0
,
10 0
,
10 0
,
80
p
(
y
j
|x
i
)
=
⎝
⎠
.
Die Transinformation ist zu bestimmen.
