Cryptography Reference
In-Depth Information
Beispiel 2.2.6
Gegeben seien zwei diskrete Quellen
X
und
Y
mit folgenden Verbundwahr-
scheinlichkeiten:
⎛
⎞
⎛
⎞
1
8
1
8
0
p
(
x
1
,y
1
)
p
(
x
1
,y
2
)
... p
(
x
1
,y
M
)
p
(
x
2
,y
1
)
p
(
x
2
,y
2
)
... p
(
x
2
,y
M
)
...............................
p
(
x
N
,y
1
)
p
(
x
N
,y
2
)
...p
(
x
N
,y
M
)
⎝
⎠
⎝
⎠
=
1
16
1
32
1
32
(
p
(
x
i
,y
j
)) =
.
1
8
0
0
1
8
1
8
1
4
Zu berechnen sind:
a) Einzelwahrscheinlichkeiten
(
p
(
x
i
))
,
(
p
(
y
j
))
,
b) bedingte Wahrscheinlichkeiten
(
p
(
y
j
|
x
i
))
,
c) Entropien
H
(
X
)
,H
(
Y
)
,H
(
Y
|
X
)
,H
(
X,Y
)
.
Lösung:
zu a)
j
=1
M
p
(
x
i
,y
j
)
ergibt:
p
(
x
1
)=
4
,p
(
x
2
)=
p
(
x
3
)=
8
,p
(
x
4
)=
2
.
p
(
x
i
)=
i
=1
N
p
(
x
i
,y
j
)
ergibt:
p
(
y
1
)=
16
,p
(
y
2
)=
32
,p
(
y
3
)=
1
32
.
p
(
y
j
)=
zu b)
p
(
x
i
,y
j
)
p
(
x
i
)
Nach Gl. (2.13) ist
p
(
y
j
|
x
i
)=
und damit wird
⎛
⎞
1
2
1
2
0
⎝
⎠
1
2
1
4
010
1
4
1
4
(
p
(
y
j
|x
i
)) =
.
1
4
1
2
zu c)
N
p
(
x
i
)
ld
1
p
(
x
i
)
=
1
ld
4+2
·
1
8
ld
8+
1
2
H
(
X
)=
ld
2
4
i
=1
=1
,
75
bit/Ereignis ,
M
p
(
y
j
)
ld
1
p
(
y
j
)
=
5
ld
16
5
+
9
ld
32
9
+
13
ld
32
13
H
(
Y
)=
16
32
32
j
=1
=1
,
57
bit/Ereignis ,
