Cryptography Reference
In-Depth Information
Die gewonnenen Ergebnisse können
in einem VENN-Diagramm (Flä-
chendiagramm) (Bild 2.2.4) an-
schaulich dargestellt werden. Das
Bild zeigt, dass der Grad der Ab-
hängigkeit beider Quellen formal im
Grad der Überdeckung beider Kreis-
flächen und damit in der Größe der
bedingten Entropien zum Ausdruck
kommt.
Unter Nutzung dieser Interpretation
können wir bei der Angabe der fol-
genden Schranken für die bedingten
Entropien auf einen mathematischen
Beweis verzichten:
Bild 2.2.4
VENN-Diagramm einer
Verbundquelle (
X,Y
)
H
(
X|Y
)
≤ H
(
X
)
und
H
(
Y |X
)
≤ H
(
Y
)
.
(2.19)
Es sollen jetzt noch zwei interessante
Grenzfälle
der Abhängigkeiten beider
Quellen betrachtet werden (Bild 2.2.5):
a) Vollständige Unabhängigkeit:
Bei unabhängigen Ereignissen gilt
p
(
y
j
|x
i
)=
p
(
y
j
)
,d.h.
H
(
Y |X
)=
H
(
Y
)
entsprechend Gl. (2.19) und damit
H
(
X,Y
)=
H
(
X
)+
H
(
Y
)
.
b) Vollständige Abhängigkeit:
Bei vollständig abhängigen Ereignissen ist
H
(
Y
|
X
)=0
und damit wird
H
(
X,Y
)=
H
(
X
)
.
(Für den Fall, dass zuerst in der Quelle
Y
ein Ereignis stattfindet, wäre
H
(
X,Y
)
=
H
(
Y
)
.)
H(X)
H(Y)
H(Y)
H(X)
a)
b)
Bild 2.2.5
Grenzfälle für Verbundquellen
a) vollständig unabhängig, b) vollständig abhängig