Cryptography Reference
In-Depth Information
Die gewonnenen Ergebnisse können
in einem VENN-Diagramm (Flä-
chendiagramm) (Bild 2.2.4) an-
schaulich dargestellt werden. Das
Bild zeigt, dass der Grad der Ab-
hängigkeit beider Quellen formal im
Grad der Überdeckung beider Kreis-
flächen und damit in der Größe der
bedingten Entropien zum Ausdruck
kommt.
Unter Nutzung dieser Interpretation
können wir bei der Angabe der fol-
genden Schranken für die bedingten
Entropien auf einen mathematischen
Beweis verzichten:
Bild 2.2.4 VENN-Diagramm einer
Verbundquelle ( X,Y )
H ( X|Y ) ≤ H ( X )
und H ( Y |X ) ≤ H ( Y ) .
(2.19)
Es sollen jetzt noch zwei interessante Grenzfälle der Abhängigkeiten beider
Quellen betrachtet werden (Bild 2.2.5):
a) Vollständige Unabhängigkeit:
Bei unabhängigen Ereignissen gilt p ( y j |x i )= p ( y j ) ,d.h.
H ( Y |X )= H ( Y ) entsprechend Gl. (2.19) und damit
H ( X,Y )= H ( X )+ H ( Y ) .
b) Vollständige Abhängigkeit:
Bei vollständig abhängigen Ereignissen ist H ( Y
|
X )=0 und damit wird
H ( X,Y )= H ( X ) .
(Für den Fall, dass zuerst in der Quelle Y ein Ereignis stattfindet, wäre H ( X,Y )
= H ( Y ) .)
H(X)
H(Y)
H(Y)
H(X)
a)
b)
Bild 2.2.5 Grenzfälle für Verbundquellen
a) vollständig unabhängig, b) vollständig abhängig
Search WWH ::




Custom Search