Cryptography Reference
In-Depth Information
Definition 2.2.2
Der Entscheidungsgehalt von zwei unabhängigen und
gleichwahrscheinlichen Ereignissen einer Quelle
bit
Ereignis
H
0
=
ld
2=1
(2.4)
wird als
Einheit der Informationsmenge
bezeichnet.
Beispiel 2.2.1
Berechnung der Quellenentropie eines Würfels
(
N
=6)
für folgende Fälle:
•
idealer Würfel mit
p
i
=
6
für
i
=1
,
2
, ...,
6
.
Entsprechend Gl. (2.3) ergibt sich
H
0
=
ld
6=2
,
58
bit/Ereignis
,
•
vom Idealfall abweichender Würfel mit dem Wahrscheinlichkeitsvektor
(
p
i
)=(
p
1
,p
2
, ..., p
6
)=
8
.
1
8
1
8
1
8
1
8
3
8
Entsprechend Gl. (2.2) erhält man
H
m
=5
·
8
ld
8+
8
ld
3
=2
,
41
bit/Ereignis .
Diese Ergebnisse werden durch die praktische Erfahrung bestätigt, derzufolge
die Unbestimmtheit (Entropie) geringer ist, wenn die Wahrscheinlichkeit für
das Auftreten einer bestimmten Augenzahl beim Würfeln größer als die der
anderen Augenzahlen ist.
Beispiel 2.2.2
Berechnung der Entropie einer
Binärquelle
(
N
=2
)mit
p
1
=
p
und
p
2
=1
−
p
.
Durch Einsetzen der Wahrscheinlichkeiten in Gl. (2.2) ergibt sich
H
m
=
−p
ld
p −
(1
− p
)
ld
(1
− p
)
.
(2.5)
Die logarithmische Funktion
H
(
p
1
,p
2
)
hat die Extremwerte
H
(0
,
1) =
H
(1
,
0) = 0
und
H
2
,
2
=
H
max
=1
bit/BZ .
Anmerkung
:
In der Rechentechnik und Datenverarbeitung wird grundsätzlich jedem
Bit
(binäres Element als Träger der Information) der Wert von
1
bit
zugeordnet.
Der entsprechende Informationsgehalt gemäß der SHANNONschen Theorie be-
trägt jedoch nur im Grenzfall
1
bit
, d. h., wenn beide möglichen Binärzustände
gleichwahrscheinlich
sind.
