Cryptography Reference
In-Depth Information
Wir betrachten abschließend noch ein
spezielles Quellenmodell:
Ein besonderer Modellfall liegt vor, wenn sich das Wahrscheinlichkeitsfeld
aus gleichwahrscheinlichen
und
nichtgleichwahrscheinlichen Ereignissen zusam-
mensetzt. Als Beispiel kann man sich eine Skalenanzeige (mit Grob- und Fein-
anzeige) vorstellen, bei der die ganzzahligen Werte mit sehr unterschiedlichen
Wahrscheinlichkeiten auftreten können, während für die Zwischenwerte meis-
tens Gleichwahrscheinlichkeit angenommen werden kann.
Das mathematische Modell dieses Falls kann wie folgt beschrieben werden:
Gegeben sei eine diskrete Quelle mit
N
unabhängigen Objekten mit unter-
schiedlichen Auftrittswahrscheinlichkeiten
p
i
und
M
i
gleichwahrscheinlichen
Elementen des
i
-ten Objektes (
i
=1
,
2
, ..., N
).
Die Entropie des
i
-ten Objektes ist
H
i
=
ld
p
i
+
ld
M
i
.
Als Mittelwert über alle
N
Objekte erhalten wir die Quellenentropie
H
m
in
bit/Element
:
N
p
i
(
ld
p
i
+
ld
M
i
)
.
H
m
=
(2.6)
i
=1
Für den Fall
M
i
=
M
für alle
i
gilt
N
p
i
ld
p
i
+
ld
M.
H
m
=
(2.7)
i
=1
Die Gln. (2.6) und (2.7) zeigen nochmal deutlich, dass es sich bei diesem Quel-
lenmodell um einen zweistufigen Entscheidungsprozess handelt:
1. Auswahl eines Objektes,
2. Auswahl eines Elementes aus dem entsprechenden Objekt.
Beispiel 2.2.3
Eine diskrete Quelle enthält 24 Zeichen, die in drei gleich große Gruppen mit
den Auftrittswahrscheinlichkeiten
(
p
i
)=(0
,
80 0
,
15 0
,
05)
unterteilt werden
können. Innerhalb jeder Gruppe treten die Zeichen gleichwahrscheinlich auf.
Es ist die Entropie dieser Informationsquelle zu bestimmen!
Lösung:
Mit
M
=8
,
N
=3
und (
p
i
) ergibt sich nach Gl. (2.7)
H
m
=
ld
8
−
0
,
8
ld
0
,
8
−
0
,
15
ld
0
,
15
−
0
,
05
ld
0
,
05 = 3
,
9
bit/Zeichen .
