Cryptography Reference
In-Depth Information
Mit Gl. (2.2) wird die mittlere Unbestimmtheit der Quelle berechnet, die als
Entropie
[entropy] bzw.
Quellenentropie
bezeichnet wird. Aufgrund des Zu-
sammenhangs zwischen Unbestimmtheit und Information stellt die Quellenen-
tropie
H
m
damit gleichzeitig den
mittleren Informationsgehalt
[average
information content] der Quelle dar.
H
m
erhält die Maßeinheit
bit/Zeichen, bit/Messwert
u. Ä. Obwohl in der Li-
teratur häufig nur die Einheit
bit
verwendet wird, werden wir im vorliegenden
Buch aus methodischen Gründen auch immer die Bezugsgröße für
bit
ange-
ben.
In den folgenden Sätzen werden einige wichtige Eigenschaften der Entropie-
funktion gemäß Gl. (2.2) aufgeführt:
1. Die Quellenentropie
H
m
ist eine stetige Funktion von
p
i
für
0
≤ p
i
≤
1
.
2.
H
m
wird
maximal
, wenn alle Ereignisse der Quelle
gleichwahrscheinlich
sind.
Beweis:
Zur Extremwertbestimmung von
H
m
verwenden wir den LAGRANGEschen
Multiplikator
λ
und erhalten die Hilfsfunktion
p
i
ld
p
i
− λ
N
mit
N
N
F
=
−
p
i
−
1
p
i
=1
i
=1
i
=1
i
=1
N
=
−
(
p
i
ld
p
i
+
λp
i
)+
λ.
i
=1
Die partiellen Ableitungen nach
p
i
(
i
=1
,
2
, ..., N
) ergeben
∂F
i
∂p
i
=
−
ld
p
i
−
ld
e
−
λ.
Aus der Bedingung
∂F
i
∂p
i
=0
erhalten wir schließlich
ld
e − λ
(
i
=1
,
2
, ..., N
)
.
Da ld
p
i
für alle
i
gleich ist, muss
p
i
=
N
(
i
=1
,
2
, ..., N
)
für den Extremwert gelten. Alle zweiten Ableitungen nach
p
i
ergeben nega-
tive Werte, d. h., es liegt tatsächlich ein Maximalwert vor.
Nach dem Einsetzen von
p
i
=1
/N
in Gl. (2.2) ergibt sich damit der
Ma-
ximalwert
der Quellenentropie
H
max
=
ld
N.
ld
p
i
=
−
(2.3)
