Cryptography Reference
In-Depth Information
3. Eine Quelle, deren Alphabet ein
sicheres Ereignis
enthält, hat keine Unbe-
stimmtheit:
H
(0
, ...,
0
,
1
,
0
, ...,
0) = 0
.
Der Beweis folgt unmittelbar aus Gl. (2.2).
4. Die Hinzufügung von
unmöglichen Ereignissen
zum Alphabet einer Quelle
ändert nicht ihre Entropie:
H
(
p
1
,p
2
, ..., p
N
,
0
,
0
, ...,
0) =
H
(
p
1
,p
2
, ..., p
N
)
.
Der Beweis folgt unmittelbar aus Gl. (2.2).
5. Die Auflösung eines Ereignisses in Teilereignisse, für die
p
i
=
q
1
+
q
2
gilt,
führt zu einer
Zunahme der Entropie
:
H
1
(
p
1
,p
2
, ..., p
i
, ..., p
N
)
<H
2
(
p
1
, ..., q
1
,q
2
, ..., p
N
)
.
Beweis
(für
i
=
N,
also
p
N
=
q
1
+
q
2
):
N−
1
N−
1
H
1
=
−
p
i
ld
p
i
− p
N
ld
p
N
=
−
p
i
ld
p
i
− q
1
ld
p
N
− q
2
ld
p
N
,
i
=1
i
=1
N−
1
H
2
=
−
p
i
ld
p
i
−
q
1
ld
q
1
−
q
2
ld
q
2
,
i
=1
H
2
−
H
1
=
−
q
1
ld
q
1
−
q
2
ld
q
2
+
q
1
ld
p
N
+
q
2
ld
p
N
,
=
q
1
ld
p
N
q
1
+
q
2
ld
p
N
>
0
.
q
2
Der letzte Satz lässt folgende allgemeine Schlussfolgerung zu:
Je größer die Auflösung eines diskreten Systems ist, d. h. je feiner es struk-
turiert ist, um so größer ist seine Entropie bzw. sein mittlerer Informations-
gehalt.
Abschließend kehren wir nochmal zum 2. Satz mit der Bemerkung zurück, dass
der Maximalwert der Entropie auch als
Entscheidungsgehalt
H
0
[decision
content] der Quelle bezeichnet wird. Darunter ist Folgendes zu verstehen:
In einem System zufälliger Ereignisse kann jedes Ereignis durch aufeinanderfol-
gende Binärentscheidungen (ja/nein, kleiner/größer, u. Ä.) bestimmt werden.
Soll z. B. auf diese Weise aus einer Menge von
N
Zahlen eine bestimmte Zahl
„erraten“ werden, so sind dazu im Mittel
H
0
Fragen bzw. Binärentscheidungen
erforderlich.
Von besonderem Interesse in diesem Zusammenhang ist der binäre Fall (
N
=2
)
mit gleichwahrscheinlichen Ereignissen, z. B. der Wurf einer Münze mit den
möglichen Ergebnissen „Kopf“ oder „Zahl“. Für diesen Fall wird die Einheit
der Informationsmenge definiert.
