Cryptography Reference
In-Depth Information
Vorgang ist beseitigt, sobald eine konkrete Auswahl realisiert ist. Aus diesem
Gedankengang resultiert die geläufige Aussage:
„Information ist beseitigte Unbestimmtheit “
.
Gelingt es, das Maß dieser Unbestimmtheit als äquivalenten Ausdruck der
Informationsmenge zu ermitteln, so hat man einen Ansatz zur quantitativen
Beschreibung von Informationsprozessen gewonnen.
Ein derartiger Ansatz, der u. a. auf R.V.L. HARTLEY [HAR 28] zurückgeht
und von C.E. SHANNON erweitert und in der von ihm begründeten Informa-
tionstheorie konsequent angewendet wurde, kann wie folgt formuliert werden:
In einer Menge
X
=
{x
1
,x
2
, ..., x
N
}
soll das Ereignis
x
i
mit der Wahrschein-
lichkeit
p
(
x
i
)
für
i
=1
,
2
, ..., N
auftreten. Ein Ereignis kann z. B. die Auswahl
eines Buchstabens aus dem lateinischen Alphabet sein. Der reziproke Wert von
p
(
x
i
)
stellt dann ein Maß
H
i
für die Unbestimmtheit über das Ereignis
x
i
dar:
Je größer
p
(
x
i
)
ist, um so kleiner wird
H
i
, und umgekehrt.
Damit auch die Bedingung erfüllt wird, dass ein sicheres Ereignis (
p
(
x
i
)=1
)
keine Unbestimmtheit enthält (
H
i
=0
), bildet man noch den Logarithmus
1
und erhält:
H
i
=
log
1
p
(
x
i
)
=
−
log
p
(
x
i
)
.
(1.1)
Zweckmäßigerweise verwendet man heute i. Allg., wie auch im vorliegenden
Buch, den
Logarithmus zur Basis 2
(Schreibweise: log
2
x
=
ld
x
).
Da Information als beseitigte Unbestimmtheit verstanden werden soll, gilt der
Ausdruck
H
i
sowohl für das Maß der Unbestimmtheit (die
vor
dem Auftreten
von
x
i
vorhanden war), als auch für das Maß der Information (die
nach
dem
Auftreten von
x
i
gewonnen wurde).
Dieses Informationsmaß, das wir den weiteren Betrachtungen zugrunde legen,
ist logisch erklärbar und mathematisch einfach handhabbar, widerspiegelt je-
doch - das soll nochmals betont werden - nur den statistischen Aspekt der
Information.
1
Von weiteren Vorteilen, die sich aus der Anwendung der Logarithmenrechnung auf das
vorliegende Problem ergeben, werden wir uns im Abschn. 2 überzeugen können.
