Databases Reference
In-Depth Information
man hierfür ein Maß des mittleren Informationsgehalts einer Informationsquelle
benötigt. Mit der Konzeption dieser Einheit machte er als Erster “Information”
messbar.
Abbildung 9: Kommunikationssystem bei S
HANNON
[Shannon & Weaver 1972, S. 34]
Um sein Ziel zu erreichen, betrachtete S
HANNON
Telegrafen als Informationsquel-
len. Diese Quellen sind nach seiner Meinung als stochastische Prozesse zu inter-
pretieren. Nachrichten bestehen also aus einer Reihe von Zeichen eines endlichen
Zeichenvorrates (Alphabet) mit bestimmten Wahrscheinlichkeiten. Kommunikati-
on ist dann die Auswahl einer Nachricht aus mehreren möglichen Nachrichten. Da
die Wahrscheinlichkeit eines Zeichens immer von seinem Vorgängerzeichen ab-
hängt, liegt der Spezialfall einer Markoff-Kette vor. In genügend langen Symbol-
folgen lassen sich so jedem Symbol i bestimmte Erzeugungswahrscheinlichketen pi
zuordnen. Das quantitative Maß für den Informationsgehalt, das von S
HANNON
die Entropie H der Nachrichtenquelle genannt wurde, lautet wie folgt [Shannon &
Weaver 1972, S. 50f.]:
¦
H
p
log
p
i
2
i
i
1..
n
Die Reduktion auf eine logarithmische Basis war laut S
HANNON
sinnvoll, da jeder
Buchstabe eines beliebigen Alphabets mit einer endlichen Anzahl von 0-1-
Entscheidungen bestimmt werden kann: “The choice of alogarithmic base corres-
ponds to the choice of a unit for measuring information. If the base 2 is used the
resulting units may be called binary digets, or more briefly
bits
...” [Shannon &
Weaver 1972, S. 32].
Die mathematische Struktur der Entropie lässt sich als Überraschungswert einer
Informationsquelle für einen Empfänger deuten. Folgende Extrema des Informati-
onsgehaltes sind denkbar:
1.
Je unwahrscheinlicher das Auftreten eines Zeichens ist, umso größer ist
der Informationsgehalt. Bezogen auf den gesamten Zeichenvorrat ist dies
dann der Fall, wenn alle Zeichen des Alphabets voneinander unabhängig
wären. Außerdem müssen alle Wahrscheinlichkeiten p
i
gleich sein.
