Cryptography Reference
In-Depth Information
1 Einführung
1.1
Gegenstand der Informations- und
Kodierungstheorie
Die Informations- und Kodierungstheorie [information and coding theory] ge-
hört zum theoretischen Fundament der Informatik. Sie dient der formalen Be-
schreibung, der Analyse und Bewertung informationeller Prozesse (wie Er-
zeugung, Übertragung und Speicherung von Information) in unterschiedlichen
Anwendungsbereichen. Bemerkenswert dabei ist, dass die Information in die-
sen Prozessen immer nur in kodierter Form erscheint, womit bereits auf den
engen Zusammenhang zwischen Information und Kodierung hingewiesen wer-
den soll.
Die Entstehung der Informationstheorie und der Kodierungstheorie fällt des-
halb nicht zufällig in die gleiche Zeit, die mit den grundlegenden Arbeiten von
C.E. SHANNON [SHA 48] und R.W. HAMMING [HAM 50] datiert werden
kann. In der Folgezeit haben sich beide Theorien dann jedoch weitgehend selb-
ständig entwickelt.
Obwohl die Informationstheorie, historisch gesehen, aus den Bedürfnissen der
Nachrichtenübertragung entstand, fand sie nach dem Erscheinen der Arbeit
von SHANNON eine rasche Verbreitung in vielen Anwendungsbereichen. Da-
bei wurden aber auch bald ihre Grenzen erkannt, die darin bestehen, dass die
Informationstheorie nur eine spezifische Seite der Information, nämlich ihren
statistischen
Aspekt, erfasst, der sich auf die wahrscheinlichkeitstheoretische
Verteilung der informationstragenden Elemente (z. B. Zeichen) bezieht. Man
sagt deshalb auch zu Recht „Statistische Informationstheorie“ oder „SHAN-
NONsche Informationstheorie“.
Für die Einbeziehung des semantischen Aspekts (Bedeutung der Information)
und des pragmatischen Aspekts (Nutzen für den Informationsempfänger) ist
bisher noch keine gleichwertige und allgemeingültige Lösung gefunden worden.
Andererseits hat die Beschränkung auf den statistischen Aspekt jedoch in den
meisten Fällen erst eine mathematische, d. h. wahrscheinlichkeitstheoretische
