Informationsquellen - Informations-und Kodierungstheorie - page 12

Ohne Berücksichtigung der unterschiedlichen Gruppenwahrscheinlichkeiten wä-
re die Quellenentropie
H 0 = ld 24 = 4 , 6 bit/Zeichen .

Hinweis : Aufgaben s. Abschn. 2.4

2.2.2 Diskrete Quellen mit abhängigen Ereignissen

(MARKOW-Quellen)

2.2.2.1 Beschreibung diskreter MARKOW-Quellen

Im vorangegangenen Abschnitt wurde angenommen, dass die aufeinanderfol-
genden Ereignisse einer Quelle voneinander unabhängig sind. Man spricht in
diesem Fall auch von einer „Quelle ohne Gedächtnis“. Diese Modellannahme
ist zwar oft bei praktisch hinreichender Genauigkeit gerechtfertigt, weicht je-
doch meistens erheblich von der Realität ab, wie z. B. bei der Verwendung des
Alphabets der lateinischen Buchstaben. Schon aus Erfahrung wissen wir, dass
in jedem sinnvollen Text bestimmte Buchstabenverbindungen (z. B. en, de,
ch) sehr viel häufiger als andere vorkommen, d. h., zwischen diesen existieren
stärkere Abhängigkeiten.
Die Abhängigkeit zeigt sich darin, dass das Eintreten eines Ereignisses (die
Auswahl eines Quellenzeichens) von den vorausgegangenen Ereignissen be-
stimmt wird. Mit anderen Worten: Das Ereignis x ( m +1) tritt unter der Bedin-
gung ein, dass ganz bestimmte Ereignisse x (1) ,x (2) , ..., x ( m ) bereits eingetreten
sind.
Diese m Ereignisse stellen den Zustand der Quelle vor dem Eintreten des Er-
eignisses x ( m +1) dar. Bei jedem Ereignis (Auswahl eines Quellenzeichens) geht
die Quelle in einen Folgezustand über, der durch die m zuletzt ausgewählten
Quellenzeichen bestimmt wird und von dem die Auswahl des jeweils nächsten
Quellenzeichens abhängt.
Die Auswahl des Quellenzeichens x ( m +1) erfolgt demnach mit der bedingten
Wahrscheinlichkeit
p x ( m +1) | x ( m ) ... x (2) x (1) . (2.8)

Ein Quellenmodell, bei dem die Quellenzeichen entsprechend Gl. (2.8) aus-
gewählt werden, wird als „MARKOW-Quelle m -ter Ordnung“ oder auch als
„Quelle mit Gedächtnis“ bezeichnet.
Wir werden uns hier auf den wichtigen Modellfall „MARKOW-Quellen er-
ster Ordnung “ beschränken, bei dem die Auftrittswahrscheinlichkeiten der
Ereignisse immer nur von dem zuletzt eingetretenen Ereignis x ( m ) abhängen.