Cryptography Reference
In-Depth Information
H
m
=0
,
10
ld
1
0
,
10
+0
,
76
ld
1
0
,
76
+0
,
14
ld
1
0
,
14
=1
,
03
bit/Zustand .
Wird darüber hinaus noch Gleichwahrscheinlichkeit der Zustände angenom-
men, ergibt sich eine maximale Entropie
H
0
=
ld
3=1
,
58
bit/Zustand .
Die Ergebnisse des Beispiels 2.2.5 bestätigen den objektiven Zusammenhang
zwischen dem Maß der Unbestimmtheit und der Entropie bzw. dem mittleren
Informationsgehalt der Quelle: Je mehr „Vorinformation“ in Form von Wahr-
scheinlichkeitsverteilungen berücksichtigt wird, um so geringer ist die verblei-
bende Unbestimmtheit. Wir sollten aber nicht vergessen, dass es sich in diesem
Beispiel nur um unterschiedliche Modelle
einer
Quelle handelt.
Die Anwendung des MARKOW-Modells (unter der Voraussetzung der Reali-
sierbarkeit) würde zu einer beträchtlichen Reduzierung der zu verarbeitenden
oder zu speichernden Informationsmengen führen. Auf diesen Aspekt, der mit
der Kodierung zusammenhängt, werden wir im Abschn. 3.4.2.4 näher einge-
hen.
Hinweis
:
Aufgaben
s. Abschn. 2.4
2.2.2.3 Spezielle MARKOW-Modelle
Bei dem oben betrachteten MARKOW-Modell werden zu jedem diskreten Zeit-
punkt
alle möglichen
Zustandsübergänge berücksichtigt. Dadurch ist das Mo-
dell universell anwendbar. In speziellen Anwendungsfällen kann es aber sinnvoll
sein, das Modell so an die konkrete Quelle anzupassen, dass viele Übergangs-
möglichkeiten „verdeckt“ bleiben. Auf diese Weise kann die Modellkomplexität
wesentlich verringert werden. Für diese angepassten Modelle wurde der Begriff
Hidden-MARKOW-Modell
(HMM) eingeführt.
Wir wollen uns hier auf die kurze Beschreibung eines praktischen Anwendungs-
falls beschränken, und zwar auf ein „phonetisches Strukturmodell als Hidden-
Markow-Modell“ [SCH 92].
Die automatische Sprachverarbeitung setzt eine Modellierung der natürlichen
Sprache voraus. Eine Möglichkeit dazu ist, die in der Sprache enthaltenen
Phoneme
(kleinste bedeutungstragende Lauteinheiten) durch spezielle MAR-
KOW-Modelle nachzubilden.
Man hat erkannt, dass jedes Phonem durch 6 aufeinanderfolgende Zustände
(
z
1
,z
2
, ..., z
6
)
hinreichend genau beschrieben werden kann. Diese Zustände
sind zeitlich so angeordnet, dass man in jedem Zustand nur drei Übergangs-
möglichkeiten berücksichtigen muss: man verweilt im jeweiligen Zustand
oder
geht zum nächstfolgenden über
oder
überspringt einen Zustand (Bild 2.2.3).
