Cryptography Reference
In-Depth Information
2.2
Diskrete Quellen
2.2.1
Diskrete Quellen mit unabhängigen Ereignissen
Im Abschn. 1.2 wurde ein Informationsmaß eingeführt (Gl. (1.1)), das nun zur
Berechnung verschiedener Quellenmodelle genutzt und erweitert werden soll.
Dabei werden die zunächst für ein Einzelereignis dargestellten Überlegungen
auf eine endliche Menge unterschiedlicher Ereignisse übertragen.
Definition 2.2.1
Eine Quelle mit dem Alphabet
X
x
1
,x
2
, ..., x
N
}
und der Verteilung der zugehörigen Auftrittswahrscheinlichkeiten
(
p
(
x
i
)) =
(
p
(
x
1
)
,p
(
x
2
)
, ..., p
(
x
N
))
,wobei
=
{
N
p
(
x
i
)=1
,
(2.1)
i
=1
wird als
diskrete Quelle X
mit
unabhängigen
Ereignissen bezeichnet.
Da Gl. (1.1) offensichtlich für alle
p
(
x
i
)
(
i
=1
,
2
, ..., N
) gilt, ergeben sich
H
1
=
−
ld
p
(
x
1
)
,
H
2
=
−
ld
p
(
x
2
)
,
.
H
N
=
−
ld
p
(
x
N
)
.
Die einzelnen Ereignisse liefern i. Allg. unterschiedliche Beiträge zur Unbe-
stimmtheit bzw. zum Informationsgehalt der Quelle. Da die Ereignisse zufälli-
gen Charakter haben, wie oben festgestellt wurde, ist auch
H
i
(
i
=1
,
2
, ..., N
)
eine Zufallsgröße, für die folgender
gewichteter
Mittelwert
H
m
berechnet wer-
den kann:
i
=1
N
H
m
=
p
(
x
i
)
H
i
bzw.
N
N
p
(
x
i
)
ld
1
H
m
=
p
(
x
i
)
=
−
p
(
x
i
)
ld
p
(
x
i
)
.
(2.2)
i
=1
i
=1
Anmerkungen
zur Notation:
1. Im Weiteren wird zur einfacheren Schreibweise meistens
p
(
x
i
)=
p
i
gesetzt.
2. Wo es zweckmäßig erscheint, wird
H
m
=
H
(
p
1
,p
2
, ..., p
N
)
geschrieben.
