Cryptography Reference
In-Depth Information
Durch Einsetzen dieser Beziehung in Gl. (2.2) für diskrete Ereignisse erhält
man
H
(
X
)=
−
f
(
x
i
)Δ
x
ld
(
f
(
x
i
)Δ
x
)
i
=
−
f
(
x
i
)Δ
x
ld
f
(
x
i
)
−
f
(
x
i
)Δ
x
ld
Δ
x.
i
i
Um nun zur Entropie einer
kontinuierlichen
Quelle zu gelangen, muss der
Grenzübergang
Δ
x
→
0
durchgeführt werden. Das gelingt nicht vollständig,
denn
lim
Δ
ld
Δ
x
x
→
0
würde eine unendlich große Entropie
H
(
X
)
ergeben, was offensichtlich der
Realität widerspricht. Betrachtet man die Stufenbreite
Δ
x
als Maß für die
Auflösung der stetigen Funktion in praktisch unterscheidbare Amplitudenwer-
te (was der praktisch möglichen Genauigkeit bei der Informationserfassung
entspricht), dann hat
Δ
x
immer einen Wert, der größer als Null ist und, im
Gegensatz zur Funktion
x
(
t
)
, nicht zufällig ist.
Nach dem Grenzübergang für die übrigen Ausdrücke in der obigen Gleichung
erhalten wir
∞
H
(
X
)=
−
f
(
x
)
ld
f
(
x
)
d
x −
ld
Δ
x.
(2.20)
−∞
Da
Δ
x
unter gleichen Bedingungen als konstant angesehen werden kann, lässt
man das Glied ld
Δ
x
in Gl. (2.20) meistens weg und spricht von der
relativen
Entropie
einer kontinuierlichen Quelle:
∞
H
rel
=
−
f
(
x
)
ld
f
(
x
)
d
x.
(2.21)
−∞
Beispiel 2.3.1
Wir bestimmen die Entropie für zwei praktisch wichtige Fälle von kontinuier-
lichen (analogen) Zufallssignalen.
1.
Amplitudenbegrenztes
Signal mit einer
Gleichverteilung
der Funkti-
onswerte im Bereich
−a ≤ x ≤ a
:
Einsetzen von
f
(
x
)=
2
a
in Gl. (2.21) ergibt
a
1
H
rel
=
2
a
ld
(2
a
)
d
x,
−a
H
rel
=
ld
(2
a
)
.
(2.22)
