Cryptography Reference
In-Depth Information
Definition 4.4.1
Die Transinformation
H
T
[mutual information] ist die In-
formationsmenge, die im Mittel durch ein Kanalzeichen vom Sender zum
Empfänger übertragen werden kann.
Durch Störungen auf dem Kanal verändern sich die Verhältnisse. Ein Teil der
Information geht verloren. Dieser Anteil ist durch die Entropie
H
(
X|Y
)
ge-
kennzeichnet und wird als Äquivokation bezeichnet. Sie bestimmt die ver-
bleibende Unbestimmtheit über die gesendete Information bei Kenntnis der
empfangenen Information. Das bedeutet, dass nur ein Teil der Information
am Kanaleingang den Kanalausgang erreicht. Quantitativ lässt sich der Anteil
bestimmen als
H
T
=
H
(
X
)
− H
(
X|Y
)
.
(4.4)
Die Transinformation
H
T
ist demzufolge die
übertragbare Nutzinformation
.Sie
ist im Fall von Störungen nur ein Teil der Entropie am Kanalausgang.
Dieser Sachverhalt lässt sich auch auf eine andere Art interpretieren. Die Entro-
pie am Kanalausgang enthält neben der Transinformation einen weiteren An-
teil, der durch die Störungen auf dem Kanal entsteht, und als Irrelevanz oder
Störentropie bezeichnet wird. Die Entropie am Kanalausgang ist daher
H
(
Y
)=
H
T
+
H
(
Y
|
X
)
(4.5)
und damit
H
T
=
H
(
Y
)
− H
(
Y |X
)
.
(4.6)
Die Maßeinheit für die Transinformation ist
bit/Kanalzeichen
(
bit/KZ
).
Es ist wichtig festzustellen (und aus Gl. (4.4) zu erkennen), dass die
Trans-
information nicht nur vom Kanal, sondern auch von der Quelle (vom Kanal-
eingang) abhängt
. Bei der Behandlung der Kanalkapazität wird darauf noch
eingegangen.
Für die analoge Übertragung gelten die gleichen Betrachtungen. Nur bezieht
sich die Transinformation hier nicht auf das Kanalzeichen sondern auf den
Probenwert.
