Database Reference
In-Depth Information
P (a
(i)
b
(j)
)log
2
P (a
(i)
b
(j)
)
H(A, B)=
−
i,j
Zwischen Verbund- und bedingter Entropie besteht der folgende Zusammenhang:
H(A, B)=H(B)+H(A
|
B)=H(A)+H(B
|
A)
(A.15)
(A.15) entspricht der Vorstellung, dass Information grundsatzlich additiv ist, und
lasst sich leicht nachrechnen. Bereinigt man nun die Entropie von A um die bedingte
Entropie von A bezuglich B,soerhalt man ein Maß fur die Information, die B fur
A bereithalt:
Inf
(A
B)=H(A)
−
H(A
|
B)
(A.16)
⎛
⎞
⎝
−
⎠
P (a
(i)
)log
2
P (a
(i)
)
P (b
(j)
)P (a
(i)
|
b
(j)
)log
2
P (a
(i)
|
b
(j)
)
=
−
−
i
i,j
⎛
⎝
j
⎞
=
i,j
P (a
(i)
b
(j)
)
P (b
(j)
)
−
P (a
(i)
b
(j)
)log
2
P (a
(i)
b
(j)
)
⎠
log
2
P (a
(i)
)
i
=
i,j
P (a
(i)
b
(j)
)
P (b
(j)
)
−
P (a
(i)
b
(j)
)log
2
P (a
(i)
b
(j)
)log
2
P (a
(i)
)
i,j
P (a
(i)
b
(j)
)
log
2
log
2
P (a
(i)
)
=
i,j
P (a
(i)
b
(j)
)
P (b
(j)
)
−
=
i,j
P (a
(i)
b
(j)
)
P (a
(i)
)P (b
(j)
)
P (a
(i)
b
(j)
)log
2
Inf
(A
B)wird
gegenseitige Information (mutual information)
oder
eigentliche
Information (information proper)
genannt. Sie ist symmetrisch in A und B.Wenn
A und B unabhangig sind, d. h. P (a
(i)
b
(j)
)=P (a
(i)
)P (b
(j)
)fur alle i, j,soist
Inf
(A
B) = 0 - in diesem Fall liefert keine der beiden Variablen irgendwelche
Information uber die andere.
Schließlich wollen wir uns mit dynamischen Veranderungen von Wahrschein-
lichkeitsverteilungen, wie sie z. B. in Zeitreihenanalysen vorkommen, beschaftigen.
Nehmen wir einmal an, die Verhaltnisse, die zur Erstellung der Verteilung P gefuhrt
haben, andern sich, und die der neuen Situation angemessene Verteilung sei Q.Es
soll der Informationsgewinn berechnet werden, der sich daraus ergibt, dass man diese
Anderung bemerkt hat. In diesem Fall benutzt man zur Bestimmung der Entropie
korrekterweise die neuen Informationswerte
log
2
Q(ω). Ist einem die Anderung
jedoch verborgen geblieben, so rechnet man weiter mit
−
log
2
P (ω). Die Gewichts-
faktoren werden in jedem Fall von der aktuellen Verteilung Q bestimmt, so dass
sich der gesuchte Informationsgewinn als Differenz
−
R(Q, P ):=−
Q(ω)log
2
P (ω) −
−
Q(ω)log
2
Q(ω)
ω
ω
=
ω
Q(ω)
P (ω)
Q(ω)log
2
(A.17)
