Informationsmaße

Thermodynamikvorlesung von Prof. Dr. E. Schöll, PhD

Der Artikel Informationsmaße basiert auf der Vorlesungsmitschrift von Franz- Josef Schmitt des 1.Kapitels (Abschnitt 2) der Thermodynamikvorlesung von Prof. Dr. E. Schöll, PhD.

   |}}

Die Informationstheorie (Shannon, Wiener) entstand im 2. Weltkrieg im Zusammenhang mit der Entschlüsselung codierter Nachrichten!

Definition:

Ein Maß $\mu$

auf einer Algebra A´ ist eine Abbildung $\mu :A\stackrel{´}{}\to [0,\mathrm{\infty }]$

mit den Eigenschaften

$\begin{array}{rl}& \mu (0)=0\\ & \mu (\bigcup _{i=1}^{\mathrm{\infty }}{A}_i)=\sum _{i=1}^{\mathrm{\infty }}\mu \left(A_i\right)\\ \end{array}$

für disjunkte Ereignisse Ai, also

$A_i\cap A_j=A_i{\delta }_{ij}$

Nebenbemerkung: Eine $\sigma$

- Algebra A´ ist eine Algebra A´ mit der Eigenschaft, dass abzählbar viele

$\begin{array}{rl}& A_i\in A\stackrel{´}{},i=1,....,\mathrm{\infty }\\ & \Rightarrow \bigcup _{i=1}^{\mathrm{\infty }}{A}_i\in A\stackrel{´}{}\\ \end{array}$

Also: Die Vereinigung der Ereignisse ist Element der Algebra!

Im Folgenden sei unsere Algebra A´ stets eine Sigma- Algebra!

Beispiel eines Maßes: Wahrscheinlichkeit P

Speziell:

$P(A)\le 1$

Idee des Informationsmaßes:

Vergleich verschiedener Wahrscheinlichkeitsverteilungen über einer Ereignisalgebra A´

Frage: Welche von 2 Verteilungen enthält mehr Information, bzw. Kenntnis darüber, welches Ereignis eintreten wird ?

Mathematische Grundbegriffe: Reed/ Simon: Methods of Modern Math. Physics, Vol. I: Functional Analysis!

Beispiel:

Zonk- Problem:

Hauptgewinn ist hinter einer von 3 Türen versteckt!

$A,B,C\in A\stackrel{´}{}$

1. Verteilung: Alle drei Türen zu je 1/3:

$P^{(1)}=\delta (x-1)+\delta (x-2)+\delta (x-3)$

Als Gleichverteilung → minimale Kenntnis

1. Verteilung:

$P^{(2)}=\delta (x-2)$

scharfe Verteilung → maximale Kenntnis / Sicherheit

Bitzahl:

Ausgangspunkt: diskrete Ereignisalgebra:

$A\stackrel{´}{}={\left\{A_i\right\}}_{i\in I}$

Frage: Wie lange muss eine Nachricht sein, die einem Beobachter mitteilt, dass ein Ereignis eingetreten ist ??

Länge der Nachricht = Maß für die fehlende Kenntnis des Beobachters

Beispiel:

Auswahl eines Ereignisses aus

$A\stackrel{´}{}=\{A_1,A_2,...,A_N\}$

falls der Beobachter keine Vorkenntnis hat.

$1)A\stackrel{´}{}=\{A_1,A_2\}$

einafche Alternative

= kleinste Informationseinheit

= 1 bit (binary digit)

Nachricht: 0 oder 1

1. A´ sei menge mit $2^n$
2. Elementen:

n Alternativentscheidungen notwendig:

z.B. 0011 → insgesamt n Stellen in Binärdarstellung nötig!

Länge der Nachricht:

$n={\log }_{2}N$

(nötige Bitzahl)

Informationsmaß der Nachricht:

Bitzahl!

Also: $b(N)={\log }_{2}N$

falls keine Vorkenntnis vorhanden ist!

Verallgemeinerung auf Wahrscheinlichkeitsverteilungen $P_i$

Falls der Beobachter die $P_i$

kennt, muss nur die fehlende Information mitgeteilt werden: Also die Bitzahl $b(P_i)$ .

:

1. $b(P)$
2. sei eine universelle Funktion, hängt von A also nur über P(A) ab!
3. Seien $\left\{A_i\right\}$
4. und $\left\{A_j\stackrel{´}{}\right\}$
5. 2 verschiedene (disjunkte) sample sets, z.B. 2 Subsysteme eines zusammengesetzten Systems: So gilt:

Für 2 völlig unkorrelierte Subsysteme eines zusammengesetzten Systems gilt:

b ist additiv, also:

$b(P\stackrel{´}{}\stackrel{´}{})=b(P)+b(P\stackrel{´}{})$

wobei nach Definition der Unkorreliertheit (stochastische Unabhängigkeit) gilt:

$P\stackrel{´}{}\stackrel{´}{}(A_i{A}_j\stackrel{´}{})=P(A_i)P\stackrel{´}{}(A_j\stackrel{´}{})$

dabei ist

$A_i{A}_j\stackrel{´}{}$

das direkte Produkt der beiden Zufallsvariablen, gegeben durch das Ereignistupel $\left\{A_i{A}_j\stackrel{´}{}\right\}$ .

3) b(P)=0 für P=1, also für das sichere Ereignis

$\begin{array}{rl}& b(P)={\log }_{2}N\\ & f\ddot{u}rP=\frac{1}{N}\\ \end{array}$

also im Falle von Gleichverteilung, welches maximale Unbestimmtheit darstellt!

4) $b(P)$

ist stetig und wohldefiniert für $0\le P\le 1$

Wegen der Additivität macht es Sinn:

$b(P)=f(\log P)$

zu definieren. Es muss f noch bestimmt werden!

Wegen 1) und 2) folgt:

$\begin{array}{rl}& f(\log P\stackrel{´}{}\stackrel{´}{})=f(\log P+\log P\stackrel{´}{})=!=f(\log P)+f(\log P\stackrel{´}{})\\ & \Rightarrow f(\log P)=a*\log P\\ \end{array}$

Also: die Funktion sollte linear in log P sein!

Bemerkung:

Für 2 unkorrelierte Systeme ist die Länge der Nachricht = Informationsmaß bei maximaler Unbestimmtheit additiv.

Dies motiviert Postulat 2)

Aus 3) folgt:

$\begin{array}{rl}& f(\log P\stackrel{´}{}\stackrel{´}{})=f(\log P+\log P\stackrel{´}{})=!=f(\log P)+f(\log P\stackrel{´}{})\\ & \Rightarrow f(\log P)=a*\log P\\ & b(P)=a\log (P)=-a\log N=!={\log }_{2}N\\ & f\ddot{u}rP=\frac{1}{N}\\ & \Rightarrow a=-1\\ & \log ={\log }_2\\ \end{array}$

Konvention:

Einheit für ein bit:

$\ln 2=\frac{\ln P}{{\log }_{2}P}$

"bin"

$b(P_i)=-\ln P_i$

Informationsmaß für die Nachricht, dass Ai eingetreten ist,

falls

$P_i=P(A_i)$

bekannt ist!

Informationsmaß einer Wahrscheinlichkeitsverteilung $\left\{P_i\right\}$

Übermittlung vieler Nachrichten:

$A_i$

tritt mit relativer Häufigkeit $P_i$

auf!

mittlere benötigte (= da fehlende!) Information pro Ereignis:

$b(P_i)=-\ln P_i$

somit:

$⟨b(P_i)⟩=-\sum _i^{}{P}_i\ln P_i$

Definition: Shannon-Information einer Verteilung $\left\{P_i\right\}$: $I(P)=\sum _{i=1}^N{P}_i\ln P_i$

$\begin{array}{rl}& P=(P_1...P_N)\\ \end{array}$

I ist Funktional der Verteilung

b ist Funktion von Pi b(Pi)

Es gilt stets $I(P)\le 0$

Maximum: $I(P)=0$

für $p_i={\delta }_{ij}$

Also maximal für scharfe Verteilung mit sicherem Ereignis $A_j$

Minimum: Variation der $P_i$

um $\delta P_i$ unter der Nebenbedingung

$\sum _i^{}\delta P_i=0$

wegen Normierung:

$\sum _i^{}{P}_i=1$

Somit:

$\delta I(P)=\sum _{i=1}^N(\ln P_i+1)\delta P_i=0$

Addition der Nebenbedingung $\sum _i^{}\delta P_i=0$

mit dem Lagrange- Multiplikator $\lambda$:

$\sum _{i=1}^N(\ln P_i+1+\lambda )\delta P_i=0$

unabhängige Variation $\delta P_i\Rightarrow \mathrm{\forall }i\Rightarrow \ln P_i=-(1+\lambda )=const.$

Normierung $\sum _i^{}{P}_i=1=N{P}_i\Rightarrow P_i=\frac{1}{N}$, also Gleichverteilung

Übung: Man vergleiche I(P) für verschiedene Verteilungen

Kontinuierliche Ereignismenge

$x\in R^d,\rho (x)$

• Zelleneinteilung des $R^d$
• in Zellen i mit Volumen
• ${\mathrm{\Delta }}^{d}x$

Wahrscheinlichkeit für ein Ereignis in Zelle i:

$\begin{array}{rl}& P_i=\rho \left(x^i\right){\mathrm{\Delta }}^{d}x\\ & I(P)=\sum _i^{}{\mathrm{\Delta }}^{d}x\rho \left(x^i\right)\ln \left({\mathrm{\Delta }}^{d}x\rho \left(x^i\right)\right)=\sum _i^{}{\mathrm{\Delta }}^{d}x\rho \left(x^i\right)\ln \left(\rho \left(x^i\right)\right)+\sum _i^{}{\mathrm{\Delta }}^{d}x\rho \left(x^i\right)\ln \left({\mathrm{\Delta }}^{d}x\right)\\ & \sum _i^{}{\mathrm{\Delta }}^{d}x\rho \left(x^i\right)=1\\ & \sum _i^{}{\mathrm{\Delta }}^{d}x\rho \left(x^i\right)\ln \left({\mathrm{\Delta }}^{d}x\right)=const.\\ \end{array}$

für eine feste Zellengröße.

Damit kann dieser Term weggelassen werden und wir gewinnen:

$\begin{array}{rl}& I(P)=\sum _i^{}{\mathrm{\Delta }}^{d}x\rho \left(x^i\right)\ln \left(\rho \left(x^i\right)\right)\\ & {\mathrm{\Delta }}^{d}x\to 0\\ & I(\rho )=\underset{}{\overset{}{\int }}{d}^{d}x\rho \ln \rho \\ \end{array}$

Bemerkungen

1. Shannon- Informationsmaß misst die Kenntnis bezüglich der Frage: Welches Ereignis tritt ein ?

keine Unterscheidung, wi die verteilung zustande kommt, z.B. bei Gleichverteilung: genaue Beobachtung ODER vorurteilsfreie Schätzung bei gänzlich fehlender Kenntnis

(Laplacsches Prinzip vom unzureichenden Grund)

2) Definition : Statistisches Informationsmaß des NICHTWISSENS: (der fehlenden Information):

$S(\rho )=-k\underset{}{\overset{}{\int }}{d}^{d}x\rho \ln \rho$

k geeignete Einheit

Interpretation in der Thermodynamik als Entropie

1. verallgeminerte Informationsmaße (Renyi)$S(\rho )=-k\underset{}{\overset{}{\int }}{d}^{d}x\rho \ln \rho$

$\begin{array}{rl}& I_q=-\frac{1}{1-q}\ln \left(\sum _i^{}{\left(p_i\right)}^{q-1}\right)\\ & q=1,2,....\\ \end{array}$

wird gleich dem Shannon- Informationsmaß für $q\to 1$

Informationsgewinn

Maß für die Zusatzinformationen einer Wahrscheinlichkeitsverteilung $\left\{P_i\right\}$

im Vergleich zu einer Referenzverteilung $\left\{P_i\stackrel{´}{}\right\}$

über derselben Ereignismenge:

$b\left(P_i\stackrel{´}{}\right)-b\left(P_i\right)=\ln \frac{P_i}{P_i\stackrel{´}{}}$

Dies ist zu verstehen als die notwendige Bitzahl, um Pi´ in Pi zu verwandeln, also die Information, die als Nachricht hierfür gegeben werden muss :

Mittlere Bitzahl (mit der korrigierten Wahrscheinlichkeitsverteilung gewichtet):

:$K(P,P\stackrel{´}{})=\sum _i^{}{P}_i\ln \frac{P_i}{P_i\stackrel{´}{}}$ Informationsgewinn → Kullback Information!

Bemerkungen

mittlere Bitzahl / Informationsgewinn ist asymmetrisch bezüglich P↔P´
es gilt: $K(P,P\stackrel{´}{})\ge 0$ wegen

$\sum _i^{}{P}_i\ln \frac{P_i}{P_i\stackrel{´}{}}\ge \sum _i^{}{P}_i(1-\frac{P_i\stackrel{´}{}}{P_i})=\sum _i^{}{P}_i-\sum _i^{}{P}_i\stackrel{´}{}=1-1=0$

es gilt:

$\begin{array}{rl}& \ln x\ge 1-\frac{1}{x}\\ & f\ddot{u}r\\ & x>0\\ \end{array}$

$P_i\stackrel{´}{}=0$ ist auszuschließen, damit $K(P,P\stackrel{´}{})<\mathrm{\infty }$

Für $P_i\stackrel{´}{}=\frac{1}{N}$ (Gleichverteilung)

$\begin{array}{rl}& K(P,P\stackrel{´}{})=\sum _i^{}{P}_i\ln N{P}_i=\sum _i^{}{P}_i\ln P_i+\sum _i^{}{P}_i\ln N=I(P)+\ln N\\ & wegen\sum _i^{}{P}_i=1\\ & \Rightarrow K(P,P\stackrel{´}{})=I(P)+\ln N\\ \end{array}$

bei Gleichverteilung!

5) Minimum von K:

Variation der $P_i$

um$\delta P_i$

unter Nebenbedingung $\sum _i^{}\delta P_i=0$

$\begin{array}{rl}& \delta K(P,P\stackrel{´}{})=\sum _i^{}(\ln \frac{P_i}{P_i\stackrel{´}{}}+1)\delta P_i\\ & \sum _i^{}(\ln \frac{P_i}{P_i\stackrel{´}{}}+1+\lambda )\delta P_i=0\\ & \Rightarrow \ln (\frac{P_i}{P_i\stackrel{´}{}})=-(+1+\lambda )=const.\\ & \Rightarrow P_i\stackrel{~}{}{P}_i\stackrel{´}{}\\ \end{array}$

Wegen Normierung:

$\begin{array}{rl}& \sum _i^{}{P}_i=\sum _i^{}{P}_i\stackrel{´}{}=1\\ & \Rightarrow P_i=P_i\stackrel{´}{}\Rightarrow K=0\\ \end{array}$

1. $K(P,P\stackrel{´}{})$
2. ist konvexe Funktion von P, da

$\frac{{\partial }^{2}K(P,P\stackrel{´}{})}{\partial P_i\partial P_j}=\frac{\partial }{\partial P_j}(\ln \frac{P_i}{P_i\stackrel{´}{}}+1)=\frac{1}{P_i}{\delta }_{ij}\ge 0$

somit ist dann auch

$I(P)=K(P,\frac{1}{N})-\ln N$

konvex (Informationsgewinn)

Kontinuierliche Ereignismengen

$x\in R^d,\rho (x)$

• Zelleneinteilung des $R^d$
• in Zellen i mit Volumen
• ${\mathrm{\Delta }}^{d}x$

Wahrscheinlichkeit für ein Ereignis in Zelle i:

$\begin{array}{rl}& P_i=\rho \left(x^i\right){\mathrm{\Delta }}^{d}x\\ & K(P,P\stackrel{´}{})=\sum _i^{}{\mathrm{\Delta }}^{d}x\rho \left(x^i\right)\ln \frac{\rho \left(x^i\right)}{\rho \stackrel{´}{}\left(x^i\right)}\\ \end{array}$

invariant gegen die Trafo

$\begin{array}{rl}& x\to \tilde{x}\\ & \rho \left(x\right)\to \rho \left(\tilde{x}\right)Det\left(\frac{\partial x}{\partial \tilde{x}}\right)\\ & {\mathrm{\Delta }}^{d}x\to {\mathrm{\Delta }}^d\tilde{x}Det{\left(\frac{\partial x}{\partial \tilde{x}}\right)}^{-1}\\ \end{array}$

Während

$I(P)$

nicht invariant ist!

$\begin{array}{rl}& {\mathrm{\Delta }}^{d}x\to 0\\ & \Rightarrow K(\rho ,\rho \stackrel{´}{})=\underset{}{\overset{}{\int }}{d}^{d}x\rho \ln \frac{\rho }{\rho \stackrel{´}{}}\\ \end{array}$

Bemerkung:

Interpretation von $-k\dot{K}(\rho ,\rho \stackrel{´}{})$

in der Thermodynamik als Entropieproduktion und von

$kTK(\rho ,\rho \stackrel{´}{})$

als Exergie (availability)