Informationsgehalt bei Shannonscher Informationstheorie - Herleitung

Question

Hallo,

ich habe eine Frage zur Shannonschen Informationstheorie und würde mich daher sehr über eine Antwort freuen!

Wir haben erst vor ein paar Tagen mit der Thematik begonnen und ich weiß, dass der Informationsgehalt eines Ereignisses, bei dem die zugehörige Wahrscheinlichkeit als \( p_z \) bezeichnet wird, \( I(z) = -\log{2}{p_z} \) beträgt, da laut vorheriger Bedingungen ein stetiges Intervall \( I : (0; 1] \rightarrow \mathbb{R_{\geq 0}} \) mit \( I(p_1,p_2) = I(p_1) + I(p_2) \ \forall \ p_1, p_2 \) gesucht ist und dafür der Logarithmus die einfachste Funktion, die all das erfüllt, darstellen soll. Aber warum ist dem so? Wie kommt man darauf und wie lässt sich das beweisen?

Comments

da laut vorheriger Bedingungen

Welche Bedingungen meinst du?

ein stetiges Intervall \( I : (0; 1] \rightarrow \mathbb{R_{\geq 0}} \)

\(I\) sieht nicht wie ein Intervall aus, eher wie eine Funktion.

mit \( I(p_1,p_2) = I(p_1) + I(p_2) \ \forall \ p_1, p_2 \)

Wie ist \(I(p_1,p_2)\) definiert?

\(I\) ist ja eigentlich eine Funktion mit Definitionsmenge \((0; 1]\) und Wertebereich \(\mathbb{R}_{\geq 0} \). Das Paar \((p_1,p_2)\) kann deshalb nicht zum Definitionsbereich gehören.

---

Das war natürlich falsch, danke für die Anmerkung. \( I \) ist eine Funktion, die auf dem oben genannten Intervall definiert ist (und auf die reellen, positiven Zahlen einschließlich 0 abbildet).

\( I(p_1p_2) \) soll ohne Komma da stehen - es geht darum, dass im Falle einer stochastischen Unabhängigkeit beide Informationsgehalte addiert werden können.

Answer 1

Satz. (1. Logarithmusgesetz) Es gilt

        \(\log_a bc = \log_a b + \log_a c\)

für alle \(a > 0 \) mit \(a \neq 1\) und alle \(b,c > 0\).

Beweis. Sei \(a > 0 \) mit \(a \neq 1\) und \(b,c > 0\). Ferner seien \(p,q \in \mathbb{R}\) so dass \(a^p = b\) und \(a^q = c\) ist. Dann ist einerseits

        \(\log_a bc = \log_a a^pa^q = \log_a a^{p+q} = p+q\)

und andereseits

        \(\log_a b + \log_a c = \log_a a^p + \log_a a^q = p+q\).

Also ist auch

        \(\log_a bc = \log_a b + \log_a c\qquad\qquad\square\)

Korollar. Aus dem 1. Logarithmusgesetz folgt

        \(\begin{aligned}I\left(p_1p_2\right) &= -\log_2 p_1p_2 \\&= -\left(\log_2 p_1+ \log_2 p_2\right) \\&= \left(-\log_2 p_1\right) + \left(-\log_2 p_2\right) \\&= I\left(p_1\right) + I\left(p_2\right)\end{aligned}\)

Comments

Vielen Dank!

Ich gehe davon aus, dass bei \( \log_{a}{b} + \log_{a}{c} = p + q \) und nicht \( p + 1 \) gemeint war, oder?

---

Ja. Außerdem müssen \(b,c\) entgegen der ersten Version größer als 0 sein, und nicht nur aus \(\mathbb{R}\). Aber das ist ja aufgrund der Definitionsmenge von \(I\) der Fall.

---

Vielen Dank!