Gestörte Kommunikation Entropie

Question

Frage: Zur Kommunikation gibt es lange und kurze Wolken.

Mit einer WS von 1/8 wird eine lange Wolke zu einer kurzen Wolke und mit einer WS von 1/4 eine kurze Wolke zu einer langen Wolke. Hierbei treten diese Wahrscheinlichkeiten unabhängig voneinander
von Wolke zu Wolke auf. X ist die Zufallsvariable die angibt welche Nachricht gesendet wurde, Y ist die Zufallsvariable die angibt welche Nachricht empfangen wurde. Die Nachrichten werden gleichverteilt gesendet und haben die Länge 2

1. Bestimmen Sie H(X|Y = Kurze Wolke lange Wolke ).
2. Bestimmen Sie H(Y). Überlegen Sie sich dafür zuerst, wie groß die Wahrscheinlichkeit ist, dass die empfangene
Nachricht an einer festen Position Kurze Wolke oder lange Wolke enthält.
3. Bestimmen Sie H(Y|X).
4. Bestimmen Sie I(X,Y).
5. Bestimmen Sie H(X|Y).

Answer 1

Zur Kommunikation gibt es lange und kurze Wolken.

\(\textrm{---}\) und \(\circ\)

1. Bestimmen Sie H(X|Y = Kurze Wolke lange Wolke ).

\(- (P(X=\circ\circ | Y = \circ\text{---})\cdot \log_2P(X=\circ\circ | Y = \circ\text{---}) + P(X=\circ\text{---} | Y = \circ\text{---})\cdot \log_2 P(X=\circ\text{---} | Y = \circ\text{---}) + P(X=\text{---}\circ | Y = \circ\text{---})\cdot \log_2 P(X=\text{---}\circ | Y = \circ\text{---}) +P(X=\text{---}\,\text{---} | Y = \circ\text{---})\cdot \log_2 P(X=\text{---}\,\text{---} | Y = \circ\text{---}))\)