Literatur zu Theorien/Hypothesen über den Informationsgehalt von Daten

Question

Wurden schon Gesetze aufgestellt bzw. gibt es Gesetze die beschreiben ob ein beliebiger Datensatz überhaupt Information enthält oder nicht? Also Gesetze die die Verhältnisse zwischen Daten und Information beschreiben.

Damit meine ich nicht spezifische Information in gegebenen Formen wie: "Wie das Wetter ist" sondern ganz Allgemein.

Oder hab ich einen Denkfehler und da gibt es nix abzugrenzen oder zu beschreiben weil jeder Datensatz potentiell Information enthält? Wer hat sich bisher mit sowas beschäftigt?

In Bildern veranschaulicht:

       vs.          

Ist vielleicht was allgemein, ich hoffe jemand kann mir dazu Literatur empfehlen, dass ich mich in das Thema reinarbeiten kann.

Danke für eure Zeit :)

Comments

Habs gefunden.
In der Informationstheorie ist das die Entropie, welche ein maß für die Informationsdichte einer Nachricht ist.

Literatur dazu ist von Claude Shannon "A Mathematical Theory of Communication".

Aber danke für die Antwort Mathecoach :)

Answer 1

Prinzipiell kann jeder Datensatz Daten enthalten. Auch wenn wir nicht unbedingt in der Lage sind die Daten zu erkennen. Es könnte sich ja z.B. um verschlüsselte Daten handeln. Wenn man allerdings weiß was für Daten es sind, dann kann man evtl. abschätzen wie viele Daten darin enthalten sind. Wenn ich also annehme das rechte Bild oben soll auch ein Bild sein, Dann könnte man es auf ein weißes Rauschen untersuchen. D.h. sind die einzelnen Punkte wirklich statistisch unabhängig voneinander oder gibt es eine übergeordnete Struktur die das Ganze bestimmt.