Information: Zufall

Zurück zur Übersicht

Zufallsinformation und geordnete Information

Wenn man die drei Basisbegriffe der heutigen Naturwissenschaften Materie ( = Stoff), Energie ( = Strahlung ) und Information( = Struktur) betrachtet, kann man fragen, wie der Begriff Information in weitere Subkategorien untergliedert werden kann.

Die erste und wichtigste Unterteilung der Information ist dann die Unterscheidung zwischen Zufallsinformation und nicht zufälliger Information oder auch zwischen Zufallsstruktur und geordneter Struktur.

Basisbegriffe der Natur- und Strukturwissenschaften

Materie ------------  Energie 
   \                     /
    \                   /
     \                 /
      \               /
         Information 
              /  \
             /    \
            /      \
           /        \
          /          \
 Zufalls-            geordnete 
 Information         Information
      |                  |
      |                  |
      |                  |
Beispiel:             Beispiel:  
01101100110111100010  10101010101010101010
      |                  |
      |                  |
      |                  |
Stochastik            Restliche Mathematik 
Statistik

Reine Zufallsinformation ist eher langweilig.
Eine geordnete Information ohne jeden Zufall ist auch eher langweilig.

>> Interessant ist die Mischung aus Zufallsinformation und geordneter Information.

Schneeflocke, ein Spiel von Zufallsinformation und geordneter Information

Wenn man 1 Gramm Wasser betrachtet, dann ist eine Wassertropfen mit Zufallsstruktur der Wassermoleküle eher langweilig. Ein geordneter Einkristall des Wassers ist auch langweilig ( wenn es so etwas gibt). Interessant ist es zwischen drin: beispielsweise ein Schneekristall. Hier gibt es eine unendliche Vielfalt der Formen.

Was ist eine Zufallsfolge ?

Der Begriff "Zufallsfolge" ist eine Übertragung des englischen Begriffs "random sequence" welcher im deutschen keine einheitlichen Bezeichnung hat und zumeist umschrieben wird ("zufällige Reihenfolge" u.a.m.) und meint:

eine zufällige, beliebig lange Folge von 0 und 1
eine zufällige, beliebig lange Folge eines anderen Zahlensystems oder eines Alphabetes
jede Folge von Information, die ein echter Zufallsgenerator produziert.
wird am besten als Zufallsfolge oder Zufallssequenz verstanden.

Das Problem ist allerdings, das es gemischte Informationsfolgen gibt: zufällige Abschnitte wechseln sich mit geordneten Abschnitten ab.

Man kann die berühmten kurzen 01 Sequenzen von Chaitin beispielsweise einfach aneinanderkleben.

Ein weiteres Problem ist, das es teilweise zufällige Folgen gibt.

Ein Reißnagel liefert - bei mehrfachem Werfen und Kodieren der zwei möglichen Ruhezustände mit 0 und 1 - eine Zufallsfolge, die bei statistischer Untersuchung keinem reinem Zufall mehr entspricht.

Ein weiteres Problem ist, dass Definitionen und Grenzen in der Stochastik einer gewissen Willkür unterworfen sind.

Ab welchem Wahrscheinlichkeitsniveu soll man dann von reiner Zufallfolge sprechen: bei p = 0,05 oder p = 0,01.

Zwischen Zufall und Ordnung gibt es oft einen fließenden Übergang und die im nächsten Abschnitt beschriebene Aufspaltung zwischen beiden ist didaktisch sehr wertvoll, im realen Leben aber selten zu finden. Die Mischfolgen herrschen vor.

Aufspaltung zwischen Zufall und Ordnung

Bereits in der Einleitung dieses Buches wurde erwähnt, wie wichtig es ist zwischen zufälliger Information und geordneter Information zu unterscheiden.

Leider ist diese Unterscheidung zwar grundlegend und didaktisch sehr hilfreich, aber nicht so einfach zu vollziehen, wie man es vielleicht gern haben möchte.

Am einfachsten kann man sich die Aufspaltung noch klar machen, wenn man ganz einfache Folgen aus zwei verschiedenen Symbolen wie beispielsweise der 0 und der 1 betrachtet. Mit einem statistischen Test, dem Runtest kann man für solche 01 Folgen einen einfachen Ordnungsparameter berechnen, der es einem erlaubt zwischen Zufall und 2 Arten von Ordnung, der wiederholenden Ordnung und der symmetrischen Ordnung zu unterscheiden.

An anderer Stelle wird diese Berechnung noch etwas genauer erklärt und das Ergebnis etwas poetisch als universelle Entropielandschaft bezeichnet. Siehe hier

Der Anfang der Landschaft ist ganz einfach und es ist noch keine Unterscheidung zwischen Zufall und Ordnung möglich.

1, 0

00, 01, 10, 11

000, 001, 010, 011, 100, 101, 110, 111

0000, 0001, 0010, 0011, 0100, 0101, 0110, 0111, 1000, 1001, 1010, 1011, 1100, 1101, 1110, 1111

00000, 00001, 00010, 00011, 00100, 00101, 00110, 00111, 01000, 01001, 01010, 01011, 01100, 01101, 01111, 10000, 10001, 10010, 10011, 10100, 10101, 10110, 10111, 11000, 11001, 11010, 11011, 11100, 11101, 11111

Ab einer gewissen Länge kann man Ordnung von Zufall trennen.

Grafische Darstellung der Entropiewerte einer 8 Stellen langen 01 Folge

Skizze einer berechnete Ordnungs-Entropielandschaft von 01 Folgen

Ab einer gewissen Länge sind die Ordnungsparameter wie pz dann nicht mehr in einem begrenzten Zeitraum berechenbar. Allerdings kann man sich dann mit Stichproben behelfen.

Grenze zwischen Zufall und Ordnung

Interessant ist, daß an der Grenze zwischen Zufall und Ordnung verwaschene Verhältnisse vorliegen. Es gilt das Tur-Tur Prinzip. Je weiter weg man von der Grenze ist, desto klarer wird die Unterscheidung, je näher man daran ist, desto unschärfer und unsicherer wird sie.

Ein zerüttetes Verhältnis: Information und Entropie

Norbert Wiener, der Begründer der Kybernetik

Es gibt immer wieder Diskussionen um die Verbindung der Begriffe Information und Entropie.

Die Verwirrung rührt daher, da sowohl die Informationsmenge von sinnvoller Information als auch die Menge an Zufallsinformation mit dem selben Maß bit gemessen wird.

Die Entropie ist ein Maß für den Zufall. Je mehr Zufall in einem System oder in einer Struktur steckt, desto höher ist seine Entropie.

Für den Zusammenhang Information I und Entropie H wurden verschiedene Vorschläge gemacht:

I = k * H
- Shannon
  - Information und Entropie sind direkt proportional

I = k / H
- Schrödinger, Wiener, Slizard, Broullion
  - Information und Entropie sind indirekt proportional

I = Io* e^(-k*H)
- Tom Stonier
  - Information und Entropie sind negativ korreliert, es gibt negative Entropie
  - http://www.madeasy.de/2/stonier.htm

Wer hat hier recht?

Ein Vorschlag dazu: Wenn man die Entropie als die Menge an Zufallsinformation betrachtet, die in einem System steckt, dann kann man sagen, dass die Gesamtinformation des Systems immer größer oder gleich der Entropie des Systems ist.

Menge an Gesamtinformation = Menge an Zufallsinformation + Menge an nichtzufälliger Information

Beispiel:

Die Information eines Eisblockes, der auftaut und wieder gefriert, bleibt in seiner Gesamtinformation konstant. Die Menge an Zufallsinformation pendelt dabei zwischen maximal und minimal hin und her. Die Menge an nichtzufälliger Information verhält sich dazu gegensinnig.

Links

Physik

Ein weiterer Anlaß zur Verwirrung ist die Vermischung der Entropie in der Physik mit der Entropie in der Informationstheorie.

Beide Begriffe haben eine ähnliche Bedeutung, sind aber natürlich nicht deckungsgleich.

Entropie in der Physik ist eher der Wärmemenge gleichzusetzen.

http://de.wikibooks.org/wiki/Entropie:_Physik

Entropie in der Informationstheorie ist ein Maß für die Zahl der Möglichkeiten eines Zufallsprozesses wie zb eines Würfels.

siehe Entropie:_IT

Bei Schneekristallen kann man beide Entropiebegriffe anwenden. Man kann die physikalische Entropie eines Schneekristalles beispielsweise beim Schmelzen messen und gleichzeitig kann man aus der geometrischen Anordnung und Zahl der H2O Moleküle die mathematische Entropie des Schnellkristalles berechnen. So kommt man einer Annäherung der Begriffe dann etwas näher.

Manche meinen man könne eine Physik auch ohne den Begriff Information betreiben. Dies scheitert aber schon allein bei Erheben von Meßwerten. Meßwerte sind nichts anderes als mehr oder minder geordnete Information.