Zurück zur Übersicht

Information und Ordnung

Bearbeiten
 
Diamant: Kohlenstoff-Kristallgitter mit perfekter Ordnung

Obwohl der Begriff Ordnung bzw. geordnete Struktur , geordnete Information essentiell für die Informationstheorie ist und sich eigentlich die gesamte Mathematik mit mehr oder minder geordneten Strukturen beschäftigt, findet sich in den Mathematikbüchern kaum ein Wort darüber, was Ordnung eigentlich ist und wie man es mathematisch definieren könnte.

Die beste Definition für den Begriff Ordnung kommt aus der   Kristallographie: Dort hat ein Kristall die höchste Ordnung, wenn es sich um einen Einkristall mit perfekter Reinheit ohne Fehlstellen und ohne Vermischung durch andere Elemente handelt.

Alle Atome stehen dann in diesem Kristall in Reihe und Glied.

 
Schneeflocke:Höhere oder niedrigere Ordnung ?

Höhere Ordnung, ein missverständlicher Begriff

Bearbeiten

Viele Dinge denen man eine vermeintlich höhere Ordnung zuspricht, wie beispielsweise   Schneeflocken, haben nach dieser Definition verglichen mit der perfekten Ordnung des Einkristalles mathematisch eine niedrigere Ordnung.

Ein paar einfache Beispiele sollen dies verdeutlichen:

Beispiele für geordnete und nicht geordnete Strukturen

Bearbeiten

  Gregory Chaitin hat 2 treffende, ganz einfache Beispiele veröffentlicht, um den Unterschied zwischen zufällig und geordnet zu demonstrieren.

01010101010101010101
01101100110111100010 

Dabei hat er bei seinen 2 Beispielen eigentlich noch etwas vergessen:

Zwischen perfekter Ordnung und kompletter Zufallsordnung, gibt es noch gemischt geordnete Strukturen. Zu Verdeutlichung sind die Beispiele hier jeweils 40 Zeichen lang und nicht nur 20 wie bei Chaitin.


Abbildung 0:  


Hohe Ordnung : Entropie nahe Null

1111111111111111111111111111111100000000000000000000000000000000 

Abbildung 1:  

Hohe Ordnung , entspricht einer verlängerten Chaitin Kette A , Entropie nahe Null

0101010101010101010101010101010101010101010101010101010101010101 

Abbildung 2:  

In sich geschlossene Ordnung höhererArt , komplizierte Ordnung mit Symmetrie

1111111110000001100001011000100110010001101000011000000111111111 

Abbildung 3:  

Logische Ordnung höherer Art , Logische Folge zB binäre Zahlen von 0000 bis 1111

0000000100100011010001010110011110001001101010111100110111101111 

Abbildung 4:  

Zufallsordnung Entropie maximal , 64 bit , entspricht einer verlängerten Chaitin B Kette

0100111110101110101000010101001101011010001100101110010000010111

Zahl der Möglichkeiten

Bearbeiten

Betrachtet man eine   binäre Datei einer bestimmten Länge z. B. mit 20 Stellen, dann kann man die Gesamtinformationsmenge aller Möglichkeiten ausrechnen, die mit 20 Stellen und 2 Zeichen dargestellt werden kann:

I = 220 = 1 048 576   Bit = 217   Byte = ca. 130 KiB

Gemeint ist die dabei die Gesamtzahl der verschiedenen Möglichkeiten, die man in einer 20 Stellen langen binären Folge unterbringen kann:

00000000000000000000
00000000000000000001
00000000000000000010
.
.
.
01111111111111111111
11111111111111111111

KiB sind 1024   Byte und nicht 1000 Byte.

Ein Teil der Möglichkeiten aus dieser Gesamtinformationsmenge sind reine Zufallsfolgen, der Rest sind mehr oder minder geordnete Folgen. Die Grenze zwischen beiden Bereichen ist nicht scharf zu ziehen, sondern nur mit einem Wahrscheinlichkeitsniveau von z. B. 95 % festzulegen. Je weiter man von der Grenze weg ist, desto klarer ist die Zuordnung.   Gregory Chaitin hat zwei Beispiele genannt:

  • Geordnete Reihe: 10101010101010101010
Zufall = 0 oder fast Null
  • Ungeordnete Reihe: 01101100110111100010
Zufällige Folge

Beide Reihen haben dieselbe Länge und denselben Speicherplatzbedarf an Bits, trotzdem unterscheiden sie sich fundamental. Die Menge an Zufall einer Reihe lässt sich durch die Entropie bzw. den   Informationsgehalt quantifizieren, bezüglicher der sich beide Reihen sehr stark unterscheiden. Dies ist Gegenstand der   Informationstheorie, die erstmals von   Claude Shannon formalisiert wurde. Die erste Reihe hat zum Beispiel eine Entropie von 0 oder nahe 0, die zweite Reihe hat eine Entropie von 20 bit.

Definition der Ordnung

Bearbeiten

Mathematische Definition von Ordnung

Bearbeiten
 
Quarzkristall aus Tibet

In der Kristallchemie wird Ordnung als Gegensatz von Entropie angesehen. Man definiert Ordnung als Kehrwert zur Entropie, dann kann man folgende Formel aufstellen:

Or = 1/ H    Ordnung = 1 / Entropie    

daraus folgt

Entropie = 1 / Ordnung 

Mit dieser Definition gibt es ein Problem: Bei einer Entropie von 0 wird die Ordnung unendlich groß. Die Vorstellung einer unendlich großen Ordnung ist unpraktisch und unanschaulich.

Als Beispiel wird eine 40er Folge von 1 und 0 betrachtet:

reiner Zufall: Entropie = 40 Bit  Ordnung = sehr niedrig
1011011010101001110010110011100000011110
reine Ordnung: Entropie = 0 Bit   Ordnung = maximal 
1111111111111111111111111111111111111111
0000000000000000000000000000000000000000


Or = 1 / H 

daraus folgt eine Spannweite der Ordnung von Or = 1/40 bis Or = Unendlich

Wahrscheinlich ist folgende Lösung besser:

Or = 1 / (H + 1) 

daraus folgt eine Spannweite der Ordnung von Or = 1/41 bis Or = 1

Abgeleitet davon kann man die Ordnung als Prozentwert angeben:

Or = 100 / ( H + 1) % 

daraus folgt eine Spannweite der Ordnung von Or = 100 /41 % = 2,5 % Ordnung bis 100 % Ordnung