Entropie: Wahrscheinlichkeit

Zurück zur Übersicht

Entropie und Wahrscheinlichkeit

Bearbeiten
 
Ein Würfel Welche Wahrscheinlichkeit hat jede Seite?

Der Begriff Wahrscheinlichkeit wird von den meisten Menschen viel eher verstanden, als der Begriff der Entropie. Wie man aus der Formel von Shannon erkennen kann, sind die beiden Begriffe eng verwandt.

An Hand einer Münze oder eines Würfels hat jeder eine ganz gute Vorstellung von der Wahrscheinlichkeit.

Einfache Beispiele:

  • Die Wahrscheinlichkeit bei einem Münzwurf das Wappen zu bekommen beträgt bei einer idealen Münze p = 0,5
  • Die Wahrscheinlichkeit bei einem idealen Würfel bei einem Wurf eine 6 zu erhalten beträgt p = 1/6 = 0,16666

Wenn man den Begriff Wahrscheinlichkeit nicht verstanden hat, dann kann man sich die Wikipediaseite über die Wahrscheinlichkeit anschauen.   Wahrscheinlichkeit

Die Wahrscheinlichkeit wird in der Mathematik meist mit p abgekürzt und liegt definitionsgemäß immer zwischen 0 und 1.

p = 0   ==> völlig unmögliches Ereignis 
p = 1   ==> sicheres Ereignis 
p = 0,5 ==> idealer Münzwurf 

Alle Wahrscheinlichkeiten von mehr bzw. minder wahrscheinlichen Ereignissen liegen zwischen 0 und 1.

Von der Wahrscheinlichkeit zur Entropie, Zahl der Möglichkeiten

Bearbeiten

Will man von der Wahrscheinlichkeit zur Entropie gelangen, braucht man noch einen wichtigen weiteren Begriff:

Die Zahl der Möglichkeiten eines Zufallsereignisses.

Bei mehreren Ergebnissen eines Zufallsprozesses oder bei der Koppelung von Zufallsprozessen hintereinander wächst die Zahl der Möglichkeiten sehr schnell zu einer großen Zahl an.

Die Entropie ist dabei ein Maß für diese Zahl der Möglichkeiten. 
 
Entropie versus Zahl der Möglichkeiten

Durch die Anwendung des   Logarithmus auf die Zahl der Möglichkeiten wird das Ergebnis (die Entropie) dabei wieder eine viel kleinere Zahl, die besser handhabbar ist. Die Eigenschaften und die Bedeutung des Begriffes werden durch diese Umformung im Wesentlichen aber nicht verändert.

Man muß allerdings noch unterscheiden, ob die Ergebnisse des Zufallsprozesses gleichwahrscheinlich sind oder ob sie verschiedene Wahrscheinlichkeiten haben.

Sehr einfach berechenbar ist die Zahl der Möglichkeiten M bei gleicher Wahrscheinlichkeit p dieser Möglichkeiten. In diesem Fall gilt.

M = 1/p 

Die Entropie der Shannonformel kann man dann als die Zahl der Stellen einer Binärzahl ansehen, die man braucht um alle Möglichkeiten mit gleichgesetzter Wahrscheinlichkeit in binärer Form darzustellen.

 
Der Oktaeder, ein Achterwürfel

Betrachtet man beispielsweise den Wurf eines idealen Achterwürfels, dann gilt hier:

p = 1/8 
Zahl der Möglichkeiten = 8
Entropie H = 3 
denn 8 = 2^3
Acht ist zwei hoch drei 

Man braucht eine Binärzahl von 3 Stellen, um alle 8 Möglichkeiten darstellen zu können.

000,001,010,011,100,101,110,111 
1   2   3   4   5   6   7   8

Vorsicht ist geboten mit dem Begriff der Wahrscheinlichkeit in der Boltzmannschen Entropieformel. Das ist die sog. thermodynamische Wahrscheinlichkeit , ein sehr mißverständlicher Begriff. Er entspricht eigentlich viel besser der Zahl der Möglichkeiten ( = Mikrozustände ) eines Systems oder einer Anordnung.

Zusammenfassung

Bearbeiten

Wenn man ein Zufallsexperiment mit bekannter Wahrscheinlichkeit mehrfach wiederholt , dann bleibt die Wahrscheinlichkeit immer gleich. Die Entropie der Folge wächst an und kann aus der Wahrscheinlichkeit und der Zahl der durchgeführten Experimente berechnet werden.

Wenn man ein Zufallsexperiment mit unbekannter Wahrscheinlichkeit mehrfach wiederholt , dann wird die Wahrscheinlichkeit immer besser und genauer bestimmbar. Die Gesamtentropie der Folge wächst an und kann aus der geschätzten Wahrscheinlichkeit und der Zahl der durchgeführten Experimente berechnet werden.