Statistik: Approximation von Verteilungen

Approximation: Approximation heißt Näherung, wie ja beispielsweise Alpha Proxima Centauri der uns am nächsten gelegene Stern ist. Wir wollen also Verteilungswerte, bei deren Berechnung wir heftige Unlustgefühle entwickeln, mit Hilfe anderer Verteilungen annähern. Sie werden nun mit Recht einwenden, dass das ja heutzutage mit der Entwicklung schneller Rechner eigentlich überflüssig sei. Nun hat man aber nicht immer einen Computer dabei (etwa in einer Klausur) oder es fehlt die Software zur Berechnung. MS-Excel bietet zwar solche Funktionen, aber die Umsetzung ist etwas verquer, so dass häufig ein erhöhter Verstehensaufwand betrieben werden muss. Bei bestimmten Funktionswerten, wie großen Binomialkoeffizienten gehen schon mal Taschenrechner in die Knie.

Approximation diskreter Verteilungen durch diskrete Verteilungen

Die Wahrscheinlichkeitsfunktion der Hypergeometrischen Verteilung sieht so aus:

${\frac {{M \choose x}\cdot {N-M \choose n-x}}{N \choose n}}$

Haben wir als Anwendung eine Kiste mit 10 Ü-Eiern gegeben, von denen 3 den gesuchten Obermotz enthalten, kann man etwa die Wahrscheinlichkeit, bei 5 Versuchen zwei Obermotze zu erhalten, leicht errechnen - naja, relativ leicht.

Aber betrachten wir den Fall: In einer Sendung von 500 speziellen Chips sind 100 Stück defekt. Bei der Eingangskontrolle werden 20 Chips getestet. Wenn jetzt die Wahrscheinlichkeit verlangt wird, dass genau 10 defekte Chips gezogen werden, erhält man

${\frac {{400 \choose 10}\cdot {100 \choose 10}}{500 \choose 20}}\;.$

Spüren Sie schon Unlustgefühle? Vielleicht können wir uns hier die Berechnung mit der Binomialverteilung erleichtern. Vergleichen wir die beiden Verteilungen, fällt auf, dass beide den gleichen Erwartungswert haben: EX = nθ. Nur in den Varianzen unterscheiden sie sich,

Binomialverteilung: $varX=n\theta (1-\theta )$ und hypergeometrische Verteilung: $varX=n\theta (1-\theta ){\frac {N-n}{N-1}},$

nämlich im Korrekturfaktor. Wird nun N sehr groß, ist der Korrekturfaktor fast Eins und wir erhalten approximativ die Varianz der Binomialverteilung. Wie groß ist jetzt ein großes N? Das kommt darauf an, wie genau wir die Näherung haben wollen. Für die Approximation der Hypergeometrischen Verteilung durch die Binomialverteilung gibt es mehrere empfohlene Faustregeln, je nach Geschmack der Autoren. Eine der einfacheren Faustregeln, die man sich auch einigermaßen merken kann, ist

$h(x|N;M;n)\approx b(x|n;\cdot {\frac {M}{N}}){\mbox{, wenn }}{\frac {n}{N}}<0,05$

ist. Da in unserem Beispiel diese Voraussetzungen erfüllt sind, berechnen wir die gesuchte Wahrscheinlichkeit als

${20 \choose 10}\cdot 0,8^{10}\cdot 0,2^{10}\;.$

Wir haben also das Modell ohne Zurücklegen durch ein Modell mit Zurücklegen angenähert. Man könnte so argumentieren: Wenn etwa 10000 Kugeln in einer Urne sind, macht es kaum einen Unterschied, ob beim 2. Versuch noch 9999 oder 10.000 Kugeln übrig sind. Analoges gilt für die Zahl der Kugeln 1. Sorte. Deshalb genügt auch die Angabe des Anteils θ dieser Kugeln an der Gesamtheit der Kugeln:

$\theta ={\frac {M}{N}}\;.$

Noch eine Bemerkung: Stellt man sich allerdings bei der Berechnung dieser Binomialkoeffizienten ein bisschen dumm an, protestiert die Software, weil man einen Überlauf erhält. Man kann allerdings hier mit der Stirling-Formel noch etwas ausrichten. Oder man logarithmiert die Fakultäten.

Für sehr kleines θ (oder sehr kleines 1-θ) und sehr großes n ist die Binomialverteilung wiederum annähernd Poisson-verteilt. Es ist nämlich die Poissonverteilung die Grenzverteilung der Binomialverteilung für n → ∞ und θ → 0. Die Berechnung der Poissonverteilung ist einfacher als die Berechnung der Binomialverteilung. Eine Faustregel wäre hier etwa, dass eine binomialverteilte Zufallsvariable durch die Poisson-Verteilung angenähert werden kann, wenn θ ≤ 0,05 und n ≥ 50 ist. Dann ist

$b(x|N;M;n)\approx p(x|n\cdot \theta )\;.$

Über den Umweg der Binomialverteilung kann dann auch die hypergeometrische Verteilung gegebenenfalls mit der Poisson-Verteilung approximiert werden:

$h(x|N;M;n)\approx p(x|n;{\frac {M}{N}}){\mbox{, wenn }}{\frac {n}{N}}\leq 0,05,\theta \leq 0,05{\mbox{ und }}n\geq 50$

ist.

Weiter unten folgt eine tabellarische Zusammenfassung ausgewählter Approximationen.

Approximation diskreter Verteilungen durch die Normalverteilung

Was ist nun aber, wenn wir wissen wollen, wie groß die Wahrscheinlichkeit ist, dass höchstens 15 defekte Chips gefunden werden: P(X ≤ 15)? Hier müssen wir auf die oben beschriebene Weise 16 Wahrscheinlichkeiten ermitteln und addieren. Spätestens hier wünscht man sich eine Möglichkeit, so etwas schneller errechnen zu können. Es wäre doch angesagt, wenn man da die Normalverteilung verwenden könnte.

Binomialverteilung mit n = 15 und θ = 0,5 und darübergelegte Normalverteilungsdichte

Binomialverteilung mit n = 15 und θ = 0,3 und darübergelegte Normalverteilungsdichte

Binomialverteilung mit n = 15 und θ = 0,1 und darübergelegte Normalverteilungsdichte

Binomialverteilung mit n = 45 und θ = 0,3 und darübergelegte Normalverteilungsdichte

Vergleichen wir die Grafiken der Binomialverteilungen. Es wurden hier die Wahrscheinlichkeiten als benachbarte Säulen dargestellt, was ja am optischen Erklärungswert nichts ändert.

Wir können deutlich erkennen, dass die Binomialverteilung für θ = 0,5 symmetrisch ist. Hier passt sich die Normalverteilung am besten an. Je weiter θ von 0,5 abweicht, desto schlechter ist die Anpassung der Normalverteilung. Die so gut wie immer verwendete Faustregel ist, dass man mit der Normalverteilung approximieren darf, wenn

$n>{\frac {9}{\theta (1-\theta )}}$

ist. Dürfen heißt natürlich nicht, dass es sonst verboten ist, sondern dass sonst die Anpassung unbefriedigend ist.

Eine Normalverteilung hat den Erwartungswert μ und die Varianz σ². Wie soll man diese Parameter bei der Approximation ermitteln? Nun wissen wir ja, dass der Erwartungswert der Binomialverteilung und ihre Varianz

$EX=n\theta$ und $varx=n\theta (1-\theta )$

sind, also nehmen wir doch einfach diese Parameter für die Normalverteilung, also

$\mu =n\theta$ und $\sigma ^{2}=n\theta (1-\theta )$.

Etwas fehlt uns noch: Wir nähern hier eine diskrete Verteilung durch eine stetige Verteilung an. Diskrete und stetige Verteilungen sind zwei völlig unterschiedliche Konzepte. Wir betrachten hier das Beispiel einer Binomialverteilung mit n = 45 und θ = 0,3.

Nähern wir P(X ≤ 12) = B(12|45;0,3) durch Φ(12|45·0,3; 45·0,3·0,7) an, wird nur die halbe Säule addiert, denn die stetige Verteilung kennt keine Säulen. Soll die ganze Säule einbezogen werden, müssen wir bis 12,5 gehen, also P(X ≤ 12) = B(12|45;0,3) durch Φ( 12,5|45·0,3; 45·0,3·0,7).

Wenn man mit der Normalverteilung P(X ≤ 12) berechnet, wird nur die halbe Säule addiert

Wenn man mit der Normalverteilung P(X ≤ 12,5) berechnet, wird die ganze Säule addiert

Den addierten Wert 0,5 nennt man Stetigkeitskorrektur.

Speziell gilt für die Wahrscheinlichkeit P(X = a):

P(X = a) = b(a|n;θ) ≈ Φ(a+0,5|nθ; nθ(1-θ)) - Φ(a -0,5|nθ; nθ(1-θ)).

Approximation stetiger Verteilungen durch die Normalverteilung

Jetzt haben wir also auch noch stetige Funktionen, die wir mit der Normalverteilung annähern wollen. Was gibt es denn da für welche? Nun, welche die man oft braucht, etwa für Schätzen und Testen, als da wären die χ²-Verteilung, die F-Verteilung und die t-Verteilung.

Nehmen wir uns doch mal die χ²-Verteilung vor. Ein Blick auf ihre Dichtefunktion verrät, dass diese mit wachsendem n immer symmetrischer wird, sich also der Normalverteilung annähert. Wir wissen, dass die χ²-Verteilung eine Summe von Zufallsvariablen, nämlich standardnormalverteilten, quadrierten, ist und wir erinnern uns (gell?), dass nach dem zentralen Grenzwertsatz sich die Verteilung einer Summe von Zufallsvariablen der Normalverteilung annähert. Betrachten wir die mit n Freiheitsgraden χ²-verteilte Zufallsvariable X. Wir bilden eine neue Zufallsvariable

$Y={\sqrt {2X}}$

Eine gängige Faustregel besagt für die Approximation für die Wahrscheinlichkeit P(Y ≤ y):

$P(Y\leq y)\approx \Phi (y|{\sqrt {2n-1}};1)\;.$

Die Dichtefunktion t-Verteilung dagegen hat eine ähnliche Form wie die Standardnormalverteilung, denn auch sie ist symmetrisch bezüglich der Null. Hier genügt eine einfache Faustregel: Wenn n > 30 ist, kann man die Verteilungswerte der t-Verteilung annähernd mit Hilfe der Standardnormalverteilung bestimmen:

$t(x|n)\approx \Phi (x|0;1)\;.$

Tabelle der Approximationen

Gesuchte Verteilung	Approximation durch
$P(X\leq x)$	Binomial	Poisson	Normal
Binomial $B(x|n\theta )\approx$	---	$P(x|n\theta )$ ${\mbox{ falls }}n\geq 50$ ${\mbox{ und }}\theta \leq 0,05$	$\Phi (x+0,5|n\cdot \theta ;n\cdot \theta \cdot (1-\theta ))$ ${\mbox{ falls }}n>{\frac {9}{\theta (1-\theta )}}$
Hypergeometrische $H(x|N;M;n)\approx$	$B(x|n{\frac {M}{N}})$ ${\mbox{ falls }}{\frac {n}{N}}<0,05$	über Binomialverteilung	$\Phi (x+0,5|n\cdot {\overset {\text{ }}{\frac {M}{N}}};n\cdot {\frac {M}{N}}\cdot (1-{\frac {M}{N}})\cdot {\frac {N-n}{N-1}}$ ${\mbox{ falls }}n>{\frac {9}{{\frac {M}{N}}\cdot (1-{\frac {M}{N}})}}$ ${\mbox{ und }}{\underset {\text{ }}{\frac {n}{N}}}<0,05$
Poisson $P(x|\lambda )\approx$	---	---	$\Phi (x+0,5|\lambda ;\lambda ){\mbox{ falls }}\lambda >9$
χ2-Verteilung $\chi ^{2}(x|n)$→ $P({\sqrt {2X}}\leq {\sqrt {2x}})\approx$	---	---	$\Phi ({\overset {\text{ }}{\sqrt {2x}}}|{\sqrt {2n-1}};1)$ ${\mbox{ falls }}n>30$
t-Verteilung $t(x|n)\approx$	---	---	$\Phi (x|0;1){\mbox{ falls }}n>30$
F-Verteilung $F(x|m;n)\approx$	---	---	$\Phi (x|0;1){\mbox{ falls }}$ $m>30{\mbox{ und }}n>30$

↓  Deskriptive Statistik

↑  Nichtlineare Funktionen der Normalverteilung

↑↑ Inhaltsverzeichnis Statistik