Benutzer:Philipendula/Spielwiese2
-Tests
BearbeitenVerteilungstests
BearbeitenWir wollen testen, ob Daten einer bestimmten Verteilung entstammen könnten.
Beispielsweise wird in einem Supermarkt die Zahl der Kunden erfasst, die in einer Minute an eine bestimmte Kasse kommen. Könnte die Zahl der Kunden Poisson-verteilt sein?
Für den Test eines Erwartungswertes wird die Normalverteilung des betreffenden Variablen gefordert. Könnten die Daten normalverteilt sein?
Ganz allgemein ausgedrückt lautet unsere Nullhypothese bezüglich der Verteilung eines Merkmals
- .
Wie schon der Begriff -Test andeutet, ist die Prüfgröße des Verteilungstests -verteilt.
Verteilungstest von diskreten Zufallsvariablen
Wir wollen mit einem einfachen Beispiel beginnen.
Beispiel: Tatsächliche Verteilung der Zahl von Autos in einem Haushalt
Ein großer Autobauer gibt eine Studie über Lebensgewohnheiten und Autos in einem EU-Land in Auftrag. Man ging bisher davon aus, dass 20% der Haushalte dieses Landes kein Auto besitzen, 50% sollen ein Auto und 30% zwei Autos haben. Kann von dieser Verteilung der Autos weiterhin ausgegangen werden? Man hat hierzu 50 zufällig ausgewählte Haushalte befragt.
Wenn diese prozentuale Aufteilung immer noch gültig ist, müssten beispielsweise in der Stichprobe auch ca. 20% der Befragten kein Auto haben. Das sind ca. Personen. Wir nennen das die erwartete Häufigkeit. Entsprechend müssten in der Stichprobe ca. 25 Haushalte ein Auto und ca. 15 Haushalte zwei Autos besitzen.
Für die methodische Vorgehensweise definieren wir eine diskrete Zufallsvariable : Zahl der Autos in einem Haushalt. hat die drei Ausprägungen , nämlich , und . Damit erhalten wir drei Kategorien , die in einer Tabelle zusammen mit weiteren Ergebnissen aufgeführt sind. Die unter behaupteten Wahrscheinlichkeiten der Ausprägungen sind . Wir nennen sie ganz schnörkellos , die Wahrscheinlichkeit in der Kategorie . Diese Bezeichnungsweise ist die einfachste für die verschiedenen Arten der Verteilungen, die wir testen wollen. Die summieren sich zu eins:
- .
Die erwarteten Häufigkeiten, wie sie idealerweise in der Stichprobe auftreten sollten, ergeben sich dann als ("E" wie "erwartet").
Erwartete und beobachtete Häufigkeiten der Haushalte mit Autos.
Da wir auch mit stetigen Zufallsvariablen zu tun haben werden, brauchen wir für die Beschreibung des Testverfahrens eine etwas allgemeinere Notation. Wir nennen daher im allgemeinen die Wahrscheinlichkeiten einer Kategorie , quasi als griechisches Äquivalent einer Wahrscheinlichkeit P. Die unter zu erwartende Häufigkeit ist .
Wir testen nun bei einem Signifikanzniveau die Nullhypothese
,
.
Für die Stichprobe befragen wir die Haushalte. Die Zahl der Haushalte, die in eine Kategorie fallen, sind wie gewohnt die absoluten Häufigkeiten . Wir nennen sie beobachtete Häufigkeiten. Es hatten in der Stichprobe Haushalte kein Auto, Haushalte ein und Haushalte zwei Autos.
Wie könnten wir bei der Prüfung vorgehen? Wenn die Abstände zwischen den beobachteten Häufigkeiten und den erwarteten Häufigkeiten klein sind, würde das unterstützen. Zur Ablehnung würden große Abweichungen der beobachteten Häufigkeiten von den erwarteten führen. Für diese Differenzen lässt sich der Prüfwert
angeben, dessen Zufallsvariable Y näherungsweise -verteilt ist mit Freiheitsgraden, falls keine Verteilungsparameter geschätzt wurden. Wir sehen, dass abgelehnt wird, wenn die Differenzen groß werden, das heißt, wenn auch groß wird. Wir lehnen also ab, wenn ist, hier .
Nun berechnen wir den Prüfwert. Der Ablauf findet sich in Tabelle . Es werden erst die Differenzen ermittelt, die dann quadriert werden. Schließlich wird noch durch die erwarteten Häufigkeiten geteilt. Die Summe über die letzte Spalte ergibt dann den gesuchten Wert .
Berechnungsschema für den Verteilungstest: Haushalte mit Autos.
Wie sieht es mit der Entscheidung aus? Der Stichprobenwert ist kleiner als . wird also nicht abgelehnt.
Wir können den gezeigten Test für häufbare Merkmale aller Skalenniveaus analog anwenden, also für nominal skalierte, ordinal skalierte oder metrische diskrete Merkmale.
Häufig sind uns die Verteilungsparameter nicht bekannt. Diese müssen wir schätzen. Es geht uns pro geschätztem Parameter ein Freiheitsgrad verloren, sodass die Prüfgröße dann -verteilt ist mit Freiheitsgraden, wobei die Zahl der geschätzten Parameter angibt.
Damit die Prüfgröße näherungsweise als -verteilt angenommen werden kann, dürfen die Häufigkeiten nicht zu klein werden. Eine Faustregel besagt, dass keine erwartete Häufigkeit kleiner als 1 und höchstens 1/5 aller erwarteten Häufigkeiten kleiner als 5 sein soll\. Kann diese Bedingung mit der vorliegenden Klasseneinteilung nicht erfüllt werden, sollten andere Klassen gebildet werden, oder es werden mehrere benachbarte Klassen zu einer zusammen gefasst, damit die erwartete Häufigkeit groß genug ist.
Verteilungstest einer stetigen Zufallsvariablen
BearbeitenMit dem -Test können auch Verteilungstests für stetige Verteilungen durchgeführt werden.
Die Beobachtungen werden in Klassen\ eingeteilt, auch Kategorien genannt werden. Die absoluten Häufigkeiten ), die wir aus der deskriptiven Statistik kennen, sind die beobachteten Häufigkeiten.
Sodann wird die Wahrscheinlichkeit ermittelt, dass die Zufallsvariable in das entsprechende Klassenintervall fällt. Es ergibt sich
- ,
wobei die Verteilungsfunktion der stetigen Zufallsvariablen ist.
Die erwartete Häufigkeit wird wieder als berechnet.
Für den Umgang mit stetigen Variablen wollen wir ein Beispiel betrachten.
Beispiel: Bildungsindikator für 51 US-Bundesstaaten
In einer Studie zur Kriminalität in US-Bundesstaaten wurde unter anderem der prozentuale Anteil der mindestens 25-jährigen mit einem Bachelor-Abschluss oder höher erfasst. Es liegen die Daten für 51 Bundesstaaten vor.
Bildungsindikator für 51 US-Bundesstaaten
Definieren wir den Bildungsindikator in der Grundgesamtheit als Zufallsvariable . Von den Daten wurde mit dem Auswertungsprogramm Minitab ein Histogramm nebst darüber gelegter Normalverteilungskurve erstellt. Wir entnehmen der Abbildung verteilhomogen, dass die Daten für die Säulenbildung des Histogramms in 3%-Intervalle eingeteilt wurden. Die Intervallbildung war usw. Diese Einteilung übernehmen wir versuchsweise und prüfen, ob das Merkmal normalverteilt ist. Da wir keine Ahnung haben, welche Verteilungsparameter wir nehmen sollen, verwenden wir der Einfachheit halber die entsprechenden Schätzungen. Wie uns Abbildung verteilhomogen verrät, sind und .
Erste Kategorieneinteilung der Akademikerquoten anhand des Histogramms.
mit den Spalten
- (a): Klassennummer
- (b): Klassenuntergrenze
- (c): Klassenobergrenze\\
- (d): beobachtete Häufigkeit
- (e): )
- (f): )
- (g): hypothetische Wahrscheinlichkeit
- (h): erwartete Häufigkeit
Die Daten wurden nun in die Klassen eingeteilt, wie sie im Histogramm ersichtlich sind. Da zwischen 33,2 und 39,1 eine Kategorienlücke ist, wurde der einzelne Wert 39,1 zur letzten Klasse dazugeschlagen. Wenn wir die erwarteten Häufigkeiten berechnen wollen, müssen wir die äußeren Randklassen offen lassen, denn die Normalverteilung ist ja für definiert. Die erforderlichen Schritte können in der Tabelle unten mitverfolgt werden.
Zuerst bestimmen wir die Normalverteilungswerte.
Wir berechnen für die erste Klasse bzw. Kategorie: . Wir müssen nämlich die Normalverteilung für x-Werte ab beginnen lassen. Es ist
=
Es müssten also ca. 3% aller Staaten eine Akademikerquote von höchstens 15 haben.
In der zweiten Kategorie müssen wir die Wahrscheinlichkeit ermitteln, dass ein Staat eine Akademikerquote zwischen 0,15 und 0,18 hat, also
=
In der dritten Kategorie müssen wir die Wahrscheinlichkeit ermitteln, dass ein Staat eine Akademikerquote zwischen 0,18 und 0,21 hat, also
usw.
Für die letzte, also achte Kategorie, werden wir wieder die ganze Fläche unter dem Dichtefunktionsgraph ab 0{,}33 bis berechnen mit
In Abbildung chinorm (extrazettel) sind die erwarteten Wahrscheinlichkeiten für die gewählten Klassen dargestellt. chinorm.pdf
Für die erwartete Häufigkeit müssen wir die Wahrscheinlichkeiten mit multiplizieren. Die Ergebnisse sind in Spalte der Tabelle aufgeführt. Wir sehen, dass vier Kategorien eine erwartete Häufigkeit von unter 5 haben. Das sind zu viele! Wie wir auf Seite \nachlesen können, darf bei acht Kategorien höchstens eine fünf unterschreiten. Also werden wir die beiden ersten und die beiden letzten Kategorien verschmelzen. Wir erhalten nun in einer neuen Tabelle sechs Kategorien.
Abbildung chinorm2 zeigt die neue Aufteilung der Klassen und ihre Wahrscheinlichkeiten .
Endgültige Kategorieneinteilung der Akademikerquoten und Berechnung des Prüfwerts:
mit den Spalten
- (a):
- (b):
- (c):
Wir berechnen wieder wie oben die hypothetischen Wahrscheinlichkeiten mit ihren erwarteten Häufigkeiten\. Dann bilden wir die Differenzen zwischen beobachteter und erwarteter Häufigkeit, quadrieren die Differenz und teilen durch die erwartete Häufigkeit. Die Summe ergibt 2,8.
Die Prüfgröße ist -verteilt mit Freiheitsgraden. Es sind sechs Kategorien übriggeblieben, es wurden Parameter, nämlich und , geschätzt. Also hat Y 6-2-1= 3 Freiheitsgrade. Der kritische Wert für die Ablehnung ist . Da ist, kann nicht abgelehnt werden.
Wollen wir durch die Nichtablehnung der Nullhypothese bestätigt wissen, dass die Daten normalverteilt sind, sollten wir den Ablehnungsbereich größer wählen, zum Beispiel . Wir würden hier den kritischen Wert erhalten. Damit würde ebenfalls nicht abgelehnt werden, und wir könnten die Daten als normalverteilt vermuten.
Test auf Vorliegen bestimmter Wahrscheinlichkeiten
Eigenschaft der Variablen (Skalenniveau):
Häufbare Variable:
Die Wahrscheinlichkeiten für Ausprägungen eines häufbaren Merkmals liegen in vielen Kategorien vor.
Die Nullhypothese lautet:
: Die Wahrscheinlichkeit für die -te Ausprägung der Variablen beträgt .
Stetige Zufallsvariable:
Alle möglichen Ausprägungen der stetigen Zufallsvariablen werden in Klassen zusammengefasst.
Die Nullhypothese lautet
: Die Wahrscheinlichkeit, dass in die te Klasse fällt, beträgt .
Dabei ist mit als Verteilungsfunktionswert der Zufallsvariablen und bzw. als Klassenunter- bzw. Klassenobergrenze des Klassenintervalls .
Weiteres Testverfahren:
Die erwartete Häufigkeit ist . Für den Test wird der Prüfwert
berechnet, wobei die beobachteten Häufigkeiten der Stichprobe in einer Kategorie sind.
Die Nulhypothese wird abgelehnt, wenn ist. Dabei bezeichnet das der -Verteilung mit Freiheitsgraden. ist die Zahl der Parameter, die geschätzt worden sind.
Stichprobengröße:
Außerdem gilt die Faustregel: Keine erwartete Häufigkeit darf kleiner als 1 und höchstens 1/5 aller erwarteten Häufigkeiten dürfen kleiner als 5 sein. Mit der Vereinigung benachbarter Kategorien kann man größere -Werte erreichen.
Bemerkung:
Es gibt noch weitere gebräuchliche Verteilungstests, etwa den Kolmogoroff-Smirnoff-Test. Er ist eher für kleine Stichproben geeignet. Näheres findet sich beispielsweise bei Schwarze.
\\\
\\\
Der Unabhängigkeitstest, auch Kontingenztest\} genannt, prüft, ob zwei Merkmale stochastisch unabhängig sind. Wie schon die letztere Bezeichnung andeutet, verwenden wir hierfür eine Kontingenztabelle. Dieser Test wird im Allgemeinen in einem Atemzug mit dem Anpassungstest verwendet, denn die Vorgehensweise ist ähnlich -- wir vergleichen auch hier die beobachteten Häufigkeiten mit den erwarteten und erhalten daraus eine \chi^2-verteilte Prüfgröße.
Wie gehen wir vor? Wir wollen ein einfaches Beispiel betrachten.
[Ist der Blutdruck abhängig von der Händigkeit eines Menschen?]
Professor Eso hat durch Pendeln herausgefunden, dass Linkshänder eher zu erhöhtem Blutdruck neigen.
Es wurden in diesem Zusammenhang 2000 Personen befragt; davon waren 10\,\% Linkshänder (L). 30\,\% neigten zu erhöhtem Blutdruck (B). 70 Personen waren Linkshänder \emph{und} hatten erhöhten Blutdruck.
Um die These von Eso zu untersuchen, testen wir die Hypothese:
\begin{quote}
H_0: Die Ereignisse B und L sind stochastisch unabhängig.
\end{quote}
%
Wenn diese Hypothese abgelehnt wird, könnte Eso Recht haben.
Es gilt in der Wahrscheinlichkeitsrechnung das Gesetz: Sind die Ereignisse B und L stochastisch unabhängig, ist
%
P(L \cap B) = P(L ) \cdot P(B).
%
Sind also L und B unabhängig, müsste im Idealfall in der Stichprobe der Anteil der Personen, die Linkshänder sind und erhöhten Blutdruck haben, bei P_{LB} = 0{,}3 \cdot 0{,}1 = 0{,}03 liegen. P_{LB} ist der erwartete Anteil, falls B und L stochastisch unabhängig sind. Wir vergleichen den beobachteten Anteil der Linkshänder mit erhöhtem Blutdruck mit dem hypothetischen P_{LB}, und ebenso die restlichen Ereignisse. Sind die Differenzen zu groß, lehnen wir die Hypothese ab.
Um eine \chi^2-verteilte Prüfgröße zu erhalten, müssen wir wieder die Anteile mit n multiplizieren. Wir wollen nun zuerst eine Kontingenztabelle\ mit den beobachteten Häufigkeiten\ konstruieren. Rechnen wir die Anteile hoch, hatten 0{,}3 \cdot 2000 = 600 Personen erhöhten Blutdruck und 0{,}1 \cdot 2000 = 200 Personen waren Linkshänder. In Tabelle \ref{tab:linksblutbeo} sind die beobachteten Häufigkeiten zusammengefasst.
Dem \emph{hypothetischen Anteil} P_{LB} = 0{,}3 \cdot 0{,}1 = 0{,}03 jedoch entspricht eine \emph{erwartete absolute Häufigkeit}\
E_{LB} = \frac{n_L \cdot n_B}{n} = \frac{200 \cdot 600}{2000}= 120\,.
Wir müssen nämlich das Produkt der Häufigkeiten noch durch n teilen, weil sonst die Vergleichbarbeit mit n_{LB} nicht möglich ist. Diese und die restlichen erwarteten Häufigkeiten finden wir in Tabelle \ref{tab:linksbluterw}.
\begin{table}[htbp]
\caption{Beobachtete Häufigkeiten von Linkshändern und Personen mit erhöhtem Blutdruck.}
\
\begin{tabularx}\textwidth{LCCCC}
\toprule
& & \textbf{erhöhter Blutdruck}& \textbf{normaler Blutdruck}& \\
& & B& \overline B& \textbf{Summe} \\
\headendrule
\textbf{Linkshänder}& L& n_{LB}& n_{L \overline B}& n_{L} \\
& & 70& 130& 200 \\
\textbf{Rechtsshänder}& \overline L& n_{\overline L B}& n_{\overline L \overline B}& n_{\overline L} \\
& & 530& 1270& 1800 \\
\midrule
& \textbf{Summe}& n_{B}& n_{\overline B}& n \\
& & 600& 1400& 2000 \\
\bottomrule
\end{tabularx}
\end{table}
\begin{table}[htbp]
\caption{Erwartete Häufigkeiten von Linkshändern und Personen mit erhöhtem Blutdruck.}
\
\begin{tabularx}\textwidth{lcccc}
\toprule
& & \textbf{erhöhter Blutdruck}& \textbf{normaler Blutdruck}& \\
& & B& \overline B& Summe \\
\headendrule
\textbf{Linkshänder}& L& E_{LB}& E_{L \overline B}& n_{L} \\
& & 60& 140& 200 \\
\textbf{Rechtsshänder}& \overline L& E_{\overline L B}& E_{\overline L \overline B}& n_{\overline L} \\
& & 540& 1260& 1800 \\
\midrule
& \textbf{Summe}& n_{B}& n_{\overline B}& n \\
& & 600& 1400& 2000 \\
\bottomrule
\end{tabularx}
\end{table}
Wir bilden nun wieder quadrierte Differenzen zwischen beobachteter und erwarteter Häufigkeit und teilen die Quadrate noch durch die erwarteten Häufigkeiten. Wir erhalten damit den Stichprobenwert
\frac{(n_{LB}-E_{LB})^2}{E_{LB}}+\frac{(n_{L \overline B}-E_{L \overline B})^2}{E_{L \overline B}}+\frac{(n_{\overline L B}-E_{\overline L B})^2}{E_{\overline L B}} + \frac{(n_{\overline L \overline B}-E_{\overline L \overline B})^2}{E_{\overline L \overline B}}
= \frac{(70-60)^2}{60}+\frac{(130-140)^2}{140}+\frac{(530-540)^2}{540} + \frac{(1270-1260)^2}{1260}
= 1{,}67 + 0{,}71 + 0{,}19+ 0{,}08 = 2{,}65.
Der kritische Wert für die Ablehnung ist das 1-\alpha-Quantil der \chi^2-Verteilung mit (m-1) \cdot (r-1) Freiheitsgraden, wobei m die Zahl der Zeilen und r die Zahl der Spalten der Kontingenztabelle darstellt. Das wäre in unserem Fall \chi^2(0{,}8;(2-1) \cdot (2-1)) = \chi^2(0{,}8;1) = 1{,}64. Hier würde die Hypothese abgelehnt werden, dass B und L stochastisch unabhängig sind. Eso würde triumphieren, und wir würden uns ärgern. Das Leben ist eben manchmal gemein.
Nun wollen wir die Vorgehensweise allgemein gültig formulieren.
[Test auf Unabhängigkeit zweier Variablen]\
Gegeben ist eine Kontingenztabelle mit m vielen Ereignissen j (j = 1,\ldots , m) in den Zeilen und r vielen Ereignissen k (k = 1, \ldots, r) in den Spalten. Die Elemente der Kontigenztabelle sind die beobachteten gemeinsamen Häufigkeiten n_{jk} und die jeweiligen Randhäufigkeiten n_k bzw. n_j. Zu jeder beobachteten Häufigkeit n_{jk} wird die erwartete Häufigkeit
E_{jk} = \frac{n_j \cdot n_k}{n}
gebildet. Die Prüfgröße der Realisation
y = \sum_{j=1}^m \sum_{k=1}^r \frac{(n_{jk} - E_{jk})^2}{E_{jk}}
ist näherungsweise \chi^2-verteilt mit (m-1)(r-1) Freiheitsgraden\.
Wenn y > \chi^2(1-\alpha;(m-1)(r-1)) ist, wird die Hypothese abgelehnt.
Dieser Test kann für Daten aller Skalenniveaus verwendet werden. Bei einem stetigen Merkmal müssen wieder analog zum Verteilungstest Klassen gebildet werden, deren Häufigkeiten in die Tabelle eingehen. Für die Mindestwerte der erwarteten Häufigkeiten verwenden wir die Faustregel des Verteilungstests auf Seite \. Normal 0 21 false false false DE X-NONE X-NONE