Verfassen wissenschaftlicher Texte: Umfragen und deren Gestaltung

Zurück |  Hoch | Weiter

Kommunikationsarten

• Telefonisch (z.B. Computergestützes Telefoninterview)
• Persönlich oder auch mündlich (face-to-face)
• Schriftlich (paper-and-pencil, klassischer Fragebogen)
• Elektronisch (z.B. per Internet)

Rücklaufquoten

Art der Fragestellung

• erlauben dem Befragten eine freie Assoziation innerhalb seiner Antwort
• Ältere Definition: Fragen, die man nur mit „Ja“ oder „Nein“ beantworten kann
  

• Begrenzen den Befragten nicht
• W-Fragen: Wer / Wo / Wann / Wie / Was / Warum? Antwort wird impliziert und auf eine bestimmte Richtung beschränkt
• Fordern zur inhaltlichen oder persönlichen Beteiligung auf
• Fragen mit vorgegebenen Antwortmöglichkeiten

Zu beachten:

• Klare Strukturierung des Fragebogens
• Sparsamer Einsatz von offenen Fragen (hoher Bearbeitungsaufwand schreckt ab)
• Sinnvolle Antwortmöglichkeiten bei geschlossenen Fragen geben

Aufbau der Fragen:

• Formulierung: einfach, präzise, verständlich
• Extreme Formulierungen vermeiden
• keine ineinander geschachtelten Sätze
• komplexe Fragen belasten den Befragten
• jede Frage sollte nur ein Thema behandeln
• Fragen zu Themengebieten bündeln
• Suggestivfragen vermeiden
• Positiv und negativ formulierte Fragen einsetzen (Verhindert „automatisches Ankreuzen“)

Gestaltung des Fragebogens

Allgemeine Gestaltungsregeln:

• der Fokus liegt auf der Befragung
• Teilnehmer darf nicht durch Rahmenlayout und Gestaltung der einzelnen Fragen und Items abgelenkt werden.

Seitenlayout

• Übersichtlich
• lesbar für leichtes Ausfüllen
• inhaltlich unterschiedlich Abschnitte genau trennen
• gleich große Abstände
• keine Seitenumbrüche innerhalb eines Items
• kein Formatwechsel
• Paper&Pencil: Fragebogen nur einseitig bedrucken
• Online: Möglichst ohne scrollen / eine Frage pro Seite
• Datenauswertung sollte direkt vom Blatt aus möglich sein

Schriftart und -größe

• einheitliche Schrift
• wichtiges hervorheben

Identifikationsitems

• z.B. Geschlecht, Alter
• übersichtlich, nur Notwendiges

Instruktionsmaterial

• einfach und verständlich
• erste Seite: Anleitung zur Bearbeitung des Fragebogens
• Beispiel-Item
• Fachausdrücke erläutern S
• cover-story
• Hinweis auf Anonymität bei persönlichen Daten

Optimieren des Fragebogens

Nach der Gestaltung: Ist der Fragebogen auch „gut“?

Überprüfen der Gütekriterien:

• Objektivität
• Reliabilität
• Validität

Gütekriterium: Objektivität

Unabhängigkeit der Umfrageergebnisse vom Befragten im Hinblick auf:

• Durchführungsobjektivität: Durch möglichst hohe Standardisierung können Störfaktoren wie Interviewereffekte, Item-Reihenfolge, etc. vermieden werden.
• Auswertungsobjektivität: Die Reaktion des Befragten auf eine Frage kann oft nur unzureichend als "Kreuzchen" im Fragebogen abgebildet werden. Vor allem die Codierung offener Fragen ist fehleranfällig. Fehler in der Dateneingabe stellen ebenfalls eine Beeinträchtigung der Auswertungsobjektivität dar.

• Interpretation der Ergebnisse: hohe Objektivität, wenn verschiedene Interpretatoren mit vergleichbarem Wissensstand zum selben Ergebnis bei der Beurteilung der Befragungsergebnisse kommen. Interpretationshinweise und Untersuchungsdetails müssen dafür zur Verfügung gestellt werden, Normwerte oder Benchmarks ermöglichen quantitative Interpretation der Ergebnisse.

Gütekriterium: Reliabilität

• Messgenauigkeit bzw. Zuverlässigkeit eines Verfahrens.
• Reliabilität von 1 = Messergebnisse können exakt repliziert werden
• wird über die Berechnung von Korrelationen zwischen Messwerten ermittelt.

Je nachdem, welche Messwerte man miteinander korreliert, unterscheidet man verschiedene Arten von Reliabilitäten:

• Paralleltest-Methode: Ergebnisse zweier parallel konstruierter Fragebögen, die man denselben Personen vorgegeben hat, werden miteinander korreliert.
• Retest-Reliabilität: Korrelation zwischen zwei wiederholten Messungen, bei den gleichen Personen zu unterschiedlichen Zeitpunkten.
• Split-half-Reliabilität: Teilung der Items eines Fragebogens in zwei Gruppen und Korrelation der Ergebnisse beider Testhälften. Beide Teile beleuchten das selbe Merkmal mit unterschiedlichen Items. Würde man im zweiten Teil ein anderes Merkmal einschätzen, würde es zu geringen Korrelationen kommen.
• Interne Konsistenz: Man kann einen Fragebogen nicht nur in zwei Hälften teilen, sondern jede Itemantwort als Messwert betrachten und die Reliabilität auf diesem Weg schätzen.

Wann ist eine Reliabilität als gut zu bewerten?
Bei angenommener grosser Merkmalsstabilität können Reliabilitätskoeffizienten in der Grössenordnung um .80 bereits als gut gelten, ein Wert von 0.70 ist befriedigend.

Allgemein:
keine generelle Antwort möglich, da viele Faktoren Einfluss halten, z.B.

• Untersuchungszeitpunkt (Retest-Design)
• inhaltliche Vergleichbarkeit der Items
• Anzahl der Items und Skalenwerte

Gütekriterium: Validität

Ausmaß, in dem der Test das misst, was er messen soll.

Logische Validität: triviale Gültigkeit eines Erhebungsverfahrens, auch inhaltliche Validität oder Augenschein-Validität genannt. Nicht sehr brauchbar.

Externe Validität: Voraussetzung: andere Messung dessen, was der Fragebogen messen soll, verfügbar ist. Die Validität wird über die Korrelation der Testergebnisse mit dieser anderen Messung desselben Merkmals berechnet.
Beispiel: Vergleich von Wahlprognose und Wahlergebnis.

Interne Validität: Ergebnisse einer Umfragekonstruktion müssen letztlich mit dem Gesamtwissen zum Konstrukt übereinstimmen. Ein Verfahren zur Bestimmung der internen Validität ist die Faktorenanalyse.

Abgrenzung der Validität gegenüber der Reliabilität

Beispiel: Befragung über individuelle Aufnahme an alkoholischen Getränken.

Eine hohe Alkoholzufuhr: sozial unerwünscht, daher ungern preisgegeben. Neigung der Befragten, die Alkoholzufuhr auf ein bestimmtes Maß zu beschränken, egal wie oft die Befragung durchgeführt wird. Dadurch hohe Reliabilität (weil stets die gleiche Alkoholzufuhr gemessen wird), aber keine Validität, denn die gemessene Alkoholzufuhr weicht unter Umständen erheblich von der wahren Alkoholaufnahme ab. Es ist folglich möglich, dass Messwiederholungen stets dasselbe Ergebnis erbringen, aber die Messungen etwas anderes messen, als beabsichtigt ist, und daher keine Validität besitzen. Umgekehrt ist es nicht möglich, dass ein Instrument valide Daten liefert, ohne gleichzeitig zuverlässig zu sein.

Ein Instrument ist um so valider, je weniger systematische Fehler vorkommen.

Auswertung der Umfrage

• Manuell
• Dokumenten-Scanner mit Verarbeitungssoftware
• Software-gestützt (Excel, Mathcad, Matlab)
• Automatisch (vorgefertigte Scripte bei Befragungen per Internet)

Erstellung einer Internet-Umfrage

• OpenSurveyPilot (OpenSource, http://sourceforge.net/projects/osp/)
• PHPesp (OpenSource, http://phpesp.sourceforge.net/)
• phpSurvey (OpenSource, http://sourceforge.net/projects/phpsurvey/)

Benötigt:

• Webspace / Webserver (z.B. apache)
• Java
• php
• Datenbank (meist mySQL)

Zurück |  Hoch | Weiter