Porównanie ankiety internetowej i wywiadów face-to-face

Dirk Heerwegh i Geert Loosveldt przeprowadzili badanie porównawcze jakości zgromadzonych danych w oparciu od dwie metody: ankietę internetową oraz wywiad face-to-face. Zastosowana przez nich metodologia moim zdaniem nie pozwala na pełne porównanie obu metod, niemniej dostarcza kolejnego dowodu na to, że w przypadku populacji charakteryzujących się dobrym dostępem do internetu (w tym przypadku studentach), ankieta internetowa jest bardzo dobrym narzędziem gromadzenia danych ilościowych. 

Jak pokazują wyniki badania, tam gdzie to możliwe, w kafeteriach warto unikać odpowiedzi "nie wiem", gdyż respondenci ankiety internetowej są bardziej skłonni korzystać z tej opcji w porównaniu do respondentów metody face-to-face.

Okazało się również, że problem braku odpowiedzi nie jest tak istotny jak można byłoby się tego spodziewać. Respondenci ankiety internetowej pomijali 2% pytań w przypadku, kiedy odpowiedzi nie były wymuszane przez system ankietowy. Innymi słowy, czasem zamiast opcji "nie wiem", lepiej zastosować pytanie nieobowiązkowe, a pozyskane dane będę bardziej rzetelne.

Ostatnia ciekawostka to fakt, że respondenci ankiety internetowej w pytaniach skali nieco częściej wybierają środkową część kafeterii niż respondenci ankiety face-to-face, a w konsekwencji, wartość odchylenia standardowego jest odrobinę mniejsza niż w przypadku tego samego pytania w ankiecie face-to-face. Autorzy badania nie wyjaśniają w pełnym stopniu dlaczego tak się dzieje ich zdaniem. Wydaje się bowiem, że różnica może wynikać z większej liczebności próby w ankiecie internetowej (pozyskano bowiem nieco ponad 200 ankiet face-to-face oraz 1575 ankiet internetowych). Jak pokazuje bowiem statystyka, im mniejsza próba tym prawdopodobieństwo zróżnicowania rośnie – przeciętny człowiek w większym stopniu „odstaje” bowiem od średniej obliczonej na podstawie kilku losowo dobranych osób niż od średniej obliczonej na podstawie kilku tysięcy losowo dobranych osób.

Pełny dostęp do całego artykułu:

Dirk Heerwegh i Geert Loosveldtm, Face-to-face versus web surveying in a high-internet-coverage population. Differences in response quality. 

Czas wypełniania ankiety jako wyznacznik jakości danych

Czy respondenci, którzy wypełniają ankietę internetową szybciej niż pozostali, mają też większą skłonność do zaznaczania odpowiedzi wymienionych jako pierwsze, a tym samym dostarczania danych gorszej jakości? Pytanie to legło u podstaw eksperymentu profesora Neila Malhotra ze Stanford University

Aby sprawdzić, czy istnieje zależność między czasem wypełniania ankiety a jakością danych dzięki niej pozyskanych, zrealizowano badanie na reprezentatywnej grupie 397 Amerykanów. Kwestionariusz ankiety zawierał 5 pytań z 5-stopniową skalą odpowiedzi (np. od 1 - bardzo zainteresowany do 5 – w ogóle niezainteresowany) i 6 pytań ze stanowczymi, niezależnymi odpowiedziami. Połowie badanych osób odpowiedzi na pytania wyświetlały się w określonej kolejności, a drugiej połowie w kolejności odwrotnej. Mierzony był czas wypełniania ankiety przez każdego respondenta. Podczas dokonywania analizy wyników pod uwagę wzięto także zmienne demograficzne.

Zarówno w grupie o „normalnej” jak i odwróconej kolejności wyświetlania się odpowiedzi, respondenci z niższym wykształceniem, którzy wypełniali ankietę najszybciej, byli najbardziej skłonni wybierać jedną z dwóch odpowiedzi z góry listy. Dotyczyło to jednak tylko pytań z odpowiedziami ze skali. Efekt wybierania pierwszej odpowiedzi maleje wraz z wydłużaniem się czasu wypełniania ankiety, a więc osoby, które wypełniały ankietę dłużej, rzadziej wybierały odpowiedzi z góry listy. Natomiast wśród respondentów z wyższym wykształceniem, którzy wypełnili ankietę szybciej, nie zaobserwowano takiej zależności (krótszy czas wypełniania ankiety w ich przypadku można tłumaczyć silnymi, skrystalizowanymi poglądami). Co więcej, wśród „najwolniejszych” respondentów z wyższym wykształceniem, efekt zaznaczania pierwszej odpowiedzi nie wystąpił w ogóle – różnica w odpowiedziach między grupami z różną kolejnością odpowiedzi jest tu praktycznie zerowa.

Wyniki eksperymentu wskazują, że czas wypełniania ankiety może być wartościowym, choć niesamodzielnym kryterium oceny jakości danych uzyskanych od respondentów. Pod uwagę należy wziąć także cechy respondentów (np. ich kompetencje poznawcze) czy rodzaj pytań. Warto pamiętać o manipulowaniu kolejnością odpowiedzi w kwestionariuszu (tzw. rotacja odpowiedzi) - co prawda nie zlikwiduje to błędów w pomiarze, ale sprawi, że każda z odpowiedzi w kafeterii będzie obarczona takim samym błędem wynikającym z „bycia pierwszą odpowiedzią”. Ciekawym pomysłem jest też wprowadzenie do ankiety np. głosu i/lub video z osobą, która prowadziłaby respondenta przez kolejne pytania i wydłużałaby czas wypełniania ankiety, zmuszając go do udzielania bardziej przemyślanych odpowiedzi.

Więcej informacji: Neil Malhotra, Completion Time and Response Order Effects in Web Surveys, opublikowany w Public Opin Q (2008) nr 72.