Porównanie ankiety internetowej i wywiadów face-to-face

Dirk Heerwegh i Geert Loosveldt przeprowadzili badanie porównawcze jakości zgromadzonych danych w oparciu od dwie metody: ankietę internetową oraz wywiad face-to-face. Zastosowana przez nich metodologia moim zdaniem nie pozwala na pełne porównanie obu metod, niemniej dostarcza kolejnego dowodu na to, że w przypadku populacji charakteryzujących się dobrym dostępem do internetu (w tym przypadku studentach), ankieta internetowa jest bardzo dobrym narzędziem gromadzenia danych ilościowych. 

Jak pokazują wyniki badania, tam gdzie to możliwe, w kafeteriach warto unikać odpowiedzi "nie wiem", gdyż respondenci ankiety internetowej są bardziej skłonni korzystać z tej opcji w porównaniu do respondentów metody face-to-face.

Okazało się również, że problem braku odpowiedzi nie jest tak istotny jak można byłoby się tego spodziewać. Respondenci ankiety internetowej pomijali 2% pytań w przypadku, kiedy odpowiedzi nie były wymuszane przez system ankietowy. Innymi słowy, czasem zamiast opcji "nie wiem", lepiej zastosować pytanie nieobowiązkowe, a pozyskane dane będę bardziej rzetelne.

Ostatnia ciekawostka to fakt, że respondenci ankiety internetowej w pytaniach skali nieco częściej wybierają środkową część kafeterii niż respondenci ankiety face-to-face, a w konsekwencji, wartość odchylenia standardowego jest odrobinę mniejsza niż w przypadku tego samego pytania w ankiecie face-to-face. Autorzy badania nie wyjaśniają w pełnym stopniu dlaczego tak się dzieje ich zdaniem. Wydaje się bowiem, że różnica może wynikać z większej liczebności próby w ankiecie internetowej (pozyskano bowiem nieco ponad 200 ankiet face-to-face oraz 1575 ankiet internetowych). Jak pokazuje bowiem statystyka, im mniejsza próba tym prawdopodobieństwo zróżnicowania rośnie – przeciętny człowiek w większym stopniu „odstaje” bowiem od średniej obliczonej na podstawie kilku losowo dobranych osób niż od średniej obliczonej na podstawie kilku tysięcy losowo dobranych osób.

Pełny dostęp do całego artykułu:

Dirk Heerwegh i Geert Loosveldtm, Face-to-face versus web surveying in a high-internet-coverage population. Differences in response quality. 

Błąd pomiaru - porównanie ankiety internetowej i papierowej

W praktyce badawczej spotykamy się często z błędem, który nazywany jest tzw. błędem pomiaru, wynikającym bezpośrednio ze specyfiki zastosowanej metody badawczej. W przypadku wywiadu osobistego może to być wpływ ankietera na wypowiedzi respondenta, a w przypadku ankiety papierowej, możliwość zapoznania się przez respondenta z całością ankiety przed rozpoczęciem jej wypełnienia.

Błędem pomiaru jest również skutek zasady pierwszeństwa - w przypadku długiej kafeterii odpowiedzi respondent widzi głównie odpowiedzi znajdujące się na górze, potem te, które są na dole listy, a na końcu dostrzega te w środku. W konsekwencji, jeśli nie zastosujemy rotacji odpowiedzi, odpowiedzi z góry kafeterii będą z pewnością przeszacowane. 

Część błędów pomiaru wynika po prostu ze specyfiki badania - oczywistym jest, że odpowiedzi na pytania wrażliwe będą różnić się w zależności od zastosowanej metody, gdyż anonimowość w trakcie wypełniania ankiety będzie w tym przypadku odgrywać ogromną rolę.

Oczywiście to są tylko przykłady - liczba i rodzaj błędów pomiaru to worek bez dna i każdy badacz przekonuje się o tym bardzo często... Niemniej, im więcej o nich wiemy, tym łatwiej ich unikać.

Aritomi Tami i Jason Hill z American Institutes for Research postanowili sprawdzić wpływ metody badawczej na wyniki badania pomiędzy ankietą internetową i ankietą papierową na populacji nauczycieli amerykańskich szkół. Okazało się, że sposób przeprowadzenia ankiety nie miał wpływu na uzyskane wyniki.

Warto jednak podkreślić, że w badaniu tym nie doszło do błędu pokrycia, wynikającego ze zróżnicowanego dostępu respondentów do Internetu - ze względu na rodzaj badanej populacji jaką byli nauczyciele w Stanach Zjednoczonych - nie zaistniało ryzyko, że istnieją nauczyciele, którzy nie mają dostępu do Internetu, a w konsekwencji, profil respondenta ankiety internetowej nie różnił się istotnie od profilu respondenta ankiety papierowej. 

Taką sytuację zawdzięczamy temu, że cała badana populacja miała w miarę dobry dostęp do Internetu. Różnice w wynikach uzyskiwanych obiema metodami można bowiem często tłumaczyć zróżnicowanym profilem populacji respondentów każdej z metod - przykładowo, gospodyni domowa z dostępem do internetu może charakteryzować się innymi opiniami/postawą w porównaniu do gospodyni, która dostępu do internetu nie posiada - ale w takim przypadku, zróżnicowanie wyników badania nie jest efektem błędu pomiaru, a raczej błędu pokrycia, który skutkuje różnym profilem respondentów obu metod badawczych. Inny przykład - Janusz Korwin-Mikke w internetowych sondażach ma poparcie większe niż w telefonicznych - nie dlatego, że przez Internet ludzie odpowiadają inaczej, a dlatego, że przyciąga on wyborców młodszych z miast, którzy mają lepszy dostęp do Internetu.

Ostatnia ważna kwestia w rozważaniach o porównywalności różnych metod badawczych to fakt, że w obu badanych metodach nie wystąpił błąd wynikający z wpływu osoby ankietera - zarówno ankietę internetową jak i papierową respondent wypełnia samodzielnie. Jest to o tyle ważne, że tak jak wspomniałem na początku, to właśnie wpływ ankietera ma istotny wpływ na skalę występowania błędu pomiaru.

Więcej o artykule, który był inspiracją do napisania powyższego: Aritomi, Tami and Jason Hill. 2011. “Mode Effect Analysis-Paper Respondents vs. Web Respondents in the 2004-05 Teacher Follow-up Survey” Survey Practice, February: www.surveypractice.org