piątek, 9 marca 2012

Błąd pomiaru - porównanie ankiety internetowej i papierowej

W praktyce badawczej spotykamy się często z błędem, który nazywany jest tzw. błędem pomiaru, wynikającym bezpośrednio ze specyfiki zastosowanej metody badawczej. W przypadku wywiadu osobistego może to być wpływ ankietera na wypowiedzi respondenta, a w przypadku ankiety papierowej, możliwość zapoznania się przez respondenta z całością ankiety przed rozpoczęciem jej wypełnienia.

Błędem pomiaru jest również skutek zasady pierwszeństwa - w przypadku długiej kafeterii odpowiedzi respondent widzi głównie odpowiedzi znajdujące się na górze, potem te, które są na dole listy, a na końcu dostrzega te w środku. W konsekwencji, jeśli nie zastosujemy rotacji odpowiedzi, odpowiedzi z góry kafeterii będą z pewnością przeszacowane. 

Część błędów pomiaru wynika po prostu ze specyfiki badania - oczywistym jest, że odpowiedzi na pytania wrażliwe będą różnić się w zależności od zastosowanej metody, gdyż anonimowość w trakcie wypełniania ankiety będzie w tym przypadku odgrywać ogromną rolę.

Oczywiście to są tylko przykłady - liczba i rodzaj błędów pomiaru to worek bez dna i każdy badacz przekonuje się o tym bardzo często... Niemniej, im więcej o nich wiemy, tym łatwiej ich unikać.

Aritomi Tami i Jason Hill z American Institutes for Research postanowili sprawdzić wpływ metody badawczej na wyniki badania pomiędzy ankietą internetową i ankietą papierową na populacji nauczycieli amerykańskich szkół. Okazało się, że sposób przeprowadzenia ankiety nie miał wpływu na uzyskane wyniki.

Warto jednak podkreślić, że w badaniu tym nie doszło do błędu pokrycia, wynikającego ze zróżnicowanego dostępu respondentów do Internetu - ze względu na rodzaj badanej populacji jaką byli nauczyciele w Stanach Zjednoczonych - nie zaistniało ryzyko, że istnieją nauczyciele, którzy nie mają dostępu do Internetu, a w konsekwencji, profil respondenta ankiety internetowej nie różnił się istotnie od profilu respondenta ankiety papierowej. 

Taką sytuację zawdzięczamy temu, że cała badana populacja miała w miarę dobry dostęp do Internetu. Różnice w wynikach uzyskiwanych obiema metodami można bowiem często tłumaczyć zróżnicowanym profilem populacji respondentów każdej z metod - przykładowo, gospodyni domowa z dostępem do internetu może charakteryzować się innymi opiniami/postawą w porównaniu do gospodyni, która dostępu do internetu nie posiada - ale w takim przypadku, zróżnicowanie wyników badania nie jest efektem błędu pomiaru, a raczej błędu pokrycia, który skutkuje różnym profilem respondentów obu metod badawczych. Inny przykład - Janusz Korwin-Mikke w internetowych sondażach ma poparcie większe niż w telefonicznych - nie dlatego, że przez Internet ludzie odpowiadają inaczej, a dlatego, że przyciąga on wyborców młodszych z miast, którzy mają lepszy dostęp do Internetu.

Ostatnia ważna kwestia w rozważaniach o porównywalności różnych metod badawczych to fakt, że w obu badanych metodach nie wystąpił błąd wynikający z wpływu osoby ankietera - zarówno ankietę internetową jak i papierową respondent wypełnia samodzielnie. Jest to o tyle ważne, że tak jak wspomniałem na początku, to właśnie wpływ ankietera ma istotny wpływ na skalę występowania błędu pomiaru.

Więcej o artykule, który był inspiracją do napisania powyższego: Aritomi, Tami and Jason Hill. 2011. “Mode Effect Analysis-Paper Respondents vs. Web Respondents in the 2004-05 Teacher Follow-up Survey” Survey Practice, February: www.surveypractice.org

Brak komentarzy:

Prześlij komentarz