Błąd pomiaru - porównanie ankiety internetowej i papierowej

W praktyce badawczej spotykamy się często z błędem, który nazywany jest tzw. błędem pomiaru, wynikającym bezpośrednio ze specyfiki zastosowanej metody badawczej. W przypadku wywiadu osobistego może to być wpływ ankietera na wypowiedzi respondenta, a w przypadku ankiety papierowej, możliwość zapoznania się przez respondenta z całością ankiety przed rozpoczęciem jej wypełnienia.

Błędem pomiaru jest również skutek zasady pierwszeństwa - w przypadku długiej kafeterii odpowiedzi respondent widzi głównie odpowiedzi znajdujące się na górze, potem te, które są na dole listy, a na końcu dostrzega te w środku. W konsekwencji, jeśli nie zastosujemy rotacji odpowiedzi, odpowiedzi z góry kafeterii będą z pewnością przeszacowane. 

Część błędów pomiaru wynika po prostu ze specyfiki badania - oczywistym jest, że odpowiedzi na pytania wrażliwe będą różnić się w zależności od zastosowanej metody, gdyż anonimowość w trakcie wypełniania ankiety będzie w tym przypadku odgrywać ogromną rolę.

Oczywiście to są tylko przykłady - liczba i rodzaj błędów pomiaru to worek bez dna i każdy badacz przekonuje się o tym bardzo często... Niemniej, im więcej o nich wiemy, tym łatwiej ich unikać.

Aritomi Tami i Jason Hill z American Institutes for Research postanowili sprawdzić wpływ metody badawczej na wyniki badania pomiędzy ankietą internetową i ankietą papierową na populacji nauczycieli amerykańskich szkół. Okazało się, że sposób przeprowadzenia ankiety nie miał wpływu na uzyskane wyniki.

Warto jednak podkreślić, że w badaniu tym nie doszło do błędu pokrycia, wynikającego ze zróżnicowanego dostępu respondentów do Internetu - ze względu na rodzaj badanej populacji jaką byli nauczyciele w Stanach Zjednoczonych - nie zaistniało ryzyko, że istnieją nauczyciele, którzy nie mają dostępu do Internetu, a w konsekwencji, profil respondenta ankiety internetowej nie różnił się istotnie od profilu respondenta ankiety papierowej. 

Taką sytuację zawdzięczamy temu, że cała badana populacja miała w miarę dobry dostęp do Internetu. Różnice w wynikach uzyskiwanych obiema metodami można bowiem często tłumaczyć zróżnicowanym profilem populacji respondentów każdej z metod - przykładowo, gospodyni domowa z dostępem do internetu może charakteryzować się innymi opiniami/postawą w porównaniu do gospodyni, która dostępu do internetu nie posiada - ale w takim przypadku, zróżnicowanie wyników badania nie jest efektem błędu pomiaru, a raczej błędu pokrycia, który skutkuje różnym profilem respondentów obu metod badawczych. Inny przykład - Janusz Korwin-Mikke w internetowych sondażach ma poparcie większe niż w telefonicznych - nie dlatego, że przez Internet ludzie odpowiadają inaczej, a dlatego, że przyciąga on wyborców młodszych z miast, którzy mają lepszy dostęp do Internetu.

Ostatnia ważna kwestia w rozważaniach o porównywalności różnych metod badawczych to fakt, że w obu badanych metodach nie wystąpił błąd wynikający z wpływu osoby ankietera - zarówno ankietę internetową jak i papierową respondent wypełnia samodzielnie. Jest to o tyle ważne, że tak jak wspomniałem na początku, to właśnie wpływ ankietera ma istotny wpływ na skalę występowania błędu pomiaru.

Więcej o artykule, który był inspiracją do napisania powyższego: Aritomi, Tami and Jason Hill. 2011. “Mode Effect Analysis-Paper Respondents vs. Web Respondents in the 2004-05 Teacher Follow-up Survey” Survey Practice, February: www.surveypractice.org

Czas wypełniania ankiety jako wyznacznik jakości danych

Czy respondenci, którzy wypełniają ankietę internetową szybciej niż pozostali, mają też większą skłonność do zaznaczania odpowiedzi wymienionych jako pierwsze, a tym samym dostarczania danych gorszej jakości? Pytanie to legło u podstaw eksperymentu profesora Neila Malhotra ze Stanford University

Aby sprawdzić, czy istnieje zależność między czasem wypełniania ankiety a jakością danych dzięki niej pozyskanych, zrealizowano badanie na reprezentatywnej grupie 397 Amerykanów. Kwestionariusz ankiety zawierał 5 pytań z 5-stopniową skalą odpowiedzi (np. od 1 - bardzo zainteresowany do 5 – w ogóle niezainteresowany) i 6 pytań ze stanowczymi, niezależnymi odpowiedziami. Połowie badanych osób odpowiedzi na pytania wyświetlały się w określonej kolejności, a drugiej połowie w kolejności odwrotnej. Mierzony był czas wypełniania ankiety przez każdego respondenta. Podczas dokonywania analizy wyników pod uwagę wzięto także zmienne demograficzne.

Zarówno w grupie o „normalnej” jak i odwróconej kolejności wyświetlania się odpowiedzi, respondenci z niższym wykształceniem, którzy wypełniali ankietę najszybciej, byli najbardziej skłonni wybierać jedną z dwóch odpowiedzi z góry listy. Dotyczyło to jednak tylko pytań z odpowiedziami ze skali. Efekt wybierania pierwszej odpowiedzi maleje wraz z wydłużaniem się czasu wypełniania ankiety, a więc osoby, które wypełniały ankietę dłużej, rzadziej wybierały odpowiedzi z góry listy. Natomiast wśród respondentów z wyższym wykształceniem, którzy wypełnili ankietę szybciej, nie zaobserwowano takiej zależności (krótszy czas wypełniania ankiety w ich przypadku można tłumaczyć silnymi, skrystalizowanymi poglądami). Co więcej, wśród „najwolniejszych” respondentów z wyższym wykształceniem, efekt zaznaczania pierwszej odpowiedzi nie wystąpił w ogóle – różnica w odpowiedziach między grupami z różną kolejnością odpowiedzi jest tu praktycznie zerowa.

Wyniki eksperymentu wskazują, że czas wypełniania ankiety może być wartościowym, choć niesamodzielnym kryterium oceny jakości danych uzyskanych od respondentów. Pod uwagę należy wziąć także cechy respondentów (np. ich kompetencje poznawcze) czy rodzaj pytań. Warto pamiętać o manipulowaniu kolejnością odpowiedzi w kwestionariuszu (tzw. rotacja odpowiedzi) - co prawda nie zlikwiduje to błędów w pomiarze, ale sprawi, że każda z odpowiedzi w kafeterii będzie obarczona takim samym błędem wynikającym z „bycia pierwszą odpowiedzią”. Ciekawym pomysłem jest też wprowadzenie do ankiety np. głosu i/lub video z osobą, która prowadziłaby respondenta przez kolejne pytania i wydłużałaby czas wypełniania ankiety, zmuszając go do udzielania bardziej przemyślanych odpowiedzi.

Więcej informacji: Neil Malhotra, Completion Time and Response Order Effects in Web Surveys, opublikowany w Public Opin Q (2008) nr 72.

Zainteresowanie tematem ankiety - wpływ na response rate oraz jakość wyników badania

Zarówno intuicja jak i praktyka badawcza wskazują na następującą zależność - respondenci zainteresowani tematem badania są bardziej skłonni wziąć w nim udział. 

Im ciekawszy temat dla ogółu społeczeństwa, tym łatwiej pozyskać oczekiwaną liczbę ankiet. Również pozyskanie respondentów w badaniach o charakterze niszowym, skierowanych do konkretnej grupy docelowej wymaga stosunkowo mniejszego wysiłku. 

Niestety, im bardziej temat ankiety będzie ciekawy dla respondentów, tym w większym stopniu wystąpi ryzyko błędu pokrycia, który polega na tym, że w badaniu wzięli udział respondenci "lepiej" znający tematykę badania lub posiadający bardziej skrajne opinie, wiążące się z silniejszymi emocjami (zarówno pozytywnymi jak i negatywnymi), co w konsekwencji zwiększa response rate, ale jednocześnie negatywnie wpływa na odchylenie standardowe wyrażanych przez respondentów opinii. 

Przykładów takiego zjawiska można mnożyć wiele. Dobrze widać to w sondażach politycznych, w których skrajne, emocjonalne opinie są z reguły nadreprezentowane w porównaniu z ostatecznymi wynikami wyborów.

Pytanie, w jaki sposób zmniejszyć negatywny wpływ stopnia zainteresowania respondentów tematem badania na jego wyniki? Jednym z pomysłów jest finansowa gratyfikacja dla respondentów, która powinna przyciągnąć do ankiety również respondentów mniej zainteresowanych tematem badania. Zakładamy, że respondenci Ci zdecydują się na udział w badaniu pod wpływem gratyfikacji finansowej. Niestety okazuje się, że gratyfikacja finansowa faktycznie może pełnić taką rolę, jednak jej wpływ na zwiększenie stopnia reprezentatywności badania jest stosunkowo niewielki.

Szerzej, temat wpływu tematu badania na response rate oraz jakość pozyskanych danych, poruszają R. M. Groves, S. Presser i S. Dipko w artykule The Role of topic interest in survey participation decision, opublikowanym w numerze 68 Public Opinion Quarterly (2004). Zachęcamy do lektury artykułu.

Wpływ prezentu na wskaźnik udziału w ankiecie internetowej na przykładzie badania losów absolwentów uczelni technicznej

Dlaczego respondent decyduje się na udział w ankiecie internetowej? Jak zwiększyć jego skłonność do poświęcenia kilku czy kilkunastu minut?

W serwisie www.badaniamarketingowe.org.pl dodaliśmy nowy artykuł poruszający kwestię wpływu prezentu dla respondenta na jego skłonność do udziału w ankiecie na przykładzie internetowego badania losów absolwentów jednej z krajowych uczelni technicznej.

W artykule pokazujemy, jak na wskaźnik odpowiedzi (response rate) wpłynął prezent w postaci dostępu do elektronicznej gazety, a także sposób gromadzenia adresów, na które było wysyłane zaproszenie do udziału w ankiecie. Dodatkowo, pokazujemy również skuteczność wysyłania przypomnienia. Stosunkowo wysoki response rate przy drugiej wysyłce wskazuje, że decyzja o udziale w ankiecie ma charakter spontaniczny i w dużym stopniu zależy od tego dyspozycyjności respondenta w chwili, gdy dostał ankietę.

Kliknij aby przeczytać cały artykuł.

Response rate i jakość wyników badania zależą od informacji wstępnych nt. badania w zaproszeniu do ankiety.

Zgodnie z wynikami eksperymentu przeprowadzonego przez badaczy z University of Michigan, University of Chicago oraz U.S. Census Bureau (odpowiednik GUS w USA), informacje nt. badania zawarte w zaproszeniu do wzięcia w nim udziału mają znaczny wpływ na współczynniki odpowiedzi (response rate) i jakość wyników badania.

Eksperyment polegał na przeprowadzeniu, w krótkim odstępie czasowym, dwóch pozornie niezwiązanych ze sobą badań wśród tych samych członków paneli badań internetowych. Opis pierwszego badania był identyczny dla wszystkich respondentów. Na potrzeby drugiego badania stworzono kilka wersji opisu (3 różnych zleceniodawców, odmienne tematy badania i szacowana długość wypełniania ankiety), które respondenci otrzymywali na zasadzie losowej.

Jak się okazało, zmienne te miały wpływ nie tylko na liczbę osób, które wzięły udział w badaniu, ale także na poziom dokładności, z jaką respondenci wypełniali ankietę, a nawet samą treść odpowiedzi. Dla przykładu, respondenci wypełniający ankietę dla „Narodowej Koalicji Posiadaczy Broni” byli mniej przychylni polityce kontroli dostępu do broni niż ci, którzy wypełniali ją dla „Narodowej Koalicji dla Ofiar Przemocy przy Użyciu Broni” czy „Narodowego Centrum Studiów nad Przestępczością”.

Źródło: Roger Tourangeau, Robert M. Groves, Courtney Kennedy, Ting Yan, The Presentation of a Web Survey, Nonresponse and Measurement Error among Members of Web Panel, Journal of Official Statistics, Vol. 25, No. 3, 2009, pp. 299–321. Więcej na http://www.jos.nu/Articles/abstract.asp?article=253299