Czas wypełniania ankiety jako wyznacznik jakości danych

Czy respondenci, którzy wypełniają ankietę internetową szybciej niż pozostali, mają też większą skłonność do zaznaczania odpowiedzi wymienionych jako pierwsze, a tym samym dostarczania danych gorszej jakości? Pytanie to legło u podstaw eksperymentu profesora Neila Malhotra ze Stanford University

Aby sprawdzić, czy istnieje zależność między czasem wypełniania ankiety a jakością danych dzięki niej pozyskanych, zrealizowano badanie na reprezentatywnej grupie 397 Amerykanów. Kwestionariusz ankiety zawierał 5 pytań z 5-stopniową skalą odpowiedzi (np. od 1 - bardzo zainteresowany do 5 – w ogóle niezainteresowany) i 6 pytań ze stanowczymi, niezależnymi odpowiedziami. Połowie badanych osób odpowiedzi na pytania wyświetlały się w określonej kolejności, a drugiej połowie w kolejności odwrotnej. Mierzony był czas wypełniania ankiety przez każdego respondenta. Podczas dokonywania analizy wyników pod uwagę wzięto także zmienne demograficzne.

Zarówno w grupie o „normalnej” jak i odwróconej kolejności wyświetlania się odpowiedzi, respondenci z niższym wykształceniem, którzy wypełniali ankietę najszybciej, byli najbardziej skłonni wybierać jedną z dwóch odpowiedzi z góry listy. Dotyczyło to jednak tylko pytań z odpowiedziami ze skali. Efekt wybierania pierwszej odpowiedzi maleje wraz z wydłużaniem się czasu wypełniania ankiety, a więc osoby, które wypełniały ankietę dłużej, rzadziej wybierały odpowiedzi z góry listy. Natomiast wśród respondentów z wyższym wykształceniem, którzy wypełnili ankietę szybciej, nie zaobserwowano takiej zależności (krótszy czas wypełniania ankiety w ich przypadku można tłumaczyć silnymi, skrystalizowanymi poglądami). Co więcej, wśród „najwolniejszych” respondentów z wyższym wykształceniem, efekt zaznaczania pierwszej odpowiedzi nie wystąpił w ogóle – różnica w odpowiedziach między grupami z różną kolejnością odpowiedzi jest tu praktycznie zerowa.

Wyniki eksperymentu wskazują, że czas wypełniania ankiety może być wartościowym, choć niesamodzielnym kryterium oceny jakości danych uzyskanych od respondentów. Pod uwagę należy wziąć także cechy respondentów (np. ich kompetencje poznawcze) czy rodzaj pytań. Warto pamiętać o manipulowaniu kolejnością odpowiedzi w kwestionariuszu (tzw. rotacja odpowiedzi) - co prawda nie zlikwiduje to błędów w pomiarze, ale sprawi, że każda z odpowiedzi w kafeterii będzie obarczona takim samym błędem wynikającym z „bycia pierwszą odpowiedzią”. Ciekawym pomysłem jest też wprowadzenie do ankiety np. głosu i/lub video z osobą, która prowadziłaby respondenta przez kolejne pytania i wydłużałaby czas wypełniania ankiety, zmuszając go do udzielania bardziej przemyślanych odpowiedzi.

Więcej informacji: Neil Malhotra, Completion Time and Response Order Effects in Web Surveys, opublikowany w Public Opin Q (2008) nr 72.

Zainteresowanie tematem ankiety - wpływ na response rate oraz jakość wyników badania

Zarówno intuicja jak i praktyka badawcza wskazują na następującą zależność - respondenci zainteresowani tematem badania są bardziej skłonni wziąć w nim udział. 

Im ciekawszy temat dla ogółu społeczeństwa, tym łatwiej pozyskać oczekiwaną liczbę ankiet. Również pozyskanie respondentów w badaniach o charakterze niszowym, skierowanych do konkretnej grupy docelowej wymaga stosunkowo mniejszego wysiłku. 

Niestety, im bardziej temat ankiety będzie ciekawy dla respondentów, tym w większym stopniu wystąpi ryzyko błędu pokrycia, który polega na tym, że w badaniu wzięli udział respondenci "lepiej" znający tematykę badania lub posiadający bardziej skrajne opinie, wiążące się z silniejszymi emocjami (zarówno pozytywnymi jak i negatywnymi), co w konsekwencji zwiększa response rate, ale jednocześnie negatywnie wpływa na odchylenie standardowe wyrażanych przez respondentów opinii. 

Przykładów takiego zjawiska można mnożyć wiele. Dobrze widać to w sondażach politycznych, w których skrajne, emocjonalne opinie są z reguły nadreprezentowane w porównaniu z ostatecznymi wynikami wyborów.

Pytanie, w jaki sposób zmniejszyć negatywny wpływ stopnia zainteresowania respondentów tematem badania na jego wyniki? Jednym z pomysłów jest finansowa gratyfikacja dla respondentów, która powinna przyciągnąć do ankiety również respondentów mniej zainteresowanych tematem badania. Zakładamy, że respondenci Ci zdecydują się na udział w badaniu pod wpływem gratyfikacji finansowej. Niestety okazuje się, że gratyfikacja finansowa faktycznie może pełnić taką rolę, jednak jej wpływ na zwiększenie stopnia reprezentatywności badania jest stosunkowo niewielki.

Szerzej, temat wpływu tematu badania na response rate oraz jakość pozyskanych danych, poruszają R. M. Groves, S. Presser i S. Dipko w artykule The Role of topic interest in survey participation decision, opublikowanym w numerze 68 Public Opinion Quarterly (2004). Zachęcamy do lektury artykułu.

Wpływ prezentu na wskaźnik udziału w ankiecie internetowej na przykładzie badania losów absolwentów uczelni technicznej

Dlaczego respondent decyduje się na udział w ankiecie internetowej? Jak zwiększyć jego skłonność do poświęcenia kilku czy kilkunastu minut?

W serwisie www.badaniamarketingowe.org.pl dodaliśmy nowy artykuł poruszający kwestię wpływu prezentu dla respondenta na jego skłonność do udziału w ankiecie na przykładzie internetowego badania losów absolwentów jednej z krajowych uczelni technicznej.

W artykule pokazujemy, jak na wskaźnik odpowiedzi (response rate) wpłynął prezent w postaci dostępu do elektronicznej gazety, a także sposób gromadzenia adresów, na które było wysyłane zaproszenie do udziału w ankiecie. Dodatkowo, pokazujemy również skuteczność wysyłania przypomnienia. Stosunkowo wysoki response rate przy drugiej wysyłce wskazuje, że decyzja o udziale w ankiecie ma charakter spontaniczny i w dużym stopniu zależy od tego dyspozycyjności respondenta w chwili, gdy dostał ankietę.

Kliknij aby przeczytać cały artykuł.

Response rate i jakość wyników badania zależą od informacji wstępnych nt. badania w zaproszeniu do ankiety.

Zgodnie z wynikami eksperymentu przeprowadzonego przez badaczy z University of Michigan, University of Chicago oraz U.S. Census Bureau (odpowiednik GUS w USA), informacje nt. badania zawarte w zaproszeniu do wzięcia w nim udziału mają znaczny wpływ na współczynniki odpowiedzi (response rate) i jakość wyników badania.

Eksperyment polegał na przeprowadzeniu, w krótkim odstępie czasowym, dwóch pozornie niezwiązanych ze sobą badań wśród tych samych członków paneli badań internetowych. Opis pierwszego badania był identyczny dla wszystkich respondentów. Na potrzeby drugiego badania stworzono kilka wersji opisu (3 różnych zleceniodawców, odmienne tematy badania i szacowana długość wypełniania ankiety), które respondenci otrzymywali na zasadzie losowej.

Jak się okazało, zmienne te miały wpływ nie tylko na liczbę osób, które wzięły udział w badaniu, ale także na poziom dokładności, z jaką respondenci wypełniali ankietę, a nawet samą treść odpowiedzi. Dla przykładu, respondenci wypełniający ankietę dla „Narodowej Koalicji Posiadaczy Broni” byli mniej przychylni polityce kontroli dostępu do broni niż ci, którzy wypełniali ją dla „Narodowej Koalicji dla Ofiar Przemocy przy Użyciu Broni” czy „Narodowego Centrum Studiów nad Przestępczością”.

Źródło: Roger Tourangeau, Robert M. Groves, Courtney Kennedy, Ting Yan, The Presentation of a Web Survey, Nonresponse and Measurement Error among Members of Web Panel, Journal of Official Statistics, Vol. 25, No. 3, 2009, pp. 299–321. Więcej na http://www.jos.nu/Articles/abstract.asp?article=253299