Czas wypełniania ankiety jako wyznacznik jakości danych

Czy respondenci, którzy wypełniają ankietę internetową szybciej niż pozostali, mają też większą skłonność do zaznaczania odpowiedzi wymienionych jako pierwsze, a tym samym dostarczania danych gorszej jakości? Pytanie to legło u podstaw eksperymentu profesora Neila Malhotra ze Stanford University

Aby sprawdzić, czy istnieje zależność między czasem wypełniania ankiety a jakością danych dzięki niej pozyskanych, zrealizowano badanie na reprezentatywnej grupie 397 Amerykanów. Kwestionariusz ankiety zawierał 5 pytań z 5-stopniową skalą odpowiedzi (np. od 1 - bardzo zainteresowany do 5 – w ogóle niezainteresowany) i 6 pytań ze stanowczymi, niezależnymi odpowiedziami. Połowie badanych osób odpowiedzi na pytania wyświetlały się w określonej kolejności, a drugiej połowie w kolejności odwrotnej. Mierzony był czas wypełniania ankiety przez każdego respondenta. Podczas dokonywania analizy wyników pod uwagę wzięto także zmienne demograficzne.

Zarówno w grupie o „normalnej” jak i odwróconej kolejności wyświetlania się odpowiedzi, respondenci z niższym wykształceniem, którzy wypełniali ankietę najszybciej, byli najbardziej skłonni wybierać jedną z dwóch odpowiedzi z góry listy. Dotyczyło to jednak tylko pytań z odpowiedziami ze skali. Efekt wybierania pierwszej odpowiedzi maleje wraz z wydłużaniem się czasu wypełniania ankiety, a więc osoby, które wypełniały ankietę dłużej, rzadziej wybierały odpowiedzi z góry listy. Natomiast wśród respondentów z wyższym wykształceniem, którzy wypełnili ankietę szybciej, nie zaobserwowano takiej zależności (krótszy czas wypełniania ankiety w ich przypadku można tłumaczyć silnymi, skrystalizowanymi poglądami). Co więcej, wśród „najwolniejszych” respondentów z wyższym wykształceniem, efekt zaznaczania pierwszej odpowiedzi nie wystąpił w ogóle – różnica w odpowiedziach między grupami z różną kolejnością odpowiedzi jest tu praktycznie zerowa.

Wyniki eksperymentu wskazują, że czas wypełniania ankiety może być wartościowym, choć niesamodzielnym kryterium oceny jakości danych uzyskanych od respondentów. Pod uwagę należy wziąć także cechy respondentów (np. ich kompetencje poznawcze) czy rodzaj pytań. Warto pamiętać o manipulowaniu kolejnością odpowiedzi w kwestionariuszu (tzw. rotacja odpowiedzi) - co prawda nie zlikwiduje to błędów w pomiarze, ale sprawi, że każda z odpowiedzi w kafeterii będzie obarczona takim samym błędem wynikającym z „bycia pierwszą odpowiedzią”. Ciekawym pomysłem jest też wprowadzenie do ankiety np. głosu i/lub video z osobą, która prowadziłaby respondenta przez kolejne pytania i wydłużałaby czas wypełniania ankiety, zmuszając go do udzielania bardziej przemyślanych odpowiedzi.

Więcej informacji: Neil Malhotra, Completion Time and Response Order Effects in Web Surveys, opublikowany w Public Opin Q (2008) nr 72.