Błąd braku odpowiedzi – jak skutecznie zwiększyć wskaźnik udziału w badaniach internetowych.

Realizując badanie internetowe, badacz dąży do minimalizacji tzw. błędu braku odpowiedzi. Nawet intuicyjnie czujemy, że wyniki z 1000 ankiet, które uzyskaliśmy w wyniku zaproszenia skierowanego do kilku tysięcy osób spełniających kryteria udziału w badaniu będą znacznie bardziej reprezentatywne niż wyniki z podobnej liczby ankiet, ale pozyskanych w wyniku wysłania kilkuset tysięcy zaproszeń do udziału w badaniu. Planując badanie, warto więc zatroszczyć się o to aby iloraz liczby ankiet i liczby osób, do których skierowana jest ankieta był jak najwyższy.

Co więc wpływa na ten wskaźnik i jak go zwiększać? Z tym problemem zmierzyli się Henry Sauermann z Georgia Institute of Technology oraz Michael Roach z University of North California.

Na populacji ponad 24 tysięcy pracowników naukowych i inżynierów, przeprowadzili badanie, w ramach którego zaprojektowali aż 25 kombinacji - prób, zróżnicowanych wg m.in.:

• stopnia personalizacji zaproszenia do badania,
• wielkości nagrody z tytułu udziału w badaniu,
• dnia tygodnia, kiedy wysłano zaproszenie do udziału w badaniu,
• pory dnia, w której wysłano zaproszenie do udziału w badaniu.

Personalizować czy nie personalizować

Wyniki badania pokazały, że personalizacja co do zasady zwiększa poziom udziału w badaniu, jednak nie należy z nią przesadzać. Przywołanie jedynie imienia było bowiem bardziej skuteczne niż przywołanie zarówno imienia jak i nazwiska potencjalnego respondenta. Okazało się, że posługiwanie się zarówno imieniem jak i nazwiskiem odbiorcy wiadomości e-mail było postrzegane jako zbyt duży poziom ingerencji w prywatność i anonimowość respondenta.

Duża szansa i mała nagroda czy mała szansa ale duża nagroda – jak wynagradzać respondentów.

Badanie potwierdziło, że wynagrodzenie dla respondenta zwiększa skłonność do udziału w badaniu. Najwyższy wskaźnik udziału w badaniu (31,1%) zanotowano w grupie, której zaoferowano 5 nagród po 100 dolarów. Natomiast najmniejszy wskaźnik (25,0%) uzyskano w populacji, której zaproponowano 100 nagród po 5 dolarów. Co ciekawe, wariant z nagrodą w wysokości 5 dolarów był nieznacznie mniej skuteczny, niż wariant, w którym respondentom nie zaproponowano żadnej nagrody (25,4%). Można pokusić się o stwierdzenie, że bardzo niska nagroda za udział w badaniu pomniejszała wartość ankiety w oczach respondentów i sens udziału w badaniu. Respondenci zakładają w takim przypadku, że badanie nie jest istotne dla badacza, a w konsekwencji nie widzą powodów, dla których mieliby poświęcić swój czas na wypełnianie ankiety. Co ciekawe, 20 nagród po 25 dolarów było równie skuteczne jak 50 nagród po 25 dolarów – oznacza to, że respondenci przede wszystkim zwracają uwagę na wielkość nagrody a nie ich liczbę. Po części może to wynikać z faktu, że respondenci, nie znając liczby osób, wśród których wylosowane zostaną nagrody, nie mogą zachowywać się racjonalnie i obliczać ewentualnego prawdopodobieństwa zdobycia nagrody. Wysoka nagroda działa znacznie bardziej na decyzję respondenta niż prawdopodobieństwo jej otrzymania.

Podsumowując, skuteczniejszym działaniem z perspektywy firmy badawczej jest zwiększenie nagrody (np. ze 100 zł do 500 zł) niż zwiększenie prawdopodobieństwa jej zdobycia przez respondenta (np. z 0,1% do 0,5%). Przeciętny respondent, nie znając łącznej liczby respondentów, nie jest bowiem w stanie obliczyć swojej szansy na zdobycie nagrody, a w konsekwencji, szansę tę szacuje na podobnym poziomie bez względu na liczbę i wartość nagród.

Kiedy wysyłać zaproszenia?

Badanie nie potwierdziło istotnej zależności wskaźnika skłonności do udziału w badaniu od dnia tygodnia oraz pory dnia wysłania zaproszenia do udziału w badaniu. Po części, brak takiej zależności potwierdza jedną z ważniejszych zalet ankiety internetowej, która polega na samodzielnym wyborze respondenta pory jej wypełnienia.

Udowodnij, że nie spamujesz.

Dodatkowo, zmienną, która okazała się mieć znaczenie na wskaźnik udziału w badaniach okazało się redakcyjne przeformułowanie tekstu przypomnienia o badaniu (bez zmiany znaczenia tego tekstu w stosunku do tekstu pierwszego zaproszenia do badania). Zmiana ta skutkowała wzrostem wskaźnika skłonności do udziału w badaniu aż o 37%. Można podejrzewać, że ludzie znacznie przychylniej oceniają treści, które nie są przez nich traktowane jako spam. Fakt przeformułowania tekstu przypomnienia może być odbierany przez respondenta jako dowód, że za badaniem stoi realny człowiek, który poświęcił czas i energię, a nie tylko maszyna.


Więcej w artykule, który był inspiracją do napisania powyższego: Henry Sauermann, Michael Roach, Increasing web survey response rates in innovation research: An experimental study of static and dynamiccontact design features, 30.04.2012, Social Science Research Network, http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1618295

Błąd pomiaru - porównanie ankiety internetowej i papierowej

W praktyce badawczej spotykamy się często z błędem, który nazywany jest tzw. błędem pomiaru, wynikającym bezpośrednio ze specyfiki zastosowanej metody badawczej. W przypadku wywiadu osobistego może to być wpływ ankietera na wypowiedzi respondenta, a w przypadku ankiety papierowej, możliwość zapoznania się przez respondenta z całością ankiety przed rozpoczęciem jej wypełnienia.

Błędem pomiaru jest również skutek zasady pierwszeństwa - w przypadku długiej kafeterii odpowiedzi respondent widzi głównie odpowiedzi znajdujące się na górze, potem te, które są na dole listy, a na końcu dostrzega te w środku. W konsekwencji, jeśli nie zastosujemy rotacji odpowiedzi, odpowiedzi z góry kafeterii będą z pewnością przeszacowane. 

Część błędów pomiaru wynika po prostu ze specyfiki badania - oczywistym jest, że odpowiedzi na pytania wrażliwe będą różnić się w zależności od zastosowanej metody, gdyż anonimowość w trakcie wypełniania ankiety będzie w tym przypadku odgrywać ogromną rolę.

Oczywiście to są tylko przykłady - liczba i rodzaj błędów pomiaru to worek bez dna i każdy badacz przekonuje się o tym bardzo często... Niemniej, im więcej o nich wiemy, tym łatwiej ich unikać.

Aritomi Tami i Jason Hill z American Institutes for Research postanowili sprawdzić wpływ metody badawczej na wyniki badania pomiędzy ankietą internetową i ankietą papierową na populacji nauczycieli amerykańskich szkół. Okazało się, że sposób przeprowadzenia ankiety nie miał wpływu na uzyskane wyniki.

Warto jednak podkreślić, że w badaniu tym nie doszło do błędu pokrycia, wynikającego ze zróżnicowanego dostępu respondentów do Internetu - ze względu na rodzaj badanej populacji jaką byli nauczyciele w Stanach Zjednoczonych - nie zaistniało ryzyko, że istnieją nauczyciele, którzy nie mają dostępu do Internetu, a w konsekwencji, profil respondenta ankiety internetowej nie różnił się istotnie od profilu respondenta ankiety papierowej. 

Taką sytuację zawdzięczamy temu, że cała badana populacja miała w miarę dobry dostęp do Internetu. Różnice w wynikach uzyskiwanych obiema metodami można bowiem często tłumaczyć zróżnicowanym profilem populacji respondentów każdej z metod - przykładowo, gospodyni domowa z dostępem do internetu może charakteryzować się innymi opiniami/postawą w porównaniu do gospodyni, która dostępu do internetu nie posiada - ale w takim przypadku, zróżnicowanie wyników badania nie jest efektem błędu pomiaru, a raczej błędu pokrycia, który skutkuje różnym profilem respondentów obu metod badawczych. Inny przykład - Janusz Korwin-Mikke w internetowych sondażach ma poparcie większe niż w telefonicznych - nie dlatego, że przez Internet ludzie odpowiadają inaczej, a dlatego, że przyciąga on wyborców młodszych z miast, którzy mają lepszy dostęp do Internetu.

Ostatnia ważna kwestia w rozważaniach o porównywalności różnych metod badawczych to fakt, że w obu badanych metodach nie wystąpił błąd wynikający z wpływu osoby ankietera - zarówno ankietę internetową jak i papierową respondent wypełnia samodzielnie. Jest to o tyle ważne, że tak jak wspomniałem na początku, to właśnie wpływ ankietera ma istotny wpływ na skalę występowania błędu pomiaru.

Więcej o artykule, który był inspiracją do napisania powyższego: Aritomi, Tami and Jason Hill. 2011. “Mode Effect Analysis-Paper Respondents vs. Web Respondents in the 2004-05 Teacher Follow-up Survey” Survey Practice, February: www.surveypractice.org