sobota, 5 maja 2012

Błąd braku odpowiedzi – jak skutecznie zwiększyć wskaźnik udziału w badaniach internetowych.

Realizując badanie internetowe, badacz dąży do minimalizacji tzw. błędu braku odpowiedzi. Nawet intuicyjnie czujemy, że wyniki z 1000 ankiet, które uzyskaliśmy w wyniku zaproszenia skierowanego do kilku tysięcy osób spełniających kryteria udziału w badaniu będą znacznie bardziej reprezentatywne niż wyniki z podobnej liczby ankiet, ale pozyskanych w wyniku wysłania kilkuset tysięcy zaproszeń do udziału w badaniu. Planując badanie, warto więc zatroszczyć się o to aby iloraz liczby ankiet i liczby osób, do których skierowana jest ankieta był jak najwyższy.
Co więc wpływa na ten wskaźnik i jak go zwiększać? Z tym problemem zmierzyli się Henry Sauermann z Georgia Institute of Technology oraz Michael Roach z University of North California.
Na populacji ponad 24 tysięcy pracowników naukowych i inżynierów, przeprowadzili badanie, w ramach którego zaprojektowali aż 25 kombinacji - prób, zróżnicowanych wg m.in.:
  • stopnia personalizacji zaproszenia do badania,
  • wielkości nagrody z tytułu udziału w badaniu,
  • dnia tygodnia, kiedy wysłano zaproszenie do udziału w badaniu,
  • pory dnia, w której wysłano zaproszenie do udziału w badaniu.
Personalizować czy nie personalizować
Wyniki badania pokazały, że personalizacja co do zasady zwiększa poziom udziału w badaniu, jednak nie należy z nią przesadzać. Przywołanie jedynie imienia było bowiem bardziej skuteczne niż przywołanie zarówno imienia jak i nazwiska potencjalnego respondenta. Okazało się, że posługiwanie się zarówno imieniem jak i nazwiskiem odbiorcy wiadomości e-mail było postrzegane jako zbyt duży poziom ingerencji w prywatność i anonimowość respondenta.

Duża szansa i mała nagroda czy mała szansa ale duża nagroda – jak wynagradzać respondentów.
Badanie potwierdziło, że wynagrodzenie dla respondenta zwiększa skłonność do udziału w badaniu. Najwyższy wskaźnik udziału w badaniu (31,1%) zanotowano w grupie, której zaoferowano 5 nagród po 100 dolarów. Natomiast najmniejszy wskaźnik (25,0%) uzyskano w populacji, której zaproponowano 100 nagród po 5 dolarów. Co ciekawe, wariant z nagrodą w wysokości 5 dolarów był nieznacznie mniej skuteczny, niż wariant, w którym respondentom nie zaproponowano żadnej nagrody (25,4%). Można pokusić się o stwierdzenie, że bardzo niska nagroda za udział w badaniu pomniejszała wartość ankiety w oczach respondentów i sens udziału w badaniu. Respondenci zakładają w takim przypadku, że badanie nie jest istotne dla badacza, a w konsekwencji nie widzą powodów, dla których mieliby poświęcić swój czas na wypełnianie ankiety. Co ciekawe, 20 nagród po 25 dolarów było równie skuteczne jak 50 nagród po 25 dolarów – oznacza to, że respondenci przede wszystkim zwracają uwagę na wielkość nagrody a nie ich liczbę. Po części może to wynikać z faktu, że respondenci, nie znając liczby osób, wśród których wylosowane zostaną nagrody, nie mogą zachowywać się racjonalnie i obliczać ewentualnego prawdopodobieństwa zdobycia nagrody. Wysoka nagroda działa znacznie bardziej na decyzję respondenta niż prawdopodobieństwo jej otrzymania.
Podsumowując, skuteczniejszym działaniem z perspektywy firmy badawczej jest zwiększenie nagrody (np. ze 100 zł do 500 zł) niż zwiększenie prawdopodobieństwa jej zdobycia przez respondenta (np. z 0,1% do 0,5%). Przeciętny respondent, nie znając łącznej liczby respondentów, nie jest bowiem w stanie obliczyć swojej szansy na zdobycie nagrody, a w konsekwencji, szansę tę szacuje na podobnym poziomie bez względu na liczbę i wartość nagród.

Kiedy wysyłać zaproszenia?
Badanie nie potwierdziło istotnej zależności wskaźnika skłonności do udziału w badaniu od dnia tygodnia oraz pory dnia wysłania zaproszenia do udziału w badaniu. Po części, brak takiej zależności potwierdza jedną z ważniejszych zalet ankiety internetowej, która polega na samodzielnym wyborze respondenta pory jej wypełnienia.

Udowodnij, że nie spamujesz.
Dodatkowo, zmienną, która okazała się mieć znaczenie na wskaźnik udziału w badaniach okazało się redakcyjne przeformułowanie tekstu przypomnienia o badaniu (bez zmiany znaczenia tego tekstu w stosunku do tekstu pierwszego zaproszenia do badania). Zmiana ta skutkowała wzrostem wskaźnika skłonności do udziału w badaniu aż o 37%. Można podejrzewać, że ludzie znacznie przychylniej oceniają treści, które nie są przez nich traktowane jako spam. Fakt przeformułowania tekstu przypomnienia może być odbierany przez respondenta jako dowód, że za badaniem stoi realny człowiek, który poświęcił czas i energię, a nie tylko maszyna.


Więcej w artykule, który był inspiracją do napisania powyższego: Henry Sauermann, Michael Roach, Increasing web survey response rates in innovation research: An experimental study of static and dynamiccontact design features, 30.04.2012, Social Science Research Network, http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1618295

Brak komentarzy:

Prześlij komentarz