Wpływ elementów graficznych w ankiecie internetowej na odpowiedzi respondentów

Jedną z zalet badań internetowych jest możliwość dodawania do ankiety różnych elementów graficznych - nie tylko po to, aby ją uatrakcyjnić, ale także by uzupełnić treść pytań badawczych. Na ile znaczące są obrazki dołączane do pytań, czy są ważniejsze od instrukcji słownych i jak stosować je z powodzeniem? W jakim stopniu grafika w ankiecie wpływa na tzw. błąd pomiaru?

Odpowiedzi na te pytania niesie eksperyment przeprowadzony wśród członków internetowego panelu badań Longitudinal Internet Studies for the Social Sciences (LISS) Panel. W maju 2009 r. uczestniczyło w nim 5 101 panelistów, a w czerwcu 2009 r. spośród osób z tej samej grupy swój udział w badaniu ponowiło 4 636 osób.

Pytania kwestionariusza dotyczyły różnych aspektów spędzania wolnego czasu przez respondentów. Dla każdego pytania opracowano jego 9 wersji, które powstały z kombinacji 3 różnych opcji graficznych (1 – brak obrazka; 2 - obrazek przedstawiający zdarzenie o wysokiej częstości występowania; 3 – obrazek przedstawiający zdarzenie o niskiej częstości występowania) i 3 różnych opisów słownych (1 – brak instrukcji; 2 – instrukcja opisująca zdarzenie o wysokiej i niskiej częstości występowania; 3 – instrukcja opisująca zdarzenie o niskiej częstości występowania). Dana wersja pytania wyświetlała się respondentowi na zasadzie losowej.

Badacze spodziewali się, że zaprezentowanie obrazka przedstawiającego zdarzenie o wysokiej częstości występowania będzie skutkować tzw. błędem pomiaru wpływając na zwiększenie liczby wskazań respondentów. Dla przykładu, w pytaniu o liczbę wyjść na zakupy w ubiegłym miesiącu zamieszczenie obrazka przedstawiającego sklep spożywczy powinno zwiększyć średnią liczbę wyjść na zakupy podaną przez respondentów, podczas gdy zamieszczenie obrazka przedstawiającego supermarket powinno tę liczbę zmniejszyć. Wnioskowanie to wynika z faktu, że przeciętny respondent częściej chodzi na zakupy do sklepu spożywczego niż do supermarketu.

Dodatkowo założono, że instrukcje słowne zminimalizują opisany wpływ obrazków na odpowiedzi udzielone przez respondentów. Hipotezę tę sprawdzono dla różnych sytuacji opisu werbalnego. Użyto więc instrukcję opisującą zdarzenie o wysokiej i niskiej częstości występowania, np. „Prosimy podać liczbę wszystkich wyjść na zakupy, od sklepu spożywczego po supermarket” oraz instrukcji opisującej zdarzenie o niskiej częstości występowania typu „Prosimy podać liczbę wyjść na zakupy tylko do supermarketów, nie uwzględniając wyjść do sklepów spożywczych”. Osobny wariant odpowiedzi nie zawierał natomiast żadnych instrukcji słownych.

Jak się okazało, założenia eksperymentu były prawdziwe. Obrazki stosowane do zilustrowania pytania badawczego mają wpływ na odpowiedzi udzielane przez respondentów i jest on podobny do tego, jaki mają instrukcje słowne. Tak więc wstawienie obrazka przedstawiającego zdarzenie o wysokiej częstości występowania ma podobne efekty do załączenia instrukcji słownej opisującej zdarzenie o wysokiej i niskiej częstości występowania. Z kolei pokazanie obrazka przedstawiającego zdarzenie o niskiej częstości występowania ma wpływ porównywalny z załączeniem instrukcji werbalnej opisującej zdarzenie o niskiej częstości występowania.

Eksperyment potwierdził także, że choć elementy wizualne i instrukcje werbalne wpływają na respondentów w podobny sposób, robią to jednak z różną siłą. Instrukcje słowne mają silniejszy wpływ na respondenta niż przekaz, jaki niesie ze sobą grafika. Jeśli werbalne i wizualne wskazówki są ze sobą niespójne, wtedy respondenci przywiązują większą wagę do tych pierwszych.

Tak więc precyzyjne formułowanie pytań i objaśnianie ich instrukcjami słownymi ma największe znaczenie dla właściwego zrozumienia pytania przez respondenta, natomiast spójność obrazków z przekazem werbalnym zwiększą jakość otrzymywanych danych. Dodatkowym argumentem za zamieszczaniem obrazków w ankiecie jest sprawienie respondentom większej przyjemności z jej wypełniania. Zgodnie z wynikami badania, przyjemność ta w pewnym stopniu wzrastała, jeśli pytaniom badawczym towarzyszyły ilustrujące je obrazki. Poza tym, zaznajomienie się z instrukcją słowną zajmowało respondentom więcej czasu niż zapoznanie się z  obrazkiem. Jeśli więc wskazówki werbalne i wizualne będą ze sobą spójne, ich łączne zamieszczenie może nawet skrócić czas wypełniania ankiety.

Jeśli zdecydujemy się na zamieszczenie w ankiecie elementów graficznych, powinniśmy natomiast przemyśleć, w którym miejscu je usytuować. Jak wykazał eksperyment, to, w jakim miejscu zamieszczony jest obrazek, wskazuje respondentowi, na ile jest on ważny dla udzielenia odpowiedzi na pytanie. Otóż umieszczenie obrazka bezpośrednio po pytaniu i przed miejscem na odpowiedź oznacza, że jest on kluczowy dla zrozumienia pytania i powinno się na niego zwrócić uwagę. Co powinno być oczywiste, powinniśmy także dopilnować, aby przekaz, jaki niosą ze sobą elementy wizualne, był spójny z treścią opisów słownych.

Błąd pomiaru - porównanie ankiety internetowej i papierowej

W praktyce badawczej spotykamy się często z błędem, który nazywany jest tzw. błędem pomiaru, wynikającym bezpośrednio ze specyfiki zastosowanej metody badawczej. W przypadku wywiadu osobistego może to być wpływ ankietera na wypowiedzi respondenta, a w przypadku ankiety papierowej, możliwość zapoznania się przez respondenta z całością ankiety przed rozpoczęciem jej wypełnienia.

Błędem pomiaru jest również skutek zasady pierwszeństwa - w przypadku długiej kafeterii odpowiedzi respondent widzi głównie odpowiedzi znajdujące się na górze, potem te, które są na dole listy, a na końcu dostrzega te w środku. W konsekwencji, jeśli nie zastosujemy rotacji odpowiedzi, odpowiedzi z góry kafeterii będą z pewnością przeszacowane. 

Część błędów pomiaru wynika po prostu ze specyfiki badania - oczywistym jest, że odpowiedzi na pytania wrażliwe będą różnić się w zależności od zastosowanej metody, gdyż anonimowość w trakcie wypełniania ankiety będzie w tym przypadku odgrywać ogromną rolę.

Oczywiście to są tylko przykłady - liczba i rodzaj błędów pomiaru to worek bez dna i każdy badacz przekonuje się o tym bardzo często... Niemniej, im więcej o nich wiemy, tym łatwiej ich unikać.

Aritomi Tami i Jason Hill z American Institutes for Research postanowili sprawdzić wpływ metody badawczej na wyniki badania pomiędzy ankietą internetową i ankietą papierową na populacji nauczycieli amerykańskich szkół. Okazało się, że sposób przeprowadzenia ankiety nie miał wpływu na uzyskane wyniki.

Warto jednak podkreślić, że w badaniu tym nie doszło do błędu pokrycia, wynikającego ze zróżnicowanego dostępu respondentów do Internetu - ze względu na rodzaj badanej populacji jaką byli nauczyciele w Stanach Zjednoczonych - nie zaistniało ryzyko, że istnieją nauczyciele, którzy nie mają dostępu do Internetu, a w konsekwencji, profil respondenta ankiety internetowej nie różnił się istotnie od profilu respondenta ankiety papierowej. 

Taką sytuację zawdzięczamy temu, że cała badana populacja miała w miarę dobry dostęp do Internetu. Różnice w wynikach uzyskiwanych obiema metodami można bowiem często tłumaczyć zróżnicowanym profilem populacji respondentów każdej z metod - przykładowo, gospodyni domowa z dostępem do internetu może charakteryzować się innymi opiniami/postawą w porównaniu do gospodyni, która dostępu do internetu nie posiada - ale w takim przypadku, zróżnicowanie wyników badania nie jest efektem błędu pomiaru, a raczej błędu pokrycia, który skutkuje różnym profilem respondentów obu metod badawczych. Inny przykład - Janusz Korwin-Mikke w internetowych sondażach ma poparcie większe niż w telefonicznych - nie dlatego, że przez Internet ludzie odpowiadają inaczej, a dlatego, że przyciąga on wyborców młodszych z miast, którzy mają lepszy dostęp do Internetu.

Ostatnia ważna kwestia w rozważaniach o porównywalności różnych metod badawczych to fakt, że w obu badanych metodach nie wystąpił błąd wynikający z wpływu osoby ankietera - zarówno ankietę internetową jak i papierową respondent wypełnia samodzielnie. Jest to o tyle ważne, że tak jak wspomniałem na początku, to właśnie wpływ ankietera ma istotny wpływ na skalę występowania błędu pomiaru.

Więcej o artykule, który był inspiracją do napisania powyższego: Aritomi, Tami and Jason Hill. 2011. “Mode Effect Analysis-Paper Respondents vs. Web Respondents in the 2004-05 Teacher Follow-up Survey” Survey Practice, February: www.surveypractice.org