wtorek, 29 maja 2012

Badanie satysfakcji pracowników - trzy zasady.


Portale badań internetowych oferują możliwość samodzielnego przeprowadzenia ankiety satysfakcji pracowników przy minimalnym koszcie, ograniczonym de facto do wykupu abonamentu na czas realizacji badania. Oznacza to, że nawet spora firma, może zrobić takie badanie za 100 czy 200 złotych. Podejmując się jednak samodzielnego przeprowadzenia badania, warto pamiętać o trzech, kluczowych zasadach, których przestrzeganie będzie gwarancją ich rzetelności i reprezentatywności.

Zasada pierwsza: Zapewnij anonimowość.
Nie przesadzaj ze szczegółowością metryczki. Jeśli masz w firmie 3-osobowe działy, to nie pytaj respondenta, w którym z działów pracuje, bo będzie to ewidentny zamach na anonimowość ankiety. Przypomnienia o ankiecie wysyłaj do wszystkich, nawet jeśli oprogramowanie, z którego korzystasz oferuje funkcjonalność pozwalającą na wysyłkę przypomnienia wyłącznie do tych pracowników, którzy ankiety jeszcze nie wypełnili. Pamiętaj również, aby nie pytać o konkretne sytuacje czy zdarzenia, które mogą być podstawą do rozszyfrowania tożsamości pracownika. Zapewnienie poczucia anonimowości zagwarantuje Ci uzyskanie rzetelnych i szczerych odpowiedzi.

Zasada druga: Dobrze przemyśl zawartość ankiety.
Ankieta satysfakcji pracowników w dużym stopniu zawiera pytania, których odpowiedzi obarczone są bardzo dużym subiektywizmem. Wymagający szef to dla jednego pracownika zły szef a dla innego – bardzo dobry szef. Więc nie pytaj, czy szef jest dobry czy zły. Zapytaj, czy jego wymagania są adekwatne do możliwości pracowników i potrzeb firmy. Przemyśl dokładnie zawartość pierwszej ankiety, gdyż ze względu na duży poziom subiektywizmu w ocenach, lepiej jest analizować poziom zmian analizowanych zmiennych a nie ich wartości bezwzględne. Dlatego ciągłość ankiety jest bardzo ważna na etapie wnioskowania ze zgromadzonych danych. Nie zadawaj też pytań, na które odpowiedzi można znaleźć w innych źródłach. Pytanie o korzystanie z zakładowej stołówki zadaj tylko wtedy, gdy chcesz dowiedzieć się jak pracownicy oceniają smak, ilość i cenę oferowanych posiłków. Analogicznie, pytanie o uczestnictwo w imprezach firmowych zadaj tylko wtedy, gdy chcesz się dowiedzieć, w jakim stopniu odpowiadają one oczekiwaniom pracowników.

Zasada trzecia: Wyniki traktuj poważnie
Nigdy nie rób badań satysfakcji pracowników „bo taka jest moda i musimy za nią podążać”. Nie ma nic bardziej demotywującego dla pracownika, jak wypowiedzenie opinii, których kierownictwo firmy nie traktuje poważnie. Jeśli raz tak zrobisz, kolejne badania będzie można wyrzucić do kosza – również pracownicy zaczną ankietę wypełniać „na odczepnego”. Idealnym rozwiązaniem jest prezentacja wyników wszystkim pracownikom. Jeśli nie chcesz tego robić, wykorzystaj je przy okazji ocen okresowych. Nawet jeśli nie zawsze będą one pozytywne, warto przekazać przynajmniej część wyników pracownikom. Warto również pamiętać o podjęciu działań zaradczych w obszarach, które okazały się problemowe. Również tutaj, chowanie głowy w piasek nic nie da. Nawet skromne działania będące bezpośrednią odpowiedzią na zdiagnozowane w badaniu problemy będą pozytywnie odebrane przez pracowników i poprawią ich satysfakcję z pracy.

piątek, 18 maja 2012

Wpływ elementów graficznych w ankiecie internetowej na odpowiedzi respondentów


Jedną z zalet badań internetowych jest możliwość dodawania do ankiety różnych elementów graficznych - nie tylko po to, aby ją uatrakcyjnić, ale także by uzupełnić treść pytań badawczych. Na ile znaczące są obrazki dołączane do pytań, czy są ważniejsze od instrukcji słownych i jak stosować je z powodzeniem? W jakim stopniu grafika w ankiecie wpływa na tzw. błąd pomiaru?

Odpowiedzi na te pytania niesie eksperyment przeprowadzony wśród członków internetowego panelu badań Longitudinal Internet Studies for the Social Sciences (LISS) Panel. W maju 2009 r. uczestniczyło w nim 5 101 panelistów, a w czerwcu 2009 r. spośród osób z tej samej grupy swój udział w badaniu ponowiło 4 636 osób.
Pytania kwestionariusza dotyczyły różnych aspektów spędzania wolnego czasu przez respondentów. Dla każdego pytania opracowano jego 9 wersji, które powstały z kombinacji 3 różnych opcji graficznych (1 – brak obrazka; 2 - obrazek przedstawiający zdarzenie o wysokiej częstości występowania; 3 – obrazek przedstawiający zdarzenie o niskiej częstości występowania) i 3 różnych opisów słownych (1 – brak instrukcji; 2 – instrukcja opisująca zdarzenie o wysokiej i niskiej częstości występowania; 3 – instrukcja opisująca zdarzenie o niskiej częstości występowania). Dana wersja pytania wyświetlała się respondentowi na zasadzie losowej.
Badacze spodziewali się, że zaprezentowanie obrazka przedstawiającego zdarzenie o wysokiej częstości występowania będzie skutkować tzw. błędem pomiaru wpływając na zwiększenie liczby wskazań respondentów. Dla przykładu, w pytaniu o liczbę wyjść na zakupy w ubiegłym miesiącu zamieszczenie obrazka przedstawiającego sklep spożywczy powinno zwiększyć średnią liczbę wyjść na zakupy podaną przez respondentów, podczas gdy zamieszczenie obrazka przedstawiającego supermarket powinno tę liczbę zmniejszyć. Wnioskowanie to wynika z faktu, że przeciętny respondent częściej chodzi na zakupy do sklepu spożywczego niż do supermarketu.
Dodatkowo założono, że instrukcje słowne zminimalizują opisany wpływ obrazków na odpowiedzi udzielone przez respondentów. Hipotezę tę sprawdzono dla różnych sytuacji opisu werbalnego. Użyto więc instrukcję opisującą zdarzenie o wysokiej i niskiej częstości występowania, np. „Prosimy podać liczbę wszystkich wyjść na zakupy, od sklepu spożywczego po supermarket” oraz instrukcji opisującej zdarzenie o niskiej częstości występowania typu „Prosimy podać liczbę wyjść na zakupy tylko do supermarketów, nie uwzględniając wyjść do sklepów spożywczych”. Osobny wariant odpowiedzi nie zawierał natomiast żadnych instrukcji słownych.
Jak się okazało, założenia eksperymentu były prawdziwe. Obrazki stosowane do zilustrowania pytania badawczego mają wpływ na odpowiedzi udzielane przez respondentów i jest on podobny do tego, jaki mają instrukcje słowne. Tak więc wstawienie obrazka przedstawiającego zdarzenie o wysokiej częstości występowania ma podobne efekty do załączenia instrukcji słownej opisującej zdarzenie o wysokiej i niskiej częstości występowania. Z kolei pokazanie obrazka przedstawiającego zdarzenie o niskiej częstości występowania ma wpływ porównywalny z załączeniem instrukcji werbalnej opisującej zdarzenie o niskiej częstości występowania.
Eksperyment potwierdził także, że choć elementy wizualne i instrukcje werbalne wpływają na respondentów w podobny sposób, robią to jednak z różną siłą. Instrukcje słowne mają silniejszy wpływ na respondenta niż przekaz, jaki niesie ze sobą grafika. Jeśli werbalne i wizualne wskazówki są ze sobą niespójne, wtedy respondenci przywiązują większą wagę do tych pierwszych.
Tak więc precyzyjne formułowanie pytań i objaśnianie ich instrukcjami słownymi ma największe znaczenie dla właściwego zrozumienia pytania przez respondenta, natomiast spójność obrazków z przekazem werbalnym zwiększą jakość otrzymywanych danych. Dodatkowym argumentem za zamieszczaniem obrazków w ankiecie jest sprawienie respondentom większej przyjemności z jej wypełniania. Zgodnie z wynikami badania, przyjemność ta w pewnym stopniu wzrastała, jeśli pytaniom badawczym towarzyszyły ilustrujące je obrazki. Poza tym, zaznajomienie się z instrukcją słowną zajmowało respondentom więcej czasu niż zapoznanie się z  obrazkiem. Jeśli więc wskazówki werbalne i wizualne będą ze sobą spójne, ich łączne zamieszczenie może nawet skrócić czas wypełniania ankiety.
Jeśli zdecydujemy się na zamieszczenie w ankiecie elementów graficznych, powinniśmy natomiast przemyśleć, w którym miejscu je usytuować. Jak wykazał eksperyment, to, w jakim miejscu zamieszczony jest obrazek, wskazuje respondentowi, na ile jest on ważny dla udzielenia odpowiedzi na pytanie. Otóż umieszczenie obrazka bezpośrednio po pytaniu i przed miejscem na odpowiedź oznacza, że jest on kluczowy dla zrozumienia pytania i powinno się na niego zwrócić uwagę. Co powinno być oczywiste, powinniśmy także dopilnować, aby przekaz, jaki niosą ze sobą elementy wizualne, był spójny z treścią opisów słownych.

sobota, 5 maja 2012

Błąd braku odpowiedzi – jak skutecznie zwiększyć wskaźnik udziału w badaniach internetowych.

Realizując badanie internetowe, badacz dąży do minimalizacji tzw. błędu braku odpowiedzi. Nawet intuicyjnie czujemy, że wyniki z 1000 ankiet, które uzyskaliśmy w wyniku zaproszenia skierowanego do kilku tysięcy osób spełniających kryteria udziału w badaniu będą znacznie bardziej reprezentatywne niż wyniki z podobnej liczby ankiet, ale pozyskanych w wyniku wysłania kilkuset tysięcy zaproszeń do udziału w badaniu. Planując badanie, warto więc zatroszczyć się o to aby iloraz liczby ankiet i liczby osób, do których skierowana jest ankieta był jak najwyższy.
Co więc wpływa na ten wskaźnik i jak go zwiększać? Z tym problemem zmierzyli się Henry Sauermann z Georgia Institute of Technology oraz Michael Roach z University of North California.
Na populacji ponad 24 tysięcy pracowników naukowych i inżynierów, przeprowadzili badanie, w ramach którego zaprojektowali aż 25 kombinacji - prób, zróżnicowanych wg m.in.:
  • stopnia personalizacji zaproszenia do badania,
  • wielkości nagrody z tytułu udziału w badaniu,
  • dnia tygodnia, kiedy wysłano zaproszenie do udziału w badaniu,
  • pory dnia, w której wysłano zaproszenie do udziału w badaniu.
Personalizować czy nie personalizować
Wyniki badania pokazały, że personalizacja co do zasady zwiększa poziom udziału w badaniu, jednak nie należy z nią przesadzać. Przywołanie jedynie imienia było bowiem bardziej skuteczne niż przywołanie zarówno imienia jak i nazwiska potencjalnego respondenta. Okazało się, że posługiwanie się zarówno imieniem jak i nazwiskiem odbiorcy wiadomości e-mail było postrzegane jako zbyt duży poziom ingerencji w prywatność i anonimowość respondenta.

Duża szansa i mała nagroda czy mała szansa ale duża nagroda – jak wynagradzać respondentów.
Badanie potwierdziło, że wynagrodzenie dla respondenta zwiększa skłonność do udziału w badaniu. Najwyższy wskaźnik udziału w badaniu (31,1%) zanotowano w grupie, której zaoferowano 5 nagród po 100 dolarów. Natomiast najmniejszy wskaźnik (25,0%) uzyskano w populacji, której zaproponowano 100 nagród po 5 dolarów. Co ciekawe, wariant z nagrodą w wysokości 5 dolarów był nieznacznie mniej skuteczny, niż wariant, w którym respondentom nie zaproponowano żadnej nagrody (25,4%). Można pokusić się o stwierdzenie, że bardzo niska nagroda za udział w badaniu pomniejszała wartość ankiety w oczach respondentów i sens udziału w badaniu. Respondenci zakładają w takim przypadku, że badanie nie jest istotne dla badacza, a w konsekwencji nie widzą powodów, dla których mieliby poświęcić swój czas na wypełnianie ankiety. Co ciekawe, 20 nagród po 25 dolarów było równie skuteczne jak 50 nagród po 25 dolarów – oznacza to, że respondenci przede wszystkim zwracają uwagę na wielkość nagrody a nie ich liczbę. Po części może to wynikać z faktu, że respondenci, nie znając liczby osób, wśród których wylosowane zostaną nagrody, nie mogą zachowywać się racjonalnie i obliczać ewentualnego prawdopodobieństwa zdobycia nagrody. Wysoka nagroda działa znacznie bardziej na decyzję respondenta niż prawdopodobieństwo jej otrzymania.
Podsumowując, skuteczniejszym działaniem z perspektywy firmy badawczej jest zwiększenie nagrody (np. ze 100 zł do 500 zł) niż zwiększenie prawdopodobieństwa jej zdobycia przez respondenta (np. z 0,1% do 0,5%). Przeciętny respondent, nie znając łącznej liczby respondentów, nie jest bowiem w stanie obliczyć swojej szansy na zdobycie nagrody, a w konsekwencji, szansę tę szacuje na podobnym poziomie bez względu na liczbę i wartość nagród.

Kiedy wysyłać zaproszenia?
Badanie nie potwierdziło istotnej zależności wskaźnika skłonności do udziału w badaniu od dnia tygodnia oraz pory dnia wysłania zaproszenia do udziału w badaniu. Po części, brak takiej zależności potwierdza jedną z ważniejszych zalet ankiety internetowej, która polega na samodzielnym wyborze respondenta pory jej wypełnienia.

Udowodnij, że nie spamujesz.
Dodatkowo, zmienną, która okazała się mieć znaczenie na wskaźnik udziału w badaniach okazało się redakcyjne przeformułowanie tekstu przypomnienia o badaniu (bez zmiany znaczenia tego tekstu w stosunku do tekstu pierwszego zaproszenia do badania). Zmiana ta skutkowała wzrostem wskaźnika skłonności do udziału w badaniu aż o 37%. Można podejrzewać, że ludzie znacznie przychylniej oceniają treści, które nie są przez nich traktowane jako spam. Fakt przeformułowania tekstu przypomnienia może być odbierany przez respondenta jako dowód, że za badaniem stoi realny człowiek, który poświęcił czas i energię, a nie tylko maszyna.


Więcej w artykule, który był inspiracją do napisania powyższego: Henry Sauermann, Michael Roach, Increasing web survey response rates in innovation research: An experimental study of static and dynamiccontact design features, 30.04.2012, Social Science Research Network, http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1618295