JADWIGA PRZEWŁOCKA MAŁGORZATA PÓŁTORAK Gemius SA

JADWIGA PRZEWŁOCKAMAŁGORZATA PÓŁTORAK

Gemius SA

Wyzwania badań ilościowych online

VI KONFERENCJA EWALUACYJNAWARSZAWA, 13-14.12.2010

Jaką pozycję mają internetowe badania ankietowe?

Z czego wynika wzrost ich popularności?

Jakie są bariery ich rozwoju?

Jak pokonać te bariery? innowacyjne metody poprawy jakości badań dobór próby – wiedza dzięki technologii kształt ankiety – wiedza dzięki doświadczeniu korekta struktury – wiedza dzięki porównaniu

O czym opowiemy

Pozycja badań online

Najpopularniejsza technika badań ilościowych

W 2009 na badania online wydano 6,4 mld $

Stały wzrost udziału w rynku

W Kanadzie, Japonii, Australii - blisko połowa wydatków

badania oprowadzone przez agencje i instytuty badawcze (bez uwzględnienia działań niekomercyjnych podmiotów, np. uniwersytetów, instytucji publicznych)

Pozycja badań online

Struktura wydatków na badania ilościowe na świecie (ESOMAR 2010)

17% 19%25% 25% 28%

25% 23%19% 23% 21%

17% 14% 12%15% 16%

6%5% 6%

5%

35% 39% 38%31% 30%

6%

2005 r. 2006 r. 2007 r. 2008 r. 2009 r.

inne

pocztowe

face to face

telefoniczne

online

Stały wzrost liczby osób korzystających z internetu

Rosnące kompetencje użytkowników

Dlaczego online?

Prawie każde polskie przedsiębiorstwo ma dostęp do internetu

Rosnący zakres korzystania z sieci

88%

98% 100%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

małe (10 - 49

pracujących)

średnie(50 - 249

pracujących)

duże (250 i więcejpracujących)

ogółem wśródprzedsiębiorstw: 90%

Przedsiębiorstwa z dostępem do internetu (GUS 2009)

komfort, dogodny czas i miejsce wywiadu

łatwa prezentacja materiałów multimedialnych

brak efektu ankieterskiego

brak błędów ankieterskich

trudne / drażliwe tematy

krótki czas realizacji, szybki dostęp

niskie koszty

duży zasięg geograficzny

Dlaczego online?

Brak zaufania części badaczy i odbiorców

Fakty czy mity?

problem doboru próby> kwestia populacji

> metoda doboru

niska stopa zwrotu, autoselekcja> problem wszelkich badań ankietowych

> duża odpowiedzialność badacza – konstrukcja narzędzia, metoda kontaktu

nierzetelni respondenci> kilka %

> możliwość weryfikacji spójności odpowiedzi

Jakość próby – największy problem badań online

szeroko zakrojony projekt R&D

Obawy – fakty i mity

Projekt poprawy jakości

„Innowacyjne metody poprawy jakości badań prowadzonych przez internet”

projekt realizowany przez Gemius

przedsięwzięcie IniTech2

IniTech:

przedsięwzięcie Ministra Nauki i Szkolnictwa Wyższego

realizowane przez Narodowe Centrum Badań i Rozwoju

finansowanie badań naukowych lub prac rozwojowych nakierowanych na zastosowanie w działalności gospodarczej

Trzy etapy, na których decyduje się jakość finalnej próby:

1. Etap doboru próby – sposób wyboru użytkowników, sposób dotarcia

2. Etap realizacji próby – zwiększenie stopy zwrotu optymalizacja kwestionariusza

3. Etap poprawy zrealizowanej próby – ważenie danych

Jakość próby

Jakość próby

19%

4% 2%

17%

8%4%

13%

10%

7%

10%

11%

8%

9%

11%

10%

7%

12%

12%

7%

11%

12%

5%

10%

12%

5%

9%

12%

7%14%

21%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

populacja zaproszeni dobadania

finalna próba

aktywność cookie:

[0-10% ] (10% -20% ] (20% -30% ] (30% -40% ] (40% -50% ]

(50% -60% ] (60% -70% ] (70% -80% ] (80% -90% ] (90% -100% ]

19%11% 7%

17%

19%

13%

13%15%

13%

10% 13%

12%

9% 10%

11%

7% 8%

11%

7% 8%

9%

5% 6%

8%

5% 5%7%

7% 6% 10%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

populacja zaproszeni dobadania

fnalna próba

aktywność cookie:[0-10% ] (10% -20% ] (20% -30% ] (30% -40% ] (40% -50% ]

(50% -60% ] (60% -70% ] (70% -80% ] (80% -90% ] (90% -100% ]

1. Dobór próby

2. Realizacja próby

3. Korekcja struktury (ważenie)

Źródło: badanie Gemius, luty 2008 r. (emisja na witrynach objętych bezpłatnym audytem stat24 i

stat.pl/PBI)

Wysyłka zaproszeń do badania e-mailem:

uczestnicy panelu badawczego

osoby zarejestrowane na witrynie lub w bazie usługodawcy

zarejestrowani beneficjenci, odbiorcy danego programu/usługi

Emisja zaproszeń do badania na witrynach internetowych:

użytkownicy stron internetowych

użytkownicy konkretnej usługi / serwisu

W projekcie skupienie na emisji

1. Dobór próby

@

Emisja na witrynach – ogromne możliwości dotarcia

Problem: ankiety wypełniają częściej osoby, które są łatwe do zrekrutowania:

CAPI i CATI osoby dużo przebywające w domu

CAWI osoby intensywniej korzystające z internetu

Skutek: skrzywienie struktury

Rozwiązanie: wykorzystanie wiedzy o użytkowniku podczas emisji!

1. Dobór próby – emisja

Zamiast równych prawdopodobieństw dobór warstwowy

Do warstwowania wykorzystujemy „twarde dane”:

dane o aktywności cookie

dane o parametrach komputera i przeglądarki

Efekty: poprawa struktury próby

Dodatkowy zysk:zmniejszenie potrzebnej liczby emisji o ¼ !

Źródło: badanie Gemius w ramach projektu INITECH, zrealizowanewe wrześniu 2010 na próbie N=2706

(emisja na witrynach objętych bezpłatnym audytem stat24 i stat.pl/PBI)

15%

14%

14%

36%

29%

18%

29%

31%

30%

11%

15%

10%

11%

12%26%

normalnaemisja

dobórwarstwowy

badaniereferencyjne

(CAPI )

15-18 19-24 25-34 35-49 50+

1. Dobór próby – emisja

Optymalizacja zaproszenia i samej ankiety Analiza:

kilkadziesiąt badań, kilkaset pytań cechy formalne i treściowe pytań

Wnioski: kluczowa rola miejsca w ankiecie – krytyczny

początek ankiety


0%

1%

2%

3%

4%

5%

poniżej 20% od 20% do 39% od 40% do 59% od 60% do 79% 80% i dalej

wszyscy

mężczyźni

osoby 35+

miejsce pytania w ankiecie (%)

śred

nia

war

tość

drop

out'u

podstawa= 154 213 196 175 139 pytań

0%

1%

2%

3%

4%

5%

do 50 znaków 51-75 znaków 76-100 znaków 101-150 znaków powyżej 150 znaków

wszyscy

mężczyźni

osoby 35+

liczba znaków w treści pytania

śred

nia

war

tość

drop

out'u

podstawa = 165 222 160 231 99 pytań




Wnioski: Konieczność minimalizacji ilości tekstu




Wnioski:

kluczowa rola miejsca w ankiecie – krytyczny początek ankiety

konieczność minimalizacji ilości tekstu

konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel

Internet zasady usability „Nie każ im myśleć!”

Optymalizacja zaproszenia i samej ankiety

Analiza:

kilkadziesiąt badań, kilkaset pytań

cechy formalne i treściowe pytań

Wnioski:

kluczowa rola miejsca w ankiecie – krytyczny początek ankiety

konieczność minimalizacji ilości tekstu

konieczna rezygnacja z niektórych typów pytań – szczególnie rozbudowanych tabel

Internet zasady usability „Nie każ im myśleć!”


Pomimo poprawy doboru i zwiększeniu QRR – nadal problem struktury

Konieczność zastosowania wag analitycznych

przez co ważyć (zmienne)?

jak ważyć (algorytm)?

Analiza: wykonano ponad 15 tysięcy ważeń stosując różne zmienne i algorytmy

Wnioski: klasyczne ważenie stratyfikacyjne nie wystarcza!

3. Korekcja struktury

Niezbędne wykorzystanie innych zmiennych wpływających na dostępność w badaniu online: chęć udziału w badaniach styl życia, zwyczaje, korzystanie z technologii

Efekt: znaczna redukcja błędu

3. Korekcja struktury

dane CAWI = badanie Gemius, maj 2010 r. (N=5453)dane zewnętrzne CAPI = omnibus MB SMG/KRC, maj 2010 r. (N=1575)

analizowany target: Polacy 15-55 lat korzystający z internetu

49%

38%

20%

70%

69%

59%

55%

35%

79%

76%

57%

50%

24%

75%

72%

55%

44%

32%

72%

52%

40%

22%

73%

69%

74%

obsługa kontabankowego przez

internet

pisanie na forach / grupach

dyskusyjnych

wysyła min.kilkanaście sms-ów

dziennie

kiedykolwiek czytałGazetę Wyborczą

kupił batonczekoladowy w ciągu

ost. 2 mies.

dane zewnętrzne CAPI

dane CAWI nieważone

ważenie stratyfikacyjne

ważeniepsychometryczneważenie stratyfikacyjne ipsychometryczne

Badania ewaluacyjne – część problemów nie występuje, potencjał badań online

Realizacja próby

skomplikowane kwestionariusze ewaluacyjne muszą być dostosowane do realiów internetu

rola metody rekrutacji (wsparcie innymi kanałami dotarcia), liczby kontaktów

Ważenie – warto wyjść poza demografię

W praktyce

Dziękujemy!

Gemius SAul. Wołoska 7, budynek Mars, klatka D, II piętro02-675 Warszawatel. (0 22) 390 90 90fax (0 22) 874 41 01

kontakt: [email protected]

Documents

JADWIGA PRZEWŁOCKA MAŁGORZATA PÓŁTORAK Gemius SA