Wykorzystanie ankiet internetowych w badaniach ewaluacyjnych fileDr Jan Zając III Regionalna Konferencja Ewaluacyjna, Rzeszów, 11 czerwca 2010 Projekt finansowany przez Unię Europejską

Ankiety internetowe w badaniach ewaluacyjnych Jan Zając

Wykorzystanie ankiet internetowych

w badaniach ewaluacyjnych

Dr Jan Zając

III Regionalna Konferencja Ewaluacyjna, Rzeszów, 11 czerwca 2010

Projekt finansowany przez Unię Europejską ze środków Europejskiego Funduszu Rozwoju Regionalnego

w ramach Regionalnego Programu Operacyjnego Województwa Podkarpackiego na lata 2007-2013


O czym powiem?

Czym są ankiety internetowe?

Kogo można badać przez Internet?

Jak realizować badanie?

Jak skonstruować narzędzie badawcze?

Czego przede wszystkim unikać, na co uważać?


CZYM SĄ ANKIETY INTERNETOWE?


Znaczenie ankiet internetowych

Obecnie jest to w pełni uprawniona metoda badawcza

Choć stosunkowo młoda, ma wytyczne metodologiczne i

standardy – warto je stosować

Badania realizowane w Internecie, przede wszystkim

ankiety (CAWI), mają coraz większy udział w światowym

rynku badań

W Polsce ich pozycja jest słabsza, ale przewiduje się szybki

wzrost udziału tej techniki w najbliższych latach


Zalety i wady ankiet internetowych

Zalety

Niskie koszty

Szybkość realizacji

Dotarcie do specyficznych

grup

Ułatwienia organizacyjne

Wygodne dla badanych

Wady

Brak reprezentatywności

dla wielu populacji

Niska motywacja badanych

Problemy ze standaryzacją

Wciąż niewystarczające

doświadczenie w realizacji


KOGO MOŻNA BADAĆ PRZEZ INTERNET?


Internauci na tle populacji

Obecnie z Internetu korzysta ok. 55% dorosłych Polaków

Internauci wyróżniają się na tle wszystkich Polaków – są to

osoby młodsze, lepiej wykształcone, zamożniejsze i

mieszkające w większych miejscowościach

Z tego względu nie można prowadzić w Internecie badań

reprezentatywnych dla ogółu Polaków…

Ani badań populacji, gdzie skłonność do korzystania z

Internetu jest niska lub bardzo zróżnicowana…

Ale można badać specyficzne populacje i grupy celowe


Korzystanie z internetu według wieku

Korzystanie w największym stopniu związane jest z wiekiem. Z internetu korzysta

zdecydowana większość młodych i bardzo niewiele starszych osób.

72,7

49,2

35,2

21,6

7,62,8

76,5

59,4

45,9

31,7

13,7

3,6

86,8

73,7

62,1

39,5

20,6

5,8

0

10

20

30

40

50

60

70

80

90

100

16-24 lat 25-34 lat 35-44 lat 45-59 lat 60-64 lat 65 i więcej lat

od

sete

k o

sób

ko

rzy

sta

jący

ch z

in

tern

etu

2005

2007

2009

Źródło: D. Batorski, opracowanie wyników Diagnozy Społecznej 2005-2009


Korzystanie z internetu według wykształcenia

Ogromne znaczenie ma również wykształcenie. Z internetu korzystają przede wszystkim osoby uczące

się i lepiej wykształcone. Wśród osób z wykształceniem podstawowym z sieci korzysta zaledwie 7%.

3,6

15,2

36,7

65,5

84,2

3,8

19,8

45,4

76,9

85,3

7,2

31,3

56,4

83,4

93,7

0

10

20

30

40

50

60

70

80

90

100

Podstawowe i niższe Zasadnicze/

gimnazjum

Średnie Wyższe i policealne Uczący się

od

sete

k o

sób

ko

rzy

sta

jący

ch z

in

tern

etu 2005

2007

2009



Korzystanie z internetu według statusu społeczno-zawodowego

Duże znaczenie dla faktu korzystania z internetu ma również status społeczno zawodowy. Korzysta

olbrzymia większość uczniów i studentów, a także większość osób pracujących. Najmniej

użytkowników jest wśród emerytów, rencistów i rolników.

55,6

42,2

52,3

10,6

12,3

5,4

84,2

21,3

21,1

66,4

51,5

69,2

13,2

17,2

8,8

85,3

27,1

33,6

76,4

66,3

80,5

25,3

20,3

13,3

93,7

40,9

40,9

0 10 20 30 40 50 60 70 80 90 100

prac. sektora publicznego

prac. sektora prywatnego

prywatni przedsiębiorcy

rolnicy

renciści

emeryci

uczniowie i studenci

bezrobotni

inni bierni zawodowo

odsetek osób korzystających z internetu

2005

2007

2009



Korzystanie z internetu według wielkości miejsca zamieszkania

Korzystanie z internetu jest też związane z wielkością miejscowości zamieszkania. Im większa

miejscowość, tym więcej osób korzysta. Należy jednak podkreślić, że znaczenie wielkości miejsca

zamieszkania jest mniejsze niż innych czynników, a dodatkowo jego znacznie maleje. Jest to efektem

znacznego przyrostu liczby użytkowników na wsi z 26% w 2007 roku do 38 w 2009.

50,445,3 44,2

37,033,0

20,9

62,8

54,849,9 49,6

41,1

25,8

67,364,3

60,6

54,950,2

38,0

0

10

20

30

40

50

60

70

80

90

100

miasta powyżej

500 tys.

miasta 200-500

tys.

miasta 100-200

tys.

miasta 20-100 tys. miasta poniżej 20

tys.

wieś

od

sete

k o

sób

ko

rzy

sta

jący

ch z

in

tern

etu

2005

2007

2009



Korzystanie z internetu według dochodów w gospodarstwach domowych

Osoby mieszkające w gospodarstwach domowych z wyższym dochodem mają większe szanse na korzystanie z Internetu

26,4

33,2

43,6

60,2

34,6

41,1

52,9

72,4

0

10

20

30

40

50

60

70

80

90

100

pierwszy kwartyl drugi kwartyl trzeci kwartyl czwarty kwartyl

od

sete

k o

sób

ko

rzy

sta

jący

ch z

in

tern

etu

2005

2007

2009



Korzystanie z internetu w województwachMożna zaobserwować zróżnicowanie pomiędzy poszczególnymi województwami.

43,6

35,5

34,2

45,1

40,6

45,9

44,2

39,1

38,6

42,1

53,9

44,5

30,6

32,4

43,5

36,5

53,9

50,2

43,8

53,9

47,8

53,0

52,5

48,9

44,4

50,2

58,3

54,0

39,3

44,8

52,1

52,7

0 10 20 30 40 50 60 70 80 90 100

Dolnośląskie

Kujawsko-pomorskie

Lubelskie

Lubuskie

Łódzkie

Małopolskie

Mazowieckie

Opolskie

Podkarpackie

Podlaskie

Pomorskie

Śląskie

Świętokrzyskie

Warmińsko-mazurskie

Wielkopolskie

Zachodnio-pomorskie

odsetek osób w wieku 16+ z danego województwa

2007 korzystanie z

internetu

2009 korzystanie z

internetu



Jakie populacje badać przez Internet?

Można

Instytucje

Przedsiębiorstwa, zwłaszcza

duże i średnie

Mikrofirmy związane z e-

biznesem i technologiami

Przedsiębiorcy

Studenci i uczniowie

Nie warto

Bezrobotni

Rolnicy

Emeryci

Wykluczeni

Mieszkańcy terenów

wiejskich

Badania CAWI mają wiele zalet przy ocenie ex-post lub on

going, gdy beneficjenci biorą udział w różnych momentach


JAK REALIZOWAĆ BADANIE?


Najważniejsze sposoby doboru próby i realizacji badania

1. Lista bazowa: wykorzystanie bazy respondentów,

zbieranych w trakcie projektu, np. listy z adresami e-mail

2. Korzystanie z panelu internetowego firmy badawczej

3. Ankiety pop-up - w wyskakujących okienkach

Metody mieszane: łączenie w obrębie 1 schematu

badawczego CAWI i badań telefonicznych lub pocztowych


Lista bazowa

W wielu przypadkach zalecana metoda, zwłaszcza w

badaniach instytucji i przedsiębiorstw

Miejsce badań w strukturze projektu: skłanianie do udziału,

dbałość o dobre dane kontaktowe i zabezpieczenie

przetwarzania danych osobowych

Częstym problemem jest dezaktualizacja danych

respondentów, zwłaszcza małych i mikrofirm oraz osób

indywidualnych – np. zmiany e-maili

Warto łączyć sposoby kontaktu: telefon, e-mail, zwykły list


Korzystanie z panelu internetowego

Wiele firm badawczych prowadzi panele internetowe, liczące

nawet kilkadziesiąt tysięcy osób

Można na nich realizować badania ad hoc lub dołączać

pytania do badań omnibusowych

Ograniczenie: te panele składają się w praktyce w

większości z ochotników, a struktura respondentów może

być zaburzona

Problem małej reprezentacji poszczególnych grup

Nie można dotrzeć do beneficjentów danych programów


Ankiety pop-up

Zaproszenie do badania, lub wręcz cała krótka ankieta,

umieszczone jest w wyskakującym okienku

Umożliwia to emisję zaproszeń osobom odwiedzającym

określone strony internetowe, gdy nie mamy innych ich

danych kontaktowych

Problemem jest to, że przypomina nielubiane reklamy

Wykorzystywane w przypadku działań prowadzonych w

internecie, np. przy ocenie serwisów internetowych

Do oceny stron lepiej wykorzystywać dane typu site centric


Znaczenie motywacji do udziału

Niechęć do udziału w badaniu jest częstym problemem

badań internetowych, więc warto o to zadbać niezależnie od

sposobu realizacji badania

W ewaluacji dość często badani są przekonani, że badanie

ich dotyczy i ma znaczenie, co pozytywnie wpływa na ich

motywację

Najbardziej skłonni do udziału są beneficjenci bezpośredni

Mniej chętni mogą być beneficjenci ostateczni oraz

podmioty, które nie dostały wsparcia, choć ubiegały się o nie


Sposoby zwiększania realizacji próby

• Dostęp do wyników badań i raportów – istotne zwłaszcza

dla instytucji i przedsiębiorstw

• Personalizacja kontaktów z respondentami

• Zachęcające i wyczerpujące zaproszenie do badania

• Przypomnienia o badaniu w okresie zbierania danych

• Umożliwienie zapisania ankiety i powrotu do niej

Różne techniki ważenia (np. propensity score weighting)

umożliwiają korygowanie wyników po zakończeniu badania


JAK SKONSTRUOWAĆ NARZĘDZIE BADAWCZE?


Jakich narzędzi użyć?

Warstwa techniczna ankiety internetowej to nie tylko strona

z kwestionariuszem i serwer

Ważne jest także zarządzanie wysyłką zaproszeń i

kontrolowanie, kto bierze udział, itp.

Możliwe sposoby realizacji:

1. Tworzenie własnego rozwiązania – niezalecane

2. Użycie dedykowanego oprogramowania – może mieć

sens zwłaszcza przy wielu badaniach

3. Skorzystanie z rozwiązań firm badawczych


Kilka uwag o narzędziu

Wskazane jest umieszczanie kwestionariusza na stronie

WWW, natomiast inne rozwiązania, np. wysyłanie go w

załączniku e-maila, nie są zalecane

Cenna jest możliwość łączenia danych z ankiety i z innych

źródeł, np. z wniosku, aby nie męczyć badanych

niepotrzebnym powtórnym wpisywaniem informacji

Wskazane jest kontrolowanie, kto z próby bierze udział w

badaniu, za pomocą indywidualnych adresów URL lub

logowania – oprogramowanie do realizacji umożliwia to


Narzędzie - co jest wskazane?

Wskaźnik postępu (np. „strona 3 z 7” czy „20%”)

Prosty format odpowiedzi, unikanie dużych tabel i

niepotrzebnych elementów graficznych itp.

Sprawdzenie, czy serwer z ankietą wytrzyma jednoczesny

napływ wielu respondentów

Należy unikać zbyt długich badań, zwłaszcza w przypadku

respondentów indywidualne

W długich badaniach szczególnie ważne jest umożliwienie

przerwania i zapisania badania oraz powrotu do niego


KILKA UWAG NA ZAKOŃCZENIE


Na co uważać?

Czy w ogóle badanie internetowe ma sens w przypadku

danej populacji i danego zagadnienia?

Uważajmy na generalizację z próby internetowej

Od początku projektu zbierajmy dobre dane kontaktowe

Zadbajmy o motywację badanych i realizację próby

Wybierzmy dobre narzędzie – ankieta internetowa to nie

tylko kwestionariusz na stronie

Badania CAWI nie są już metodą nowatorską – spytajmy o

doświadczenia i kompetencje wykonawców


Nie tylko ankiety

Wykorzystanie CAWI w ewaluacji będzie coraz częstsze, ale

nie jest to jedyna metoda badań ilościowych w internecie

Wiele nowych metod, wykorzystujący dane zbierane online:

• Site-centric: statystyki korzystania ze stron internetowych

• Badania treści dostępnych w sieci i powiązań między nimi, z użyciem crawlerów i automatycznej analizy treści

• Wykorzystanie innych danych dostępnych w internecie, na przykład o zapytaniach w wyszukiwarkach online

W badaniach użyteczności serwisów lepiej niż ankiety

sprawdzają się testy scenariuszowe i obserwacje


Dziękuję za uwagę!

Dr Jan Zając

[email protected]

Prezentacja jest dostępna na stronie www.snrs.pl w sekcji Aktualności

Dziękuję dr Dominikowi Batorskiemu za udostępnienie wykresów

mailto:[email protected]

http://www.snrs.pl/

Documents

Wykorzystanie ankiet internetowych w badaniach ewaluacyjnych fileDr Jan Zając III Regionalna Konferencja Ewaluacyjna, Rzeszów, 11 czerwca 2010 Projekt finansowany przez Unię Europejską