Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane

Eurostat

Projektowanie kwestionariuszy

Prezentacja

• Paweł Lańduch

• Urząd Statystyczny w Poznaniu


Moduły

• Moduł główny,

• Projektowanie kwestionariuszy elektronicznych,

• Edycja danych podczas gromadzenia,

• Testowanie kwestionariuszy.


• Badania przedsiębiorstw

– Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane mają na ogół naturę ilościową, znajdują się w systemach danych;

– Dane zbierane są bez udziału ankietera. Osoba wypełniająca tylko wypełnia dane jako reprezentant.



– W przeciwieństwie do badań społecznych mają charakter obowiązkowy,

– Definicje i pojęcia mają charakter techniczny, złożony, często wywodzą się obowiązującego prawa. Praktyka i standardy są często okolicznością, którą trzeba brać pod uwagę, np. standardy księgowe. W związku z tym często kwestionariuszom towarzyszy rozbudowana instrukcja.



– Rozkład danych jest asymetryczny na korzyść dużych przedsiębiorstw,

– Czas jest często bardziej istotnych czynnikiem niż jakość.

– Długofalowy charakter badań jest jednym z czynników powodujących niechęć do zmian.


• Proces odpowiedzi

Definicja - rezultat interakcji pomiędzy respondentem a kwestionariuszem (Edwards & Cantor, 1991, Measurement Error in Surveys)

Badania społeczne badania przedsiębiorstw

indywidualny organizacyjny

pamięciowy baza danych

zrozumienie zrozumienie+organizacja

wyszukanie wyszukanie + baza danych

• Pojęcia i zmienne (przykład)

Statystyka krótkookresowaq

– Pojęcie – Produkcja sprzedana w cenach bieżących (Sa)

– Zmienne Przychody ze sprzedaży (Sw)

Wartość produktów niezaliczonych do sprzedaży (Sz)

Podatek akcyzowy (Da)

Dotacje przedmiotowe (Dp)

Sa=Sw+Sz-Da+Dp


• Wybór metody zbierania danych

- Z udziałem ankietera

- samodzielnie

- Tryb mieszany

- Wpływ technologii komputerowych – Internet - Faktyczne obciążenie a obciążenie odczuwane

- Dane ilościowe

- Jedna z najbardziej obciążających faz – wyodrębnienie danych


• Prototyp

– Zawartość merytoryczna i informacje towarzyszące Pisma wprowadzające,

Aspekt kognitywny,

Wygląd,

nawigacja

instrukcje

Wyzwania technologiczne

– Istotność instrukcji

– Podręcznik - wytyczne (przykład: Economic Directorate Guidelines on Questionnaire Design. Washington, DC: U.S. Census Bureau (2008).


– Inne przykłady podręczników: Forms Design Standards Manual, Australian Bureau of Statistics (2010),

– Handbook of Recommended Practices for Questionnaire Development and Testing in the European Statistical System, Eurostat (2006)

- Standardy projektowania dla rozwoju, testowania, oceny oraz dla elementów technicznych

- Przykład (środowisko WWW – aspekt holistyczny, dynamika, jedno miejsce gromadzenia danych, jeden wzorzec dla wszytkich ?)

- Błędy pomiaru – Jakość

- Koszt - obciążenie odpowiedzi – satysfakcja użytkownika


• Wpływ na proces odpowiedzi

• Wpływ na obciążenie odpowiedzi

• Wpływ na jakość

• Nowe cechy, możliwości oraz wyzwania

• Porównanie – forma papierowa i elektroniczna

Forma wizualna – stronicowanie, skrolowanie, podobieństwo do wersji papierowych ?

Edycja – element bliskości z respondentem, redukcja kosztów, zmniejszenie obciążenia, lepsza jakość

Projektowanie kwestionariuszy – Kwestionariusz elektroniczny

Automatyczny routing – eliminacja błędów, wcześniejsze odpowiedzi determinują prezentację następnych pytań,

Podsumowania – oczekiwane przez użytkowników, są elementem kontroli i spójności,

Wskaźnik zaawansowania – możliwość oceny stanu zaawansowania, ale istnieją argumenty przeciwko,

Nawigacja – łatwy sposób poruszania, możliwość przerwania i kontynuacji

Instrukcje – łatwo dostępna, na żądanie użytkownika , np. jako link

Zabezpieczenia – ważna szczególnie w statystyce przedsiębiorstw


Testowanie „użyteczności”

- Psychologia Gestalt jako przykład dla projektowania wizualnego

- Psychologia kognitywna

- perspektywa projektanta a użytkownika

- projektowanie z użytkownikiem w centrum

- przygotowanie na popełnianie błędów

- mapowanie,

- standaryzacja

- podejście heurystyczne (Jacob Nielsen)

)


Przykład: Kwestionariusz papierowy i elektroniczny


Pakiet programów MS Office jako przykład standaryzacji



Efekt automatycznego routingu (luka w numeracji)

- Możliwość przeniesienia części edycji danych na poziom

zbierania danych.

- Redukcja kosztów, a także podniesienie jakości

- Możliwość zmniejszenia obciążeń respondenta

- Reguły edycji wbudowane w kwestionariusz

- Dwa rodzaje reguł – błędy i ostrzeżenia

Oczekiwanie:

Zebrane dane wolne od błędów i wysokiej jakości

Pytanie: Czy tak jest ?

Projektowanie kwestionariuszy – Edycja w czasie zbierania danych

Przykłady prezentowanie komunikatów


Wykorzystanie ikon

Błędy

Ostrzeżenia

Przykłady

)


Przykłady reguł dla różnych typów danych:

- Tekst – długość, określony format

- Liczba – zakres, zależności algebraiczne,

- Zdefiniowana lista odpowiedzi

- Pole wymagane

- Reguła dopuszczająca określony typ danych, np. numeryczny

- Sprawdzenie relacji między elementami


Strategia wybory liczby reguł i ich zakresu

- Ile reguł nie spowoduje braku odpowiedzi ?

- Podejście konserwatywne a ekstensywne

- Jaki sposób prezentacji będzie efektywny ?

- Jeśli reguła będzie zauważona to czy zrozumiała ?


Wybór strategii (c.d.)

- Co z danymi, które pomimo sygnalizacji nie zostały poprawione?

- Jak testować reguły edycji ?

- Czy pozwolić przesłać dane, które nie spełniają założonych

reguł?

Przesłanki:

– Narzędzie powinno być pod kontrolą użytkownika

– Sposób formułowania komunikatów powinien unikać

kategorycznych stwierdzeń


Przesłanki (c.d):

– Komunikat powinien być wyzwalany możliwie szybko z

możliwością powtórzenia,

– Ważne są atrybuty lokalizacji błędu

– Możliwość dodania komentarza dla użytkownika

– Namysł nad prezentacją danych z poprzednich okresów


– Europejski Kodeks Praktyk, Zasada 8, wskaźnik 8.2: W przypadku

badań statystycznych, kwestionariusze poddaje się systematycznym

testom przed rozpoczęciem gromadzenia danych

Ciągły proces

– Wstępny projekt przegląd wstępne testowanie poprawa

– Gromadzenie danych ocena rewizja testowania

– Wstępny test / test w produkcji

Projektowanie kwestionariuszy – Testowanie

Projektowanie kwestionariuszy – Testowanie - CASM Cognitive aspects of survey methodology

- „podmiot” proces myślowy odpowiedzi

Głośne myślenie wywiad pogłębiony

badanie społeczne badania przedsiębiorstw

w siedzibie przedsiębiorstwa

wizyty przed podjęciem badania

rozszerzenie wywiadów

kognitywnych

Badania sposobu przechowywania danych

- Jedna z najbardziej obciążających faz – kwerenda wymaganych

danych

- Dane mogą nie istnieć w systemach danych

- Dane mogą być przechowywane w różnych miejscach

- Podłoże kognitywne

- Różne uprawnienia dla różnych osób


Skutek problemów z uzyskaniem danych

oszacowanie

oszacowanie mało precyzyjne

fałsz

brak odpowiedzi

Testowanie użyteczności

Aspekty wizualne – Czcionka, Grafika, „Wizualne

przepełnienie”

Interface użytkownika - Nawigacja, Mapowanie, informacja

zwrotna


- Użyteczność (c.d.) Software

Procesy (planowanie, analiza, implementacja, ocena, zamknięcie)

testy funkcjonalne (black box)

testy strukturalne (white box)

- Testy w fazie produkcyjnej (po zgromadzeniu danych) Testy pilotażowe

Wywiady z respondentami – formalne i nieformalne

Rozmowy z personelem obsługującym badanie – formalne i nieformalne – jako

pośrednika między respondentem i instytucją prowadzącą badanie


• Testowanie w fazie produkcyjnej (po zebraniu danych) Ocena jakości zebranych danych,

– Pomiar braków odpowiedzi

– Detekcja wartości odstających

– Danych niespełniających reguł edycji

– Porównanie z danymi z innych źródeł



Metody jakościowe

Testowanie wstępne i testowanie kognitywne mogą prowadzić do lepszej budowy

Metody ilościowe poszukiwanie oceny

wprowadzonych zmian

Ustanowienie standardów testowania

• Standardy minimalne

• Standardy rozszerzone

• Dobre praktyki

Filarem testowania może być proces odpowiedzi:

• Oparty na poszczególnych fazach procesu

• Oparty na wyselekcjonowanej liście pytań

• Oparty na jakościowych metodach testowania


Documents

Projektowanie kwestionariuszy · Projektowanie kwestionariuszy •Badania przedsiębiorstw –Proces odpowiedzi – skomplikowany proces organizacyjny i indywidualny/osobowy. Dane