Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs · Küsimustikuga andmete kogumine Grupiintervjuud erinevaid rolle esindavate kasutajatega System Usability Scale (SUS)

Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs

Töötulem — DHS projekti läbiviimise juhtumi kirjeldus

töötamine

Trinidad Consulting OÜ 0.05


Töötulem — DHS projekti läbiviimise juhtumi kirjeldus

Hankija:

Majandus- ja Kommunikatsiooniministeerium Registrikood 70003158 Harju 11, 15072 Tallinn E-post: [email protected]

Töö teostaja: Trinidad Consulting OÜ Registrikood 11244225 Teaduspargi 8, Tallinn 12618 E-post: [email protected]


Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine

töötamine

Trinidad Consulting OÜ 0.05 2 (30)

Dokumendi muudatuste ajalugu

Kuupäev Versioon Muutja Märkused

01.07.2016 0.01 Hegle Sarapuu, Taavi Lindmaa, Egle Mätas, Ingela Viks

Esitatud tööversioon kommenteerimiseks.

25.07.2016 0.02 Hegle Sarapuu, Taavi Lindmaa, Egle Mätas, Ingela Viks

Esitatud täiendatud tööversioon kommenteerimiseks.

29.07.2016 0.03 Hegle Sarapuu, Taavi Lindmaa, Egle Mätas

Esitatud dokumendi lõppversioon.

05.08.2016 0.04 Hegle Sarapuu, Taavi Lindmaa, Egle Mätas

Täiendatud jooniseid ja tabeleid, keeleline korrektuur.

09.08.2016 0.05 Hegle Sarapuu Dokumendi täiendamine

Tabel 1. Dokumendi ajalugu



töötamine


Sisukord

Dokumendi muudatuste ajalugu ................................................................................................... 2

Sisukord ....................................................................................................................................... 3

1. Sissejuhatus ........................................................................................................................... 4

1.1 Dokumendi sisu ....................................................................................................................... 4

1.2 Dokumendi sihtrühm ............................................................................................................... 4

1.3 Kasutatud mõisted ja lühendid ............................................................................................... 5

2. Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine ....................................................... 6

2.1 Mõõdikute väljatöötamise protsess ........................................................................................ 7

2.2 Analüüsiprotsess alusinformatsiooni kogumisel ..................................................................... 9

2.2.1 Dokumentatsioonianalüüs .............................................................................................. 9

2.2.2 Küsimustikuga andmete kogumine ............................................................................... 10

2.2.3 Grupiintervjuudega andmete kogumine ....................................................................... 12

2.2.4 Kasutajate hinnangud System Usability Scale (SUS) raamistikust tulenevalt ............... 13

2.2.5 System Usability Scale (SUS) tulemused ....................................................................... 13

2.2.6 SUS hindamiskriteeriumid ............................................................................................ 14

2.2.7 SUS hinnang ................................................................................................................... 14

2.3 Mõõdikute väljatöötamine .................................................................................................... 16

2.3.1 Kasutajagruppide üldistatud selgitused ........................................................................ 16

2.3.1.1 Menetleja ...................................................................................................................... 16

2.3.1.2 Juht ................................................................................................................................ 16

2.3.1.3 Asjaajaja ......................................................................................................................... 16

2.3.2 Lähteandmete kogumine .............................................................................................. 16

2.3.3 Mõõtmise tulemused .................................................................................................... 18

2.3.4 Miinimum mõõdikute tulemused.................................................................................. 20

2.4 Järeldused .............................................................................................................................. 20

2.4.1 Protsessist tulenevad järeldused ................................................................................... 21

2.4.2 Mõõtmistulemustest tulenevad järeldused .................................................................. 21

2.5 Lõpuseminar .......................................................................................................................... 21

2.6 Kokkuvõte .............................................................................................................................. 22

3. Lisad .................................................................................................................................... 24

3.1 Lisa nr 1. Küsimustiku väljavõte ............................................................................................ 24

3.2 Lisa nr 2. Grupiintervjuudel käsitletud teemad ..................................................................... 28



töötamine


1. Sissejuhatus

Projekti eesmärk oli välja töötada kasutatavuse mõõtmise süsteem dokumendihaldussüsteemidele. Kasutatavuse mõõtmise eesmärk on võrrelda infosüsteemi või veebikeskkonna kasutajate tegelikku käitumist selle käitumisega, mida süsteemis kasutajatelt eeldatakse. Mõõdikute süsteemis eeldatav käitumine tähendab, et kasutajad käituksid selliselt, kui neil ei oleks süsteemis takistusi, ebamugavusi ja nad saaksid aru, mida ja kuidas teha tuleb.

Kogu mõõtmise süsteem jaguneb nelja kihi vahel. Iga kiht arvutatakse eelmise kihi tulemuste põhjal.

1.1 Dokumendi sisu

Selles dokumendis on esitatud dokumendihaldussüsteemide kasutatavuse mõõdikute väljatöötamiseks vajalike tegevuste kirjeldus. Dokumendi eesmärk on kirjeldada detailselt projektis läbitud etappe ja saavutatud tulemite vajalikkust mõõdikute süsteemi väljatöötamisel. Lisaks täiendab dokument projekti raames koostatud analüüsidokumenti, milles analüüsiti ja hinnati dokumendihaldussüsteemidelt nõutud funktsionaalsuste1 ja metaandmeloendi elementide2 vastavust kasutajate vajadustele.

Töö teostati hanke „DHSide kasutatavuse mõõtmine ja analüüs” raames. Hankeleping rahastatakse toetusskeemist „Avalike teenuste koosvõime loomine” ja rahastatakse struktuuritoetusest.

1.2 Dokumendi sihtrühm

Dokumendi peamiseks sihtrühmaks on dokumendihaldusvaldkonnast ja/ või kasutatavuse mõõtmise metoodikatest huvitatud isikud. Samuti teised isikud, kes puutuvad kokku dokumendihaldussüsteemide tellimisega, arendamisega või langetavad otsuseid, mis mõjutavad dokumendihaldussüsteemi arengut.

1 Miinimumnõuded Eesti avaliku sektori dokumendihaldussüsteemidele. Nõuded. Versioon 1.0 2 Dokumendihalduse metaandmed. Loend.

https://www.mkm.ee/sites/default/files/edhs_miinimumnouded_juhise_lisa2.xls

https://www.mkm.ee/sites/default/files/dokumendihalduse_metaandmed.pdf



töötamine


1.3 Kasutatud mõisted ja lühendid

Analüüsidokumendis on lähtutud dokumendihaldussüsteemidele seatud miinimumnõudeid kirjeldava dokumendi peatüki 10 lisas 1 kirjeldatud mõistetest3. Alljärgnevalt on esitatud tekstis enim esinevad lühendid ja mõisted ning nende kirjeldused.

Lühend/ mõiste Kirjeldus

DHS/ EDHS/ Elektrooniline dokumendihaldussüsteem

Infosüsteem, mis kasutab dokumentide liigitamiseks hierarhilist liigitusskeemi ja mille osaks on dokumendiregister. Tekstis kasutatud nii mitme süsteemi kui ka ühe konkreetse süsteemi kirjeldamisel.

Tavakasutajad Kasutajad, kes ei ole dokumendihaldussüsteemi peakasutajad (dokumendihaldurid)

Dokument Dokumendina käsitatakse seda arhiiviseaduse § 2 lõigetes 1 ja 2 nimetatud teavet, mis on jäädvustatud paberkandjale, faili või e-kirja sõnumisse.

Dokumenti hõlmama Dokumenti DHSi salvestama.

Kasutajagrupp/ kasutajarühm/ rühm

Kogum kasutajatest.

Periood Kolme kuu (aprill–juuni 2016) andmete kogusumma. Välja arvatud kasutajate arv, mis on perioodi keskmine.

Kasutatavus Kasutatavus tähendab, et mingit süsteemi on lihtne kasutada ning raske unustada. Kasutatavas süsteemis on vähe loogikavigu ning nad pakuvad positiivset kasutajakogemust.

Kasutatavuse element ehk kasutatavuse dimensioon

Kasutatavuse element on kasutaja rolli kasutatavuse eesmärk

konkreetse funktsionaalsuse juures.

Mõõdikud Mõõdikute (mõõtmise) süsteemi eesmärgiks on defineerida faktilist kasutatavust ning seda numbriliselt mõõta.

Loendatav element Loendatavaid elemente on vaja mõõdikute tulemuste arvutamiseks.

DVK Lühend sõnast dokumendivahetuskeskus

Haldur Lühend sõnast dokumendihaldur

Tabel 2. Kasutatud mõisted ja lühendid

3 Miinimumnõuded Eesti avaliku sektori dokumendihaldussüsteemidele. Juhis. Versioon 1.0

https://www.mkm.ee/sites/default/files/edhs_miinimumnouded_juhis.pdf



töötamine


2. Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine

Dokumendihaldussüsteemide kasutatavuse mõõdikute väljatöötamisel lähtuti avaliku sektori tarkvarasüsteemidele4 väljatöötatud metoodikast.

Projekti mõõdetavate elementide määramisel lähtuti Nielseni teooriast5. Sellest lähtuvalt tuleb hea kasutatavusega süsteemi loomisel lähtuda viiest põhimõttest:

1. Õpitavus – kui lihtne on kasutajatel täita põhiülesandeid, kui ta kasutab süsteemi esimest korda?

2. Vigade vältimine – kui palju vigu teevad kasutajad, kui tõsised on vead ja kui lihtne on neid parandada?

3. Efektiivsus – kui kiiresti saavad kasutajad oma tegevustega süsteemis hakkama, kui nad on sellega juba tuttavad?

4. Infoliiasuse vältimine – Infoliiasus toob kaasa mõistmatust, lisategevusi ning tihti ka põhjendamatut ebapädevuse tunnet.

5. Rahulolu – kui meeldiv on kasutajal süsteemi kasutada?

Mõõdikute väljatöötamisprotsessis osalesid dokumendihaldussüsteemide sisulise-, tehnilise- ja kasutatavuse eksperdid, kes moodustasid projekti juhtrühma. Lisaks moodustati töörühm, kuhu kuulusid projekti kaasatud asutuste esindajad. Projektis osalesid järgmised 13 asutust:

1. Haridus- ja Teadusministeerium 2. Jõhvi Vallavalitsus 3. Justiitsministeerium 4. Kaitseliit 5. Kaitseministeerium 6. Maaeluministeerium 7. Maksu- ja Tolliamet 8. Pärnu Linnavalitsus 9. Põllumajandusamet 10. Rahandusministeerium 11. Siseministeerium 12. Tartu Linnavalitsus 13. Veterinaar- ja Toiduamet

See dokument kirjeldab detailselt, kuidas projekt läbi viidi. Iga dokumendihaldussüsteemi mõõtmiseks ei ole vajalik läbi teha samasugust protsessi. Kirjeldatud protsess viidi läbi mõõdikute loomiseks dokumendihaldussüsteemidele. Projektis loodud mõõdikud sobivad kasutatavuse mõõtmiseks erinevates dokumendihaldussüsteemides.

4 Kasutatavuse mõõdikute süsteem avaliku sektori tarkvarasüsteemidele 5 Nielsen, Jakob (2012), Usability 101: Introduction to Usability http://www.nngroup.com/articles/usability-101-introduction-to-usability/

Kasutatavuse eesmärgid:

1. Õpitavus 2. Vigade vältimine 3. Efektiivsus 4. Infoliiasuse vältimine 5. Rahulolu

https://www.mkm.ee/sites/default/files/kasutatavuse_moodikute_susteem_final_november_2014.pdf



töötamine


2.1 Mõõdikute väljatöötamise protsess

Mõõdikute väljatöötamise protsess jaotati neljaks etapiks:

1. Küsitlus ja grupiintervjuud erinevaid rolle esindavate kasutajatega 2. Mõõdikute välja töötamine 3. Mõõdikute kooskõlastamine 4. Mõõtmise võimalikkuse arutelu ja planeerimine

Protsessi aluseks võeti mõõdikute väljatöötamise metoodika avaliku sektori tarkvarasüsteemidele ja mõõtmise põhimõtted, millest annab ülevaate järgnev joonis:

Joonis 1. Mõõtmise põhimõtted

Metoodikast tulenevalt lähtuti mõõdikute väljatöötamise protsessis seitsmest sammust:

1. Mõõtmise eesmärgi püstitamine Eesmärgi püstitamiseks viidi läbi tellijaga grupiintervjuu ning analüüsiti täiendavaid materjale. Seejärel lepiti kokku täpsustatud eesmärk.

2. Kasutajagrupi ning funktsionaalsuse välja valimine Funktsionaalsuse välja valimiseks analüüsiti täiendavat lisamaterjale ning tellija poolt edastatud dokumente. Seejärel loodi koondloetelud funktsionaalsustest. Kasutajagruppide väljavalimiseks viidi läbi küsimustik kasutajate hulgas.

3. Kasutajate protsessipõhine positiivse ja negatiivse käitumise välja selgitamine. Selles projektis võeti kasutajate negatiivse ja positiivse käitumise määramise aluseks

Kasutajate grupp ning

funktsionaalsus

Kasutajate positiivne ja negatiivne käitumine

Mõõdikute moodustamine

(valemid)

Erinevate perioodide võrdlemine

Andmete kogumise

võimalikkuse analüüs

Regulaarne / korduv mõõtmise

teostamine



töötamine


küsimustikuga kogutud andmed ja grupiintervjuude käigus täiendatud informatsioon kasutajate kogemustest.

4. Mõõdikute/ valemite moodustamine (mõõdikuid võrreldakse suhtarvudega, mis võimaldab võrrelda erinevaid perioode) Mõõdikud moodustati peamiselt negatiivsete situatsioonide põhjal, mis kasutajate hinnangul oli tööd segav või häiriv.

5. Andmete kogumise võimaluse leidmine Protsessis oli üheks edukuse kriteeriumiks koostöö osalevate asutuste esindajate ja infosüsteemide arendajatega, kes aitasid selgitada, kuidas ja milliseid andmeid on neil võimalik koguda. Mõõdetavate andmete kogumisel selgitasime ja kirjeldasime, kuidas igas projektis osaleva asutuse dokumendihaldussüsteemis numbrilist mõõtmist edaspidi läbi viia. Täiendava tegevusena võrdlesime kasutatavuse mõõdikute süsteemi tulemusi System Usability Scale (SUS) tulemustega.

6. Regulaarselt numbrite mõõtmine ja analüüsimine Selles projektis viidi läbi ühekordne mõõtmine projektis osalenud asutuste dokumendihaldussüsteemidel.

7. Jälgimine, et mõõdikute tulemused oleksid ajas võrreldavad Käesolevas projektis sai täidetud kuus esimest sammu. Regulaarne andmete kogumine, mõõtmine ja tulemuste ajas võrdlemine jäävad selle projekti jätkutegevuseks, mida kaasatud asutused saavad iseseisvalt läbi viia.

Mõõdikute moodustamine ja

andmete kogumise võimalikkuse leidmine



töötamine


2.2 Analüüsiprotsess alusinformatsiooni kogumisel

Alusinformatsiooni kogumise etapp koosnes järgmistest tegevustest:

Dokumentatsioonianalüüs

Küsimustikuga andmete kogumine

Grupiintervjuud erinevaid rolle esindavate kasutajatega

System Usability Scale (SUS) tulemuste analüüs

Projekti käivitamisel otsustati, et mõõdikute väljatöötamise alusandmeteks on küsimustiku tulemused ja grupiintervjuud erinevates rollides kasutajatega.

Analüüsiprotsess koosnes kolmest sammust, millest osad tegevused toimusid paralleelselt ning millele pöörduti ka tagasi:

Joonis 2. Analüüsiprotsess alusinformatsiooni kogumisel.

Järgnevad peatükid kirjeldavad analüüsiprotsessis kasutatud meetodeid detailsemalt.

2.2.1 Dokumentatsioonianalüüs

Mõõdikute süsteemi loomist alustati projekti kaasatud asutuste dokumendihaldussüsteemide kasutamist selgitavate ja reguleerivate dokumentide läbitöötamisest. Lisaks tutvuti seadusest



töötamine


tulenevate regulatsioonide ning Majandus- ja Kommunikatsiooniministeeriumi veebilehel Dokumendihaldusest infohalduseni mitmete selles valdkonnas varasemalt läbiviidud analüüsidega.

Peamised projektis läbitöötatud materjalid olid järgmised:

Asjaajamiskorra ühtsed alused

Teenuste korraldamise ja teabehalduse alused (Vabariigi Valitsuse määruse eelnõu, Dokumendi number: 15-1672/19)

Elektrooniliste dokumentide haldamise näidisnõuete MoReq2 rakendamine Eestis (Eesti "nullpeatükk" MoReq2-le). Versioon 2.0

Dokumendihalduse metaandmed. Loend. Versioon 3.0

Miinimumnõuded Eesti avaliku sektori dokumendihaldussüsteemidele. Juhis. Versioon 1.0

Miinimumnõuded Eesti avaliku sektori dokumendihaldussüsteemidele. Nõuded. Versioon 1.0

Kasutatavuse mõõdikute süsteem avaliku sektori tarkvarasüsteemidele

Järgnev tabel võtab kokku asutuste edastatud asjaajamiskorrad ja arendaja või asutuse enda koostatud kasutusjuhendid dokumendihaldussüsteemide kasutajatele:

Asutuse nimetus Asjaajamiskord jõustunud DHS tehniline kirjeldus RIHA registrist

Pärnu Linnavalitsus 31.07.2009, muudetud 08.09.2011 Amphora Pärnu Linnavalitsuses

Justiitsministeerium 1.01.2014 Delta Justiitsministeeriumis

Siseministeerium 22.03.2016 Delta Siseministeeriumis

Kaitseliit 15.04.2013

GoPro Case Professional Kaitseliidus

Tartu Linnavalitsus 30.12.2003, muudetud 15.07.2004

GoPro Case Professional Tartu Linnavalitsuses

Kaitseministeerium 30.12.2015

GoPro Case Professional Kaitseministeeriumis

Maksu- ja Tolliamet 12.01.2015, muudetud 02.04.2016 Livelink Maksu- ja Tolliametis

Rahandusministeerium 12.03.2015 Livelink Rahandusministeeriumis

Haridus- ja Teadusministeerium 31.10.2014

PINAL Haridus- ja Teadusministeeriumis

Põllumajandusamet 22.12.2014 WebDesktop Põllumajandusametis

Veterinaar- ja Toiduamet 24.01.2011, muudetud 04.04.2013 WebDesktop Veterinaar- ja Toiduametis

Maaeluministeerium 13.01.2015 WebDesktop Maaeluministeeriumis

Jõhvi Vallavalitsus 16.05.2006, muudetud 22.03.2007 WebDesktop Jõhvi Vallavalitsuses

Tabel 2. Asutuste asjaajamiskorrad ja DHS kasutusjuhendid

Loetletud materjalide läbitöötamine oli vajalik projekti järgmiste tegevuste ettevalmistamiseks, kuid informatsiooni kasutati korduvalt projekti hilisemates etappides.

2.2.2 Küsimustikuga andmete kogumine

Küsimustik on meetod, mis võimaldab jõuda piiratud ajaga paljude kasutajateni.

Küsimustik koostati dokumendianalüüsis läbitöötatud materjalide alusel. Küsimustiku loomiseks on soovitatav ja projektis kasutati https://www.surveymonkey.com/ veebikeskkonda.

https://www.mkm.ee/et/tegevused-eesmargid/infouhiskond/dokumendihaldusest-infohalduseni

https://www.riigiteataja.ee/akt/126082015006?leiaKehtiv

https://eelnoud.valitsus.ee/main/mount/docList/6bcb7e05-bf09-444a-817e-3389d2a410b8

https://www.mkm.ee/sites/default/files/dokumendihalduse_metaandmed.pdf

https://www.mkm.ee/sites/default/files/edhs_miinimumnouded_juhis.pdf

https://www.mkm.ee/sites/default/files/edhs_miinimumnouded_juhise_lisa2.xls

https://www.mkm.ee/sites/default/files/kasutatavuse_moodikute_susteem_final_november_2014.pdf

https://riha.eesti.ee/riha/main/inf/amphora_dokumendihaldustarkvara_parnu_linnavalitsus

https://riha.eesti.ee/riha/main/inf/dokumendihaldussusteem_delta_registrite_ja_infosusteemide_keskus/22

https://riha.eesti.ee/riha/main/inf/dokumendihaldussusteem_delta_siseministeerium

https://riha.eesti.ee/riha/main/inf/kaitseliidu_dokumendihaldussusteem

https://riha.eesti.ee/riha/main/inf/kaitseliidu_dokumendihaldussusteem

https://riha.eesti.ee/riha/main/inf/gopro_case_professional_tartu_linnavalitsus

https://riha.eesti.ee/riha/main/inf/gopro_case_professional_tartu_linnavalitsus

https://riha.eesti.ee/riha/main/inf/gopro_case_professional_kaitseministeerium

https://riha.eesti.ee/riha/main/inf/gopro_case_professional_kaitseministeerium

https://riha.eesti.ee/riha/main/inf/opentext_cs_dokumendihaldus_maksu-_ja_tolliamet

https://riha.eesti.ee/riha/main/inf/opentext_cs_dokumendihaldus_rahandusministeerium/1

https://riha.eesti.ee/riha/main/inf/pinal

https://riha.eesti.ee/riha/main/inf/pinal

https://riha.eesti.ee/riha/main/inf/webdesktop_pollumajandusamet

https://riha.eesti.ee/riha/main/inf/webdesktop_veterinaar-_ja_toiduamet

https://riha.eesti.ee/riha/main/inf/webdesktop_veterinaar-_ja_toiduamet

https://riha.eesti.ee/riha/main/inf/webdesktop_pollumajandusministeerium

https://riha.eesti.ee/riha/main/inf/webdesktop_johvi_vallavalitsus

https://www.surveymonkey.com/



töötamine


Küsimustikus käsitletavad teemad kooskõlastati projekti juhtrühmaga6 ning võimalikult palju arvestati projekti töörühma7 tagasisidet küsimustiku projektversioonile. Küsimustiku väljavõte on esitatud selle dokumendi lisas nr 1.

Projekti töörühma liikmetele edastati link küsimustikuga, kes selle asutusele tervikuna või osadele kasutajatele edastasid. Küsimustik oli vastamiseks avatud perioodil 13.05–24.05.2016.

Küsimustikule vastas kokku 443 dokumendihaldussüsteemi kasutajat. Vastajate jagunemist asutuste lõikes illustreerib joonis järgneval leheküljel.

Kahes projektis osalenud asutuses — Siseministeeriumis ja Justiitsministeeriumis — ei edastatud küsitlust kõigile dokumendihaldussüsteemi kasutajatele.

Joonis 3. Küsimustikule vastajad asutuste lõikes

Küsimustikuga kaardistati süsteemi kasutajate rollid, nende tegevused ja peamised eesmärgid süsteemi kasutamisel.

Küsimustiku vastustest tehti kokkuvõtted ja tulemusi kasutati nii intervjuudel käsitletavate teemade planeerimiseks kui ka projekti edasiste etappide raames. Täpsemalt on küsimustikuga kogutud andmete analüüsi tulemusi kirjeldatud käesoleva projekti dokumendihaldussüsteemide funktsionaalsusi ja metaandmeloendi elementide kasutatavuse hindamist kirjeldavas dokumendis.

Lisaks paluti küsimustikus hinnata dokumendihaldussüsteemi kasutatavust vastavalt System Usability Scale (SUS) raamistikule8. Tulemustest koostati kokkuvõtted iga projektis osaleva asutuse dokumendihaldussüsteemi kohta.

6 Mõõdikute väljatöötamisprotsessis osalesid DHSide sisulise-, tehnilise- ja kasutatavuse eksperdid 7 Töörühma moodustasid projekti kaasatud asutuste esindajad 8 Nielsen, Jakob (2012), Usability 101: Introduction to Usability http://www.nngroup.com/articles/usability-101-

introduction-to-usability/

17

10

33

58

50

28

74

25

40

40

10

23

35

Haridus- ja Teadusministeerium

Justiitsministeerium

Jõhvi Vallavalitsus

Kaitseliit

Kaitseministeerium

Maaeluministeerium

Maksu- ja Tolliamet

Põllumajandusamet

Pärnu Linnavalitsus

Rahandusministeerium

Siseministeerium

Tartu Linnavalitsus

Veterinaar- ja Toiduamet

0 10 20 30 40 50 60 70 80

Küsimustikule vasanute arv projektis osalenud asutustes

https://www.nngroup.com/articles/usability-101-introduction-to-usability/

https://www.nngroup.com/articles/usability-101-introduction-to-usability/



töötamine


2.2.3 Grupiintervjuudega andmete kogumine

Kasutajate vajaduste ja eesmärkide täpsustamiseks viidi kõikides projekti kaasatud asutustes läbi grupiintervjuud. Intervjuud toimusid ajavahemikus 02.06–14.06.2016.

Intervjuudel osalemine oli vabatahtlik ja osalejate leidmiseks tehti koostööd asutuste kontaktisikutega. Intervjueeritavad esindasid võimalikult erinevate eesmärkidega süsteemi kasutajaid.

Intervjuud toimusid projektis osalevate asutuste ruumides ja kestsid keskmiselt 1,5 tundi. Ühel intervjuul osales 5–8 dokumendihaldussüsteemi kasutajat.

Kogu intervjuu sessioon lindistati nii helis kui ka pildis, mis võimaldas kogutud materjali projekti hilisemates etappides täiendavalt analüüsida.

Intervjuu alguses lepiti kokku, et intervjuu transkriptsioon ei kuulu projekti materjalides avaldamisele.

Intervjuud viidi läbi poolstruktureeritud grupivestlustena, mida juhtis moderaator. Alustati faktipõhistest küsimustest ning liiguti vajaduspõhiste küsimusteni. Intervjuude teemapüstitus on esitatud lisas nr 2. Kogu arutelu toimus vabas õhkkonnas.

Intervjuude käigus selgitati kasutajate minimaalne võimalik kokkupuute vajadus ning rollipõhine motivatsioon ehk kasu süsteemist.

Iga asutuse intervjuu tulemusel kogutud informatsioon — kasutajate vajadustest, olulistest faktidest ja tähelepanekutest — grupeeriti ja kasutati mõõdikute väljatöötamiseks. Samuti kasutati andmeid kasutajagruppide vajaduste hindamisel.

Grupiintervjuudega kogutud andmete analüüsiprotsess mõõdikute loomiseks koosnes neljast etapist, millest annab ülevaate järgnev joonis:

Joonis 4. Intervjuude analüüsimise protsess

Korduvad loendatavad elemendid võeti kokku üheks loendatavaks elemendiks MS Exceli tabelis, milles märgiti seos millisest intervjuust ja rollist antud loendatav element ilmnes.

1. Intervjuudest oluliste punktide ja tegevuste väljatoomine

2. Loendatavate elementide ja probleemide eristamine väljatoodud punktidest

3. Korduvate loendatavate elementide koondamine üheks elemendiks

4. Loendatavate elementide määratlemine — kas tegemist on statistikaga või kasutatavust näitava elemendiga



töötamine


2.2.4 Kasutajate hinnangud System Usability Scale (SUS) raamistikust tulenevalt

Kasutajatelt hinnangu küsimiseks kasutati System Usability Scale (SUS) väljatöötatud meetodit. Selle meetodiga mõõdetakse kasutajate hinnangut esitades kasutajale küsimusi, mis sisaldab järgmisi väiteid:

1. Ma arvan, et kasutaksin seda süsteemi tihti;

2. Ma arvan, et süsteem oli põhjendamatult keeruline;

3. Ma arvan, et süsteem oli lihtsalt kasutatav;

4. Ma arvan, et vajan tehnilise kompetentsiga inimeste abi selle süsteemi kasutamiseks;

5. Minu arvates olid paljud funktsioonid süsteemis hästi omavahel ühendatud;

6. Minu arvates käitus süsteem liiga erinevalt erinevates kohtades;

7. Ma usun, et enamus inimesi õpib selle süsteemi kasutamise väga kiirelt selgeks;

8. Minu arvates on süsteemi kasutamine liiga aeganõudev ja kohmakas;

9. Ma tundsin ennast seda süsteemi kasutades väga kindlalt;

10. Mul oli vaja õppida suhteliselt palju enne, kui sain süsteemi tegelikult kasutada.

Küsimuste esitamisel on oluline, et positiivsed ja negatiivsed küsimused on esitatud vaheldumisi.

Vastuste esitamiseks kasutati Likerti skaalat9, milles on 5 astet: kindlasti ei – kindlasti jah.

2.2.5 System Usability Scale (SUS) tulemused

Tulemused on esitatud küsimustikuga kogutud andmete põhjal ning grupeeritud asutuste kaupa.

Tulemuste esitamisel võeti arvesse vastused, kus ei olnud tegemist vastuoluga. Näiteks tekkis vastuses vastuolu, kui negatiivse ja positiivse küsimuse vastuseks oli kõrge hinnang.

Arvutuse tulemitest jäeti välja väärtused, kus kasutaja oli jätnud ühe või rohkem küsimust vastamata.

9 Likert scaling http://www.socialresearchmethods.net/kb/scallik.php

http://www.socialresearchmethods.net/kb/scallik.php



töötamine


2.2.6 SUS hindamiskriteeriumid

Tabelis on esitatud SUS keskmised hindamiskriteeriumid ja tulemustest lähtuvad selgitused.

SUS hinne Selgitus

80,3 või üle selle

Inimesed armastavad süsteemi ja räägivad sellest ka teistele.

68

Keskmine SUS hinnang10. Süsteem on hea, kuid on võimalusi muuta kasutatavust paremaks.

51 ja alla selle

Kasutatavusest tuleb teha süsteemi prioriteediks ja seda kiiresti parandada.

Tabel 4. SUS keskmised hindamiskriteeriumid.

2.2.7 SUS hinnang

Järgnevas tabelis on kirjas asutuste lõikes kogutud andmetest arvutatud SUS hinnangud. Väärtused on esitatud tähestikulisest järjestuses. Sellised tulemused põhinevad kõige algsemal SUS mõõtmise süsteemil.

Hilisemad uuringud on tuvastanud, et SUS mõõtmine näitab lisaks kasutatavusele ka õpitavust.11 Kaheksa küsimust näitavad ära kasutatavuse ja kaks küsimust õpitavuse. Küsimused 4 (Ma arvan, et vajan tehnilise kompetentsiga inimeste abi selle süsteemi kasutamiseks) ja 10 (Mul oli vaja õppida suhteliselt palju enne, kui sain süsteemi tegelikult kasutada.) näitavad süsteemi õpitavust.

Kasutatavus tähendab, et mingit süsteemi on lihtne kasutada ning raske unustada. Hästi kasutatavas süsteemis on vähe loogikavigu ning süsteem pakub positiivset kasutajakogemust.

Õpitavus väljendab kasutajate lihtsust õppida kasutama või ühekordselt saada hakkama dokumendihaldussüsteemi kasutajaliidesega. Ideaalne olukord on selline, kus kasutaja ei vaja kõrvalist abi selleks, et dokumendihaldussüsteemi kasutada. Ta oskab esimese korraga eksimatult teostada kõik oma tegevused ning saab aru, kui kaugel ta selles protsessis on, ja kas tema soovitud tegevus on lõpule viidud.

10 Measuring usability with the system usability scale (SUS) http://www.measuringu.com/sus.php

11 A Practical Guide to the system Usability Scale, Jeff Sauro, 2011

80,3 või üle selle – inimesed armastavad süsteemi ja räägivad

sellest ka teistele.

68 – keskmine SUS hinnang. Süsteem on hea, kuid on

võimalusi muuta kasutatavust paremaks.

51 ja alla selle – kasutatavusest tuleb teha süsteemi prioriteediks

ja seda kiiresti parandada.

http://www.measuringu.com/sus.php



töötamine


Sellest tulenevalt on eraldi välja toodud tulemused kasutatavuse ja õpitavuse kohta. Projektis osalenud asutuste SUS tulemusi illustreeriv joonis on esitatud järgneval leheküljel.

Joonis 5. SUS hinnang DHS kasutajate arvates (SUS koondhinnangu väärtustega)

83

53

77

53

56

77

56

50

60

31

74

71

66

25

35

45

55

65

75

85

SUS koondhinnang Kasutatavus Õpitavus

Väga hea hinnang Keskmine hinnang Madal hinnang



töötamine


2.3 Mõõdikute väljatöötamine

Eelnevas peatükis kirjeldatud meetodid aitasid kaardistada dokumendihaldussüsteemide eripära infosüsteemina. Ja selgitada välja süsteemi kasutajagrupid, nende eesmärgid, vajadused edukad ja probleemsed situatsioonid süsteemiga töötamisel.

Kogutud andmete alusel jaotasime kasutajad kolme rühma — menetleja, juht ja asjaajaja.

2.3.1 Kasutajagruppide üldistatud selgitused

2.3.1.1 Menetleja

Sellesse gruppi kuuluvad kasutajad, kes tööülesannete täitmisel kasutavad dokumendihaldussüsteemi, kuid see ei ole nende põhiline töövahend. Näiteks saab kasutaja süsteemi kaudu tööülesandeid, osaleb menetlusringis, registreerib dokumendi ja algatab menetlusringi jne. Sellesse kasutajagruppi kuulub enamik dokumendihaldussüsteeme kasutavaid ametnikke.

Menetlejate gruppi kuuluvad väga erinevate ülesannetega kasutajad, kelle ülesanne võib olla organisatsiooni põhitegevuse toetamine, järelevalve, õigusabi, menetlemine, valdkonna koordineerimine. Samuti kuuluvad sellesse gruppi kasutajad, kelle ülesanne on dokumendihaldussüsteemi IT-tehniline toetamine.

Nii küsimustikule vastuste analüüsist kui ka grupiintervjuudest selgus, et menetlejaid on kahte tüüpi — need menetlejad, kes kasutavad süsteemi igapäevaselt ja kelle jaoks on esmatähtis efektiivsus, ning need, kes kasutavad süsteemi harva ja kellele sellest tulenevalt on esmavajalik süsteemi meeldejäävus või intuitiivne kasutatavus.

Kasutatavuse mõõdikute süsteemi loomisel lähtuti ühtsest menetlejate kasutajagrupist. Kasutajagrupi erinevaid vajadusi arvestati dokumendihaldussüsteemidelt nõutud funktsionaalsuste ja metaandmeloendi elementide vastavuse hindamisel kasutajate vajadustele.

2.3.1.2 Juht

Sellesse gruppi kuuluvad kasutajad, kes süsteemiga töötamisel lisavad dokumendile resolutsiooni, millega algatavad dokumendi menetlusringi. Tihti sellised kasutajad allkirjastavad dokumente. Selle grupi kasutajate tegevustes on peamiseks juhtiv komponent.

2.3.1.3 Asjaajaja

Sellesse gruppi kuuluvad need kasutajad, kelle tööiseloomust tulenevalt on dokumendihaldussüsteem kasutajale peamisi töövahendeid. Näiteks dokumendihaldur, asjaajamise eest vastutav isik, referent.

Asjaajajatel on organisatsiooni põhitegevusi toetavad ülesanded — asjaajamine sh dokumendiringluse korraldamine, kommunikatsioon. Tihti on sellesse kasutajagruppi kuuluvatel kasutajatel süsteemiga töötamisel teisi kasutajaid — menetlejaid ja juhte — abistav roll.

2.3.2 Lähteandmete kogumine

Lähteandmete kogumiseks võeti ühendust DHS-ide arendajate ja vastutavate peakasutajatega.



töötamine


Lähteandmete saamiseks kohtuti või suheldi Skype vahendusel järgmiste asutustega:

Justiitsministeerium, Liis Laaneloog ja Liis Kõu (Delta)

Siseministeerium, Liivi Leomar (Delta)

Haridus – ja Teadusministeerium (Sharepoint PINAL)

Kohtuti või suheldi Skype vahendusel järgmiste arendajatega:

Upmind OÜ, Mati Ustav (GoPro)

Osaühing Webware, Klemens-Augustinus Kasemaa (Webdesktop)

Osaühing InterInx, Ingmar Pappel (Amphora)

Digital Mind AS, Keit Kivisild (Open Text)

Järgneval joonisel on välja toodud asutuste lõikes, kui palju andmeid oli võimalik 32-st mõõdetavast elemendist süsteemist mõõtmiseks kasutada.

Joonis 6. Mõõdetavate elementide andmete kättesaadavus asutuste lõikes

1311

14 1517

4

19

13

16

1315

1214

0

5

10

15

20

25

30



töötamine


2.3.3 Mõõtmise tulemused

Järgneval joonisel on esitletud DHS-ide kasutatavuse protsent asutuste lõikes. Tulemused on järjestatud tähestikulises järjestuses ja arvesetatud 20 mõõdiku põhjal. Võrdlusesse on lisatud ka küsimustikuga kogutud andmetest SUS tulemused.

Joonis 7. Mõõdikute kasutatavuse protsent asutuste lõikes

0

27

15

33 32 31

12

34 34

27

8

28

35

100

8885

9087 85

8984

93

80 78 80

91

83

53

77

5356

77

5650

60

31

7471

66

0

10

20

30

40

50

60

70

80

90

100

Kasutatavuse % süsteemis

Võimalik maksimaalne väärtus kõikide andmete puhul

Andmete terviklikkus

SUS koondhinnang



töötamine


Eelneval leheküljel esitatud tulemused on parema ülevaate saamiseks esitatud ka tabelis.

Asutus Kasutatavuse % süsteemis

Võimalik maksimaalne väärtus kõikide andmete puhul

Andmete terviklikkus

SUS koond-hinnang

Haridus - ja Teadusministeerium (Sharepoint) 0 100 0 82,7

Jõhvi Vallavalitsus (Webdesktop) 27 88 37 53,3

Justiitsministeerium (Delta) 15 85 17 76,9

Kaitseliit (GoPro) 33 90 35 52,9

Kaitseministeerium (GoPro) 32 87 40 55,6

Maaeluministeerium (Webdesktop) 31 85 37 77,3

Maksu - ja Tolliamet (OpenText) 12 89 20 56,3

Pärnu Linnavalitus (Amphora) 34 84 37 50,3

Põllumajandusamet (Webdesktop) 34 93 42 60,0

Rahandusministeerium (OpenText) 27 80 30 30,5

Siseministeerium (Delta) 8 78 11 73,9

Tartu Linnavalitus (GoPro) 28 80 37 70,6

Veterinaar- ja Toiduamet (Webdesktop) 35 91 37 66,5

Tabel 5. Mõõdikute kasutatavuse protsent asutuste lõikes



töötamine


2.3.4 Miinimum mõõdikute tulemused

Vastavalt metoodikale pakuti välja 10 kõige olulisemat mõõdikut, millega peaks arvestama, kui hakatakse regulaarselt mõõtma DHS-i kasutatavust. Järgnevalt on esitletud DHS-ide kasutatavuse protsent asutuste lõikes miinimum mõõdikute kohta

Joonis 8. Miinimum arvu mõõdikute kasutatavuse protsent asutuste lõikes

2.4 Järeldused

Selles peatükis on kirjeldatud dokumendihaldussüsteemide kasutatavuse mõõdikute projekti peamised järeldused. Tulemused on jagatud kaheks: protsessist tulenevad ja mõõtmise tulemustest tulenevad järeldused.

17

8

32 3326

0

20

10

27 2731

34 3520

11

4035

40

0

33

10

3037 37 37 37

0

10

20

30

40

50

60

70

80

90

100

Kasutatavuse protsent (10 mõõdikut) Andmete terviklikkus (10 mõõdikut)



töötamine


2.4.1 Protsessist tulenevad järeldused

Grupiintervjuu erinevat rolli kasutajatega on väga hea meetod, kuidas kaardistada DHS-ide probleemid ja head tavad, aga ka kasutajate erinevaid käitumisharjumusi. Grupiintervjuudest ilmnes, et kasutatavuse probleeme esineb iga süsteemiga.

Mitmes asutuses toodi esile, et ennekõike jääb puudu kasutajakoolitustest , kasutusjuhendid ei ole ajakohased ja kasutajasõbralikult koostatud. Tihti puudub kasutajatel teadmine süsteemis tehtud uuendustest.

Kui asutustel on eelnevalt teada kasutatavust mõõdetav periood, siis on võimalik ka paljusid süsteeme eelnevalt häälestada ning sobival ajal andmeid koguda. Haridus- ja Teadusministeeriumi näitel oleks eeldanud täielikumate mõõdetavate elementide väärtuste saamine süsteemi eelnevat seadistust. Mitmel asutusel ei olnud võimalik tagasiulatuvalt andmeid koguda.

Üldjuhul ei olnud vajalike arvnäitajate kättesaamine võimalik. Vajalikuks osutus arendaja otsene kaasabi ja süsteemi eelnev kohendamine.

Projekti käigus tuli küllalt ootuspäraselt ilmsiks, et dokumendihaldussüsteemides napib statistiliste näitajate kogumist, mis võimaldaks tööprotsesse analüüsida ning parendada.

2.4.2 Mõõtmistulemustest tulenevad järeldused

Tulemustest nähtuv madalam kasutatavuse protsent on suuresti tingitud andmete puudulikkusest. Siinkohal tuleb märkida, et andmete kogumata jätmine on metoodikast tulenevalt kasutatavuse mõõtmisel probleem.

Küsimustikuga kogutud SUS'i hinnangud näitasid, et kõiki süsteeme oleks võimalik märkimisväärselt paremaks teha. Samas on (SUS'i hinnangu põhjal) kasutajad üldiselt optimistlikumad, kui näitavad kasutatavuse mõõdikute tulemused. Võiks oletada, et mõõtmise tulemused paranevad, kui saab elementide väärtusi DHS'idest vahetult välja võtta.

Analüüsist ilmnes, et erinevates kasutajagruppides — asjaajajad, menetlejad, juhid — on kasutatavus sarnane. Asjaajajal ja menetlejal näitasid mõõdikud samu kasutatavuse elemente. Kolmel mõõdikul erinesid kasutatavuse elemendid juhtidel. Näiteks asjaajajal ja menetlejal oli oluline efektiivsus, kuid juhtidele rahulolu.

Kokkuvõtvalt tuleb tõdeda, et projekti käigus kogutud andmete põhjal on andmete terviklikkus liiga madal. Ja järelduste tegemiseks — milline süsteem on tegelikult kõige kasutajasõbralikum — on tarvis koguda rohkem arvnäitajaid.

2.5 Lõpuseminar

Projekti viimase tegevusena viidi läbi seminar, kus tutvustati projekti tulemusi ja anti ülevaade kasutatavuse mõõtmise protsessist ning kasutatavuse mõõtmise võimalustest laiemalt. Lisaks toimus arutelu loendatavate elementide ja mõõdikute asjakohasusest ning osalejad andsid mitmeid soovitusi, kuidas projekti tulemeid täiendada.

Seminaril olid järgmised esitlused:

Hegle Sarapuu “Kasutatavuse ja selle mõõtmine”

Hegle Sarapuu “DHSide kasutatavuse mootmine ja analüüs”



töötamine


Egle Mätas “Dokumendihaldussüsteemidelt nõutud funktsionaalsuste ja metaandmeloendi elementide vastavus kasutajate vajadustele”

Taavi Lindmaa “Mõõdikute arvutamine ja mõõtmise tulemused”

Esitlused on lisatud käesolevale dokumendile.

Ühtlasi tänati kõiki projektis osalevaid asutusi ja nende töötajaid, kes küsimustikule vastasid või grupiintervjuudel osalesid.

Seminari kutse edastati enam kui 70le inimesele sh avaliku sektori IT-juhtidele ja dokumendihaldusnõukogu liikmetele. Seminarile registreerus 47 ja osales 38 inimest. Seminari sisuline osa koos aruteluga kestis neli tundi, millele lisandusid kaks kohvipausi.

Tagasiside küsitluse täitis 21 osalejat. Üldhinnang seminarile oli hea – 4,0 (skaalal 1-vilets.. 5-väga hea).

2.6 Kokkuvõte

Avaliku sektori kasutatavuse mõõdikud töötati välja 13 avaliku sektori DHS-i näitel. Projekti alguses määrati, et mõõdikute peamine sisendinfo tuleb kasutajate intervjuudest. Lisaks määrati Nielsen teooria põhjal kasutatavuse eesmärgid: õpitavus, vigade vältimine, efektiivsus, infoliiasuse vältimine ja rahulolu.

Projekti tööprotsess jaotati neljaks etapiks: intervjuude läbiviimine, mõõdikute väljatöötamine, mõõdikute kooskõlastamine ja mõõtmise võimalikkuse arutelu ja planeerimine.

Mõõdikute väljatöötamise protsess jaotati mitmeks etapiks, millest täideti järgmised sammud: mõõtmise eesmärkide püstitamine, kasutajate grupi ning funktsionaalsuse valimine, kasutajate protsessipõhine positiivse ja negatiivse käitumise välja selgitamine, mõõdikute/valemite moodustamine, andmete kogumise võimaluse valideerimine kliendiga.

Mõõdikute väljatöötamise esimeseks tegevuseks oli intervjuude analüüsimine. Intervjuudest toodi välja olulisemad aspektid. Väljatoodud teemadest eristati, kas tegemist on loendatava tegevuse/elemendiga või probleemiga. Loendavate elementide puhul eristati ja eemaldati elemendid, millel on üksnes statistiline väärtus. Vajalik oli määrata elemendid, mis näitavad kasutatavust ja mida saab kasutada potentsiaalsete mõõdikute väljatöötamisel.

Intervjuude analüüsimisele järgnes konkreetsete mõõdikute väljatöötamine. Intervjuudest välja tulnud loendatavatest elementidest sündisid esmaste mõõdikute ideed, mis järk-järgult arendati konkreetsemaks ning loodi mõõdikute valemid. Koostöös asutuste peakasutajate ja/või arendajatega vaadati üle potentsiaalsete mõõdikute andmete kogumise võimalused ning koguti kokku loendatavate elementide tulemused. Seejärel kombineeriti loodud 20 mõõdikut ühtseks kasutatavuse mõõdikuks. Lisaks toodi välja 10 kõige olulisemat mõõdikut, mille mõõtmisest peaks asutused alustama või vastavate numbrite väljavõtmist arendama.

Pärnu Linnavalitsuse (Amphora) ja Rahandusministeeriumi (Open Text) näitel oli võimalik saada väärtused kõikide kasutatavuse komponentide kohta. Põllumajandusametis (Webdesktop) oli kõige suurem andmete terviklikkuse protsent (42% 100-st). Kahjuks ei olnud Haridus - ja Teadusministeeriumilt saadud mõõdetavate elementide väärtustest võimalik ühegi mõõdiku väärtust välja arvutada.

Töötulemused näitasid, et hetkel süsteemidest välja võetud andmed ei ole piisavad selleks, et valida kõige kasutajasõbralikumat DHS-i. Kui asutused hakkavad mõõtma mõõdikute väärtusi, siis kindlasti



töötamine


muutuvad tulemused paremaks. Pea kõikidel asutustel on kõikide väärtuste korral võimalik saada kõrgem kasutatavuse hinnang.

Projekt veenab, et asutused peaksid tegema jõupingutusi, et parandada kasutuseloleva dokumendihaldussüsteemi kasutajasõbralikkust.

Täidetud sai projekti peamine eesmärk — töötati välja dokumendihaldussüsteemide kasutatavuse hindamise mõõdikud ning nende mõõdikute kasutamise juhendmaterjal.



töötamine


3. Lisad

3.1 Lisa nr 1. Küsimustiku väljavõte



töötamine




töötamine




töötamine


Väljavõte 1. Küsimustik veebikeskkonnas: https://www.surveymonkey.com/

https://www.surveymonkey.com/



töötamine


3.2 Lisa nr 2. Grupiintervjuudel käsitletud teemad

Uuringu intervjuu küsimused – kasutajad

Eesmärgid ja süsteemi vastavus eesmärkidele

0. Eesmärkide täiendavad küsimused. Mis väärtust Teie loote selles asutuses.

1. Kuidas aitab dokumendihaldussüsteem täita Teie eesmärki?

2. Kas on võimalik, et ta täidaks kunagi. Mis see peaks olema, et ta täidaks, mis puudu on.

Dokumendi registreerimine ja loomine

3. Kui Teile saabub dokument, kes ja kuidas see saab registreeritud (e-post üldaadressile, e-post ametnikule, paberkiri, läbi dokumendivahetuskeskuse...)...

4. Kas Teil õnnestub alati dokumente süsteemi sisestada ja neid registreerida? Kas on vahest süsteemiga probleeme selles osas? Millal see ei õnnestu? Kuidas käitute, kui te ei saa dokumenti sisestada või registreerida?

5. Mis saab siis, kui vastate e-kirjale ja tuleb välja, et te pole esmalt algatuskirja registreerinud? Kas seda on juhtunud? Kui palju seda juhtub? Miks see juhtub?

6. Kuidas tekivad uued dokumendid (kirjad, tõendid, vastuskirjad, puhkuseavaldused, lepingud, arved, määrused jne)?

7. Kui palju loote dokumente koos teise inimesega asutusest? Kuidas see protsess käib?

Juurdepääsupiirangud

8. Kes seab Juurdepääsupiirangud dokumendile? Kuidas Te seda teete? Mis juhtub selle tulemusena? Kas on juhtunud, et dokumendid ei ole saanud juurdepääsupiirangut, kui need oleksid pidanud selle saama? Miks see nii on juhtunud?

Dokumendi saatmine

9. Kes ja millal prindib pabervastuskirja välja, allkirjastab selle ning paneb ümbrikusse? Kui palju seda juhtub? Kas on kunagi kirju seetõttu kaduma läinud? Mis siis ettevõetud on?

10. Kas saadate vastuseid ka e-postiga? Kuidas see käib? Kas see õnnestub alati? Kas on juhtunud, et kiri on valele inimesele läinud? Miks see juhtunud on?

11. Kas saadate vastuseid ka DVK? Kuidas see käib? Kas see õnnestub alati? Kas on juhtunud, et kiri ei ole kohale jõudnud või on saajal märkamata jäänud? Miks see juhtunud on?

Asja loomine ja kasutamine

12. Millal tekib asi? Miks on asi vajalik? Millal muutub dokument asjaks? Kes loob asja? Miks luuakse asi? Kas asi aitab paremini leida dokumente? Kas asi aitab paremini saada ülevaadet erinevatest dokumentidest? Kas asja loomine õnnestub alati? Kas asi luuakse alati õigel ajal? Millistel juhtudel ei õnnestu?

13. Millistel juhtudel vajate asjade otsingut? Kuidas see protsess käib?

14. Kas saate alati otsinguga õige tulemuse (otsitava asja ja dokumendi)? Kuidas käitute, kui te ei leia asja?



töötamine


Menetlused ja töövood

15. Kas saadate algatuskirja ka menetlusringile või teete selles osas ülesandeid? Kes saadab ja millistel juhtudel?

16. Kas vastuskiri läbib maja sees menetlusringe? Millistel juhtudel? Kui tihti seda juhtub?

17. Mis juhtub, kui poole menetlusringi peal avastatakse kriitiline viga kirjas ning sellisel kujul seda edasi menetleda ei saa (vastavalt eelnevalt seadistatud menetlusringile)

18. Kas Teil menetletakse täna majas ka dokumente paberil? Millistel juhtudel? Kuidas see töötab koos dokumendihaldussüsteemiga?

19. Kuidas Te saate teada, et peate mõne dokumendiga midagi tegema? Kui tihti juhtub, et unustate sellega tegeleda? Kui tihti juhtub, et tähtaeg läheb üle?

20. Kui tihti juhtub, et kodanik kirjutab või helistab küsimusega, kas saite kätte ja millal on vastust oodata?

21. Kui tihti juhtub, et ülesanne (nt. vastuskiri) on tehtud aga ülesanne ise või algatuskirja juures on märkimata, et see tehtud on? Mis võiks olla selle põhjuseks?

Dokumentide otsimine

22. Millistel juhtudel vajate dokumentide otsingut? Kuidas see protsess käib?

23. Kas saate alati otsinguga õige tulemuse (otsitava dokumendi)? Kuidas käitute, kui te ei leia dokumenti?

24. Kas Teil on lemmikotsinguid (mida kasutate tihti ja korduvalt)? Kas Te olete need endale ka kuidagi salvestanud?

Arhiveerimine ja säilitamine

25. Kes seab dokumentidele säilitustähtajad? Kas Teie süsteemis on igale dokumendiliigile määratud säilitustähtajad? Millal seatakse säilitustähtajad? Millal muutus viimati mõne dokumendiliigi säilitustähtaeg? Kuidas Te seda muutsite?

26. Kes arhiveerib digitaalsed dokumendid? Millal seda tehakse? Kuidas seda tehakse? Kas ahiveerimisel tuleb ette ebameeldivusi? Millised need on ja kuidas need tekivad?

27. Kuidas omavahel on suhtes arhiveeritud paberdokumendid ning digitaalsed dokumendid?

Asjaajamisaasta vahetamine

28. Kes vahetab dokumendihaldussüsteemis asjaajamisaastat? Kuidas see käib?

29. Kas asjaajamisaasta vahetamisel on tekkinud ebameeldivusi? Kuidas need on seni lahendatud?

Seadistamine

30. Kas asjaajamisaasta keskel luuakse sarju või toimikuid? Kuidas nende loomine käib?

31. Kas sarjade ning toimikute loomisega esineb väljakutseid? Kas see õnnestub alati? Miks need probleemid tekivad?

32. Kas teil on dokumendihaldussüsteemis kasutusel erinevaid dokumentide loomiseks kasutatavaid dokumendipõhju, malle või mustandeid?



töötamine


33. Kes dokumendipõhju, malle või mustandid loob? Kes otsustab millised dokumendipõhjad,

mallid või mustandid on olulised?

34. Kas Teil on kasutuses töövoogude malle või mustandeid? Kes neid loob? Kuidas neid luuakse?

Lõpetuseks

Mis võiks DHSis olla teisiti, et süsteem paremini toetaks teie tegevusi ja eesmärke?

Documents

Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs · Küsimustikuga andmete kogumine Grupiintervjuud erinevaid rolle esindavate kasutajatega System Usability Scale (SUS)