Upload
others
View
2
Download
0
Embed Size (px)
Citation preview
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Töötulem — DHS projekti läbiviimise juhtumi kirjeldus
töötamine
Trinidad Consulting OÜ 0.05
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Töötulem — DHS projekti läbiviimise juhtumi kirjeldus
Hankija:
Majandus- ja Kommunikatsiooniministeerium Registrikood 70003158 Harju 11, 15072 Tallinn E-post: [email protected]
Töö teostaja: Trinidad Consulting OÜ Registrikood 11244225 Teaduspargi 8, Tallinn 12618 E-post: [email protected]
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 2 (30)
Dokumendi muudatuste ajalugu
Kuupäev Versioon Muutja Märkused
01.07.2016 0.01 Hegle Sarapuu, Taavi Lindmaa, Egle Mätas, Ingela Viks
Esitatud tööversioon kommenteerimiseks.
25.07.2016 0.02 Hegle Sarapuu, Taavi Lindmaa, Egle Mätas, Ingela Viks
Esitatud täiendatud tööversioon kommenteerimiseks.
29.07.2016 0.03 Hegle Sarapuu, Taavi Lindmaa, Egle Mätas
Esitatud dokumendi lõppversioon.
05.08.2016 0.04 Hegle Sarapuu, Taavi Lindmaa, Egle Mätas
Täiendatud jooniseid ja tabeleid, keeleline korrektuur.
09.08.2016 0.05 Hegle Sarapuu Dokumendi täiendamine
Tabel 1. Dokumendi ajalugu
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 3 (30)
Sisukord
Dokumendi muudatuste ajalugu ................................................................................................... 2
Sisukord ....................................................................................................................................... 3
1. Sissejuhatus ........................................................................................................................... 4
1.1 Dokumendi sisu ....................................................................................................................... 4
1.2 Dokumendi sihtrühm ............................................................................................................... 4
1.3 Kasutatud mõisted ja lühendid ............................................................................................... 5
2. Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine ....................................................... 6
2.1 Mõõdikute väljatöötamise protsess ........................................................................................ 7
2.2 Analüüsiprotsess alusinformatsiooni kogumisel ..................................................................... 9
2.2.1 Dokumentatsioonianalüüs .............................................................................................. 9
2.2.2 Küsimustikuga andmete kogumine ............................................................................... 10
2.2.3 Grupiintervjuudega andmete kogumine ....................................................................... 12
2.2.4 Kasutajate hinnangud System Usability Scale (SUS) raamistikust tulenevalt ............... 13
2.2.5 System Usability Scale (SUS) tulemused ....................................................................... 13
2.2.6 SUS hindamiskriteeriumid ............................................................................................ 14
2.2.7 SUS hinnang ................................................................................................................... 14
2.3 Mõõdikute väljatöötamine .................................................................................................... 16
2.3.1 Kasutajagruppide üldistatud selgitused ........................................................................ 16
2.3.1.1 Menetleja ...................................................................................................................... 16
2.3.1.2 Juht ................................................................................................................................ 16
2.3.1.3 Asjaajaja ......................................................................................................................... 16
2.3.2 Lähteandmete kogumine .............................................................................................. 16
2.3.3 Mõõtmise tulemused .................................................................................................... 18
2.3.4 Miinimum mõõdikute tulemused.................................................................................. 20
2.4 Järeldused .............................................................................................................................. 20
2.4.1 Protsessist tulenevad järeldused ................................................................................... 21
2.4.2 Mõõtmistulemustest tulenevad järeldused .................................................................. 21
2.5 Lõpuseminar .......................................................................................................................... 21
2.6 Kokkuvõte .............................................................................................................................. 22
3. Lisad .................................................................................................................................... 24
3.1 Lisa nr 1. Küsimustiku väljavõte ............................................................................................ 24
3.2 Lisa nr 2. Grupiintervjuudel käsitletud teemad ..................................................................... 28
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 4 (30)
1. Sissejuhatus
Projekti eesmärk oli välja töötada kasutatavuse mõõtmise süsteem dokumendihaldussüsteemidele. Kasutatavuse mõõtmise eesmärk on võrrelda infosüsteemi või veebikeskkonna kasutajate tegelikku käitumist selle käitumisega, mida süsteemis kasutajatelt eeldatakse. Mõõdikute süsteemis eeldatav käitumine tähendab, et kasutajad käituksid selliselt, kui neil ei oleks süsteemis takistusi, ebamugavusi ja nad saaksid aru, mida ja kuidas teha tuleb.
Kogu mõõtmise süsteem jaguneb nelja kihi vahel. Iga kiht arvutatakse eelmise kihi tulemuste põhjal.
1.1 Dokumendi sisu
Selles dokumendis on esitatud dokumendihaldussüsteemide kasutatavuse mõõdikute väljatöötamiseks vajalike tegevuste kirjeldus. Dokumendi eesmärk on kirjeldada detailselt projektis läbitud etappe ja saavutatud tulemite vajalikkust mõõdikute süsteemi väljatöötamisel. Lisaks täiendab dokument projekti raames koostatud analüüsidokumenti, milles analüüsiti ja hinnati dokumendihaldussüsteemidelt nõutud funktsionaalsuste1 ja metaandmeloendi elementide2 vastavust kasutajate vajadustele.
Töö teostati hanke „DHSide kasutatavuse mõõtmine ja analüüs” raames. Hankeleping rahastatakse toetusskeemist „Avalike teenuste koosvõime loomine” ja rahastatakse struktuuritoetusest.
1.2 Dokumendi sihtrühm
Dokumendi peamiseks sihtrühmaks on dokumendihaldusvaldkonnast ja/ või kasutatavuse mõõtmise metoodikatest huvitatud isikud. Samuti teised isikud, kes puutuvad kokku dokumendihaldussüsteemide tellimisega, arendamisega või langetavad otsuseid, mis mõjutavad dokumendihaldussüsteemi arengut.
1 Miinimumnõuded Eesti avaliku sektori dokumendihaldussüsteemidele. Nõuded. Versioon 1.0 2 Dokumendihalduse metaandmed. Loend.
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 5 (30)
1.3 Kasutatud mõisted ja lühendid
Analüüsidokumendis on lähtutud dokumendihaldussüsteemidele seatud miinimumnõudeid kirjeldava dokumendi peatüki 10 lisas 1 kirjeldatud mõistetest3. Alljärgnevalt on esitatud tekstis enim esinevad lühendid ja mõisted ning nende kirjeldused.
Lühend/ mõiste Kirjeldus
DHS/ EDHS/ Elektrooniline dokumendihaldussüsteem
Infosüsteem, mis kasutab dokumentide liigitamiseks hierarhilist liigitusskeemi ja mille osaks on dokumendiregister. Tekstis kasutatud nii mitme süsteemi kui ka ühe konkreetse süsteemi kirjeldamisel.
Tavakasutajad Kasutajad, kes ei ole dokumendihaldussüsteemi peakasutajad (dokumendihaldurid)
Dokument Dokumendina käsitatakse seda arhiiviseaduse § 2 lõigetes 1 ja 2 nimetatud teavet, mis on jäädvustatud paberkandjale, faili või e-kirja sõnumisse.
Dokumenti hõlmama Dokumenti DHSi salvestama.
Kasutajagrupp/ kasutajarühm/ rühm
Kogum kasutajatest.
Periood Kolme kuu (aprill–juuni 2016) andmete kogusumma. Välja arvatud kasutajate arv, mis on perioodi keskmine.
Kasutatavus Kasutatavus tähendab, et mingit süsteemi on lihtne kasutada ning raske unustada. Kasutatavas süsteemis on vähe loogikavigu ning nad pakuvad positiivset kasutajakogemust.
Kasutatavuse element ehk kasutatavuse dimensioon
Kasutatavuse element on kasutaja rolli kasutatavuse eesmärk
konkreetse funktsionaalsuse juures.
Mõõdikud Mõõdikute (mõõtmise) süsteemi eesmärgiks on defineerida faktilist kasutatavust ning seda numbriliselt mõõta.
Loendatav element Loendatavaid elemente on vaja mõõdikute tulemuste arvutamiseks.
DVK Lühend sõnast dokumendivahetuskeskus
Haldur Lühend sõnast dokumendihaldur
Tabel 2. Kasutatud mõisted ja lühendid
3 Miinimumnõuded Eesti avaliku sektori dokumendihaldussüsteemidele. Juhis. Versioon 1.0
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 6 (30)
2. Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
Dokumendihaldussüsteemide kasutatavuse mõõdikute väljatöötamisel lähtuti avaliku sektori tarkvarasüsteemidele4 väljatöötatud metoodikast.
Projekti mõõdetavate elementide määramisel lähtuti Nielseni teooriast5. Sellest lähtuvalt tuleb hea kasutatavusega süsteemi loomisel lähtuda viiest põhimõttest:
1. Õpitavus – kui lihtne on kasutajatel täita põhiülesandeid, kui ta kasutab süsteemi esimest korda?
2. Vigade vältimine – kui palju vigu teevad kasutajad, kui tõsised on vead ja kui lihtne on neid parandada?
3. Efektiivsus – kui kiiresti saavad kasutajad oma tegevustega süsteemis hakkama, kui nad on sellega juba tuttavad?
4. Infoliiasuse vältimine – Infoliiasus toob kaasa mõistmatust, lisategevusi ning tihti ka põhjendamatut ebapädevuse tunnet.
5. Rahulolu – kui meeldiv on kasutajal süsteemi kasutada?
Mõõdikute väljatöötamisprotsessis osalesid dokumendihaldussüsteemide sisulise-, tehnilise- ja kasutatavuse eksperdid, kes moodustasid projekti juhtrühma. Lisaks moodustati töörühm, kuhu kuulusid projekti kaasatud asutuste esindajad. Projektis osalesid järgmised 13 asutust:
1. Haridus- ja Teadusministeerium 2. Jõhvi Vallavalitsus 3. Justiitsministeerium 4. Kaitseliit 5. Kaitseministeerium 6. Maaeluministeerium 7. Maksu- ja Tolliamet 8. Pärnu Linnavalitsus 9. Põllumajandusamet 10. Rahandusministeerium 11. Siseministeerium 12. Tartu Linnavalitsus 13. Veterinaar- ja Toiduamet
See dokument kirjeldab detailselt, kuidas projekt läbi viidi. Iga dokumendihaldussüsteemi mõõtmiseks ei ole vajalik läbi teha samasugust protsessi. Kirjeldatud protsess viidi läbi mõõdikute loomiseks dokumendihaldussüsteemidele. Projektis loodud mõõdikud sobivad kasutatavuse mõõtmiseks erinevates dokumendihaldussüsteemides.
4 Kasutatavuse mõõdikute süsteem avaliku sektori tarkvarasüsteemidele 5 Nielsen, Jakob (2012), Usability 101: Introduction to Usability http://www.nngroup.com/articles/usability-101-introduction-to-usability/
Kasutatavuse eesmärgid:
1. Õpitavus 2. Vigade vältimine 3. Efektiivsus 4. Infoliiasuse vältimine 5. Rahulolu
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 7 (30)
2.1 Mõõdikute väljatöötamise protsess
Mõõdikute väljatöötamise protsess jaotati neljaks etapiks:
1. Küsitlus ja grupiintervjuud erinevaid rolle esindavate kasutajatega 2. Mõõdikute välja töötamine 3. Mõõdikute kooskõlastamine 4. Mõõtmise võimalikkuse arutelu ja planeerimine
Protsessi aluseks võeti mõõdikute väljatöötamise metoodika avaliku sektori tarkvarasüsteemidele ja mõõtmise põhimõtted, millest annab ülevaate järgnev joonis:
Joonis 1. Mõõtmise põhimõtted
Metoodikast tulenevalt lähtuti mõõdikute väljatöötamise protsessis seitsmest sammust:
1. Mõõtmise eesmärgi püstitamine Eesmärgi püstitamiseks viidi läbi tellijaga grupiintervjuu ning analüüsiti täiendavaid materjale. Seejärel lepiti kokku täpsustatud eesmärk.
2. Kasutajagrupi ning funktsionaalsuse välja valimine Funktsionaalsuse välja valimiseks analüüsiti täiendavat lisamaterjale ning tellija poolt edastatud dokumente. Seejärel loodi koondloetelud funktsionaalsustest. Kasutajagruppide väljavalimiseks viidi läbi küsimustik kasutajate hulgas.
3. Kasutajate protsessipõhine positiivse ja negatiivse käitumise välja selgitamine. Selles projektis võeti kasutajate negatiivse ja positiivse käitumise määramise aluseks
Kasutajate grupp ning
funktsionaalsus
Kasutajate positiivne ja negatiivne käitumine
Mõõdikute moodustamine
(valemid)
Erinevate perioodide võrdlemine
Andmete kogumise
võimalikkuse analüüs
Regulaarne / korduv mõõtmise
teostamine
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 8 (30)
küsimustikuga kogutud andmed ja grupiintervjuude käigus täiendatud informatsioon kasutajate kogemustest.
4. Mõõdikute/ valemite moodustamine (mõõdikuid võrreldakse suhtarvudega, mis võimaldab võrrelda erinevaid perioode) Mõõdikud moodustati peamiselt negatiivsete situatsioonide põhjal, mis kasutajate hinnangul oli tööd segav või häiriv.
5. Andmete kogumise võimaluse leidmine Protsessis oli üheks edukuse kriteeriumiks koostöö osalevate asutuste esindajate ja infosüsteemide arendajatega, kes aitasid selgitada, kuidas ja milliseid andmeid on neil võimalik koguda. Mõõdetavate andmete kogumisel selgitasime ja kirjeldasime, kuidas igas projektis osaleva asutuse dokumendihaldussüsteemis numbrilist mõõtmist edaspidi läbi viia. Täiendava tegevusena võrdlesime kasutatavuse mõõdikute süsteemi tulemusi System Usability Scale (SUS) tulemustega.
6. Regulaarselt numbrite mõõtmine ja analüüsimine Selles projektis viidi läbi ühekordne mõõtmine projektis osalenud asutuste dokumendihaldussüsteemidel.
7. Jälgimine, et mõõdikute tulemused oleksid ajas võrreldavad Käesolevas projektis sai täidetud kuus esimest sammu. Regulaarne andmete kogumine, mõõtmine ja tulemuste ajas võrdlemine jäävad selle projekti jätkutegevuseks, mida kaasatud asutused saavad iseseisvalt läbi viia.
Mõõdikute moodustamine ja
andmete kogumise võimalikkuse leidmine
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 9 (30)
2.2 Analüüsiprotsess alusinformatsiooni kogumisel
Alusinformatsiooni kogumise etapp koosnes järgmistest tegevustest:
Dokumentatsioonianalüüs
Küsimustikuga andmete kogumine
Grupiintervjuud erinevaid rolle esindavate kasutajatega
System Usability Scale (SUS) tulemuste analüüs
Projekti käivitamisel otsustati, et mõõdikute väljatöötamise alusandmeteks on küsimustiku tulemused ja grupiintervjuud erinevates rollides kasutajatega.
Analüüsiprotsess koosnes kolmest sammust, millest osad tegevused toimusid paralleelselt ning millele pöörduti ka tagasi:
Joonis 2. Analüüsiprotsess alusinformatsiooni kogumisel.
Järgnevad peatükid kirjeldavad analüüsiprotsessis kasutatud meetodeid detailsemalt.
2.2.1 Dokumentatsioonianalüüs
Mõõdikute süsteemi loomist alustati projekti kaasatud asutuste dokumendihaldussüsteemide kasutamist selgitavate ja reguleerivate dokumentide läbitöötamisest. Lisaks tutvuti seadusest
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 10 (30)
tulenevate regulatsioonide ning Majandus- ja Kommunikatsiooniministeeriumi veebilehel Dokumendihaldusest infohalduseni mitmete selles valdkonnas varasemalt läbiviidud analüüsidega.
Peamised projektis läbitöötatud materjalid olid järgmised:
Asjaajamiskorra ühtsed alused
Teenuste korraldamise ja teabehalduse alused (Vabariigi Valitsuse määruse eelnõu, Dokumendi number: 15-1672/19)
Elektrooniliste dokumentide haldamise näidisnõuete MoReq2 rakendamine Eestis (Eesti "nullpeatükk" MoReq2-le). Versioon 2.0
Dokumendihalduse metaandmed. Loend. Versioon 3.0
Miinimumnõuded Eesti avaliku sektori dokumendihaldussüsteemidele. Juhis. Versioon 1.0
Miinimumnõuded Eesti avaliku sektori dokumendihaldussüsteemidele. Nõuded. Versioon 1.0
Kasutatavuse mõõdikute süsteem avaliku sektori tarkvarasüsteemidele
Järgnev tabel võtab kokku asutuste edastatud asjaajamiskorrad ja arendaja või asutuse enda koostatud kasutusjuhendid dokumendihaldussüsteemide kasutajatele:
Asutuse nimetus Asjaajamiskord jõustunud DHS tehniline kirjeldus RIHA registrist
Pärnu Linnavalitsus 31.07.2009, muudetud 08.09.2011 Amphora Pärnu Linnavalitsuses
Justiitsministeerium 1.01.2014 Delta Justiitsministeeriumis
Siseministeerium 22.03.2016 Delta Siseministeeriumis
Kaitseliit 15.04.2013
GoPro Case Professional Kaitseliidus
Tartu Linnavalitsus 30.12.2003, muudetud 15.07.2004
GoPro Case Professional Tartu Linnavalitsuses
Kaitseministeerium 30.12.2015
GoPro Case Professional Kaitseministeeriumis
Maksu- ja Tolliamet 12.01.2015, muudetud 02.04.2016 Livelink Maksu- ja Tolliametis
Rahandusministeerium 12.03.2015 Livelink Rahandusministeeriumis
Haridus- ja Teadusministeerium 31.10.2014
PINAL Haridus- ja Teadusministeeriumis
Põllumajandusamet 22.12.2014 WebDesktop Põllumajandusametis
Veterinaar- ja Toiduamet 24.01.2011, muudetud 04.04.2013 WebDesktop Veterinaar- ja Toiduametis
Maaeluministeerium 13.01.2015 WebDesktop Maaeluministeeriumis
Jõhvi Vallavalitsus 16.05.2006, muudetud 22.03.2007 WebDesktop Jõhvi Vallavalitsuses
Tabel 2. Asutuste asjaajamiskorrad ja DHS kasutusjuhendid
Loetletud materjalide läbitöötamine oli vajalik projekti järgmiste tegevuste ettevalmistamiseks, kuid informatsiooni kasutati korduvalt projekti hilisemates etappides.
2.2.2 Küsimustikuga andmete kogumine
Küsimustik on meetod, mis võimaldab jõuda piiratud ajaga paljude kasutajateni.
Küsimustik koostati dokumendianalüüsis läbitöötatud materjalide alusel. Küsimustiku loomiseks on soovitatav ja projektis kasutati https://www.surveymonkey.com/ veebikeskkonda.
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 11 (30)
Küsimustikus käsitletavad teemad kooskõlastati projekti juhtrühmaga6 ning võimalikult palju arvestati projekti töörühma7 tagasisidet küsimustiku projektversioonile. Küsimustiku väljavõte on esitatud selle dokumendi lisas nr 1.
Projekti töörühma liikmetele edastati link küsimustikuga, kes selle asutusele tervikuna või osadele kasutajatele edastasid. Küsimustik oli vastamiseks avatud perioodil 13.05–24.05.2016.
Küsimustikule vastas kokku 443 dokumendihaldussüsteemi kasutajat. Vastajate jagunemist asutuste lõikes illustreerib joonis järgneval leheküljel.
Kahes projektis osalenud asutuses — Siseministeeriumis ja Justiitsministeeriumis — ei edastatud küsitlust kõigile dokumendihaldussüsteemi kasutajatele.
Joonis 3. Küsimustikule vastajad asutuste lõikes
Küsimustikuga kaardistati süsteemi kasutajate rollid, nende tegevused ja peamised eesmärgid süsteemi kasutamisel.
Küsimustiku vastustest tehti kokkuvõtted ja tulemusi kasutati nii intervjuudel käsitletavate teemade planeerimiseks kui ka projekti edasiste etappide raames. Täpsemalt on küsimustikuga kogutud andmete analüüsi tulemusi kirjeldatud käesoleva projekti dokumendihaldussüsteemide funktsionaalsusi ja metaandmeloendi elementide kasutatavuse hindamist kirjeldavas dokumendis.
Lisaks paluti küsimustikus hinnata dokumendihaldussüsteemi kasutatavust vastavalt System Usability Scale (SUS) raamistikule8. Tulemustest koostati kokkuvõtted iga projektis osaleva asutuse dokumendihaldussüsteemi kohta.
6 Mõõdikute väljatöötamisprotsessis osalesid DHSide sisulise-, tehnilise- ja kasutatavuse eksperdid 7 Töörühma moodustasid projekti kaasatud asutuste esindajad 8 Nielsen, Jakob (2012), Usability 101: Introduction to Usability http://www.nngroup.com/articles/usability-101-
introduction-to-usability/
17
10
33
58
50
28
74
25
40
40
10
23
35
Haridus- ja Teadusministeerium
Justiitsministeerium
Jõhvi Vallavalitsus
Kaitseliit
Kaitseministeerium
Maaeluministeerium
Maksu- ja Tolliamet
Põllumajandusamet
Pärnu Linnavalitsus
Rahandusministeerium
Siseministeerium
Tartu Linnavalitsus
Veterinaar- ja Toiduamet
0 10 20 30 40 50 60 70 80
Küsimustikule vasanute arv projektis osalenud asutustes
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 12 (30)
2.2.3 Grupiintervjuudega andmete kogumine
Kasutajate vajaduste ja eesmärkide täpsustamiseks viidi kõikides projekti kaasatud asutustes läbi grupiintervjuud. Intervjuud toimusid ajavahemikus 02.06–14.06.2016.
Intervjuudel osalemine oli vabatahtlik ja osalejate leidmiseks tehti koostööd asutuste kontaktisikutega. Intervjueeritavad esindasid võimalikult erinevate eesmärkidega süsteemi kasutajaid.
Intervjuud toimusid projektis osalevate asutuste ruumides ja kestsid keskmiselt 1,5 tundi. Ühel intervjuul osales 5–8 dokumendihaldussüsteemi kasutajat.
Kogu intervjuu sessioon lindistati nii helis kui ka pildis, mis võimaldas kogutud materjali projekti hilisemates etappides täiendavalt analüüsida.
Intervjuu alguses lepiti kokku, et intervjuu transkriptsioon ei kuulu projekti materjalides avaldamisele.
Intervjuud viidi läbi poolstruktureeritud grupivestlustena, mida juhtis moderaator. Alustati faktipõhistest küsimustest ning liiguti vajaduspõhiste küsimusteni. Intervjuude teemapüstitus on esitatud lisas nr 2. Kogu arutelu toimus vabas õhkkonnas.
Intervjuude käigus selgitati kasutajate minimaalne võimalik kokkupuute vajadus ning rollipõhine motivatsioon ehk kasu süsteemist.
Iga asutuse intervjuu tulemusel kogutud informatsioon — kasutajate vajadustest, olulistest faktidest ja tähelepanekutest — grupeeriti ja kasutati mõõdikute väljatöötamiseks. Samuti kasutati andmeid kasutajagruppide vajaduste hindamisel.
Grupiintervjuudega kogutud andmete analüüsiprotsess mõõdikute loomiseks koosnes neljast etapist, millest annab ülevaate järgnev joonis:
Joonis 4. Intervjuude analüüsimise protsess
Korduvad loendatavad elemendid võeti kokku üheks loendatavaks elemendiks MS Exceli tabelis, milles märgiti seos millisest intervjuust ja rollist antud loendatav element ilmnes.
1. Intervjuudest oluliste punktide ja tegevuste väljatoomine
2. Loendatavate elementide ja probleemide eristamine väljatoodud punktidest
3. Korduvate loendatavate elementide koondamine üheks elemendiks
4. Loendatavate elementide määratlemine — kas tegemist on statistikaga või kasutatavust näitava elemendiga
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 13 (30)
2.2.4 Kasutajate hinnangud System Usability Scale (SUS) raamistikust tulenevalt
Kasutajatelt hinnangu küsimiseks kasutati System Usability Scale (SUS) väljatöötatud meetodit. Selle meetodiga mõõdetakse kasutajate hinnangut esitades kasutajale küsimusi, mis sisaldab järgmisi väiteid:
1. Ma arvan, et kasutaksin seda süsteemi tihti;
2. Ma arvan, et süsteem oli põhjendamatult keeruline;
3. Ma arvan, et süsteem oli lihtsalt kasutatav;
4. Ma arvan, et vajan tehnilise kompetentsiga inimeste abi selle süsteemi kasutamiseks;
5. Minu arvates olid paljud funktsioonid süsteemis hästi omavahel ühendatud;
6. Minu arvates käitus süsteem liiga erinevalt erinevates kohtades;
7. Ma usun, et enamus inimesi õpib selle süsteemi kasutamise väga kiirelt selgeks;
8. Minu arvates on süsteemi kasutamine liiga aeganõudev ja kohmakas;
9. Ma tundsin ennast seda süsteemi kasutades väga kindlalt;
10. Mul oli vaja õppida suhteliselt palju enne, kui sain süsteemi tegelikult kasutada.
Küsimuste esitamisel on oluline, et positiivsed ja negatiivsed küsimused on esitatud vaheldumisi.
Vastuste esitamiseks kasutati Likerti skaalat9, milles on 5 astet: kindlasti ei – kindlasti jah.
2.2.5 System Usability Scale (SUS) tulemused
Tulemused on esitatud küsimustikuga kogutud andmete põhjal ning grupeeritud asutuste kaupa.
Tulemuste esitamisel võeti arvesse vastused, kus ei olnud tegemist vastuoluga. Näiteks tekkis vastuses vastuolu, kui negatiivse ja positiivse küsimuse vastuseks oli kõrge hinnang.
Arvutuse tulemitest jäeti välja väärtused, kus kasutaja oli jätnud ühe või rohkem küsimust vastamata.
9 Likert scaling http://www.socialresearchmethods.net/kb/scallik.php
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 14 (30)
2.2.6 SUS hindamiskriteeriumid
Tabelis on esitatud SUS keskmised hindamiskriteeriumid ja tulemustest lähtuvad selgitused.
SUS hinne Selgitus
80,3 või üle selle
Inimesed armastavad süsteemi ja räägivad sellest ka teistele.
68
Keskmine SUS hinnang10. Süsteem on hea, kuid on võimalusi muuta kasutatavust paremaks.
51 ja alla selle
Kasutatavusest tuleb teha süsteemi prioriteediks ja seda kiiresti parandada.
Tabel 4. SUS keskmised hindamiskriteeriumid.
2.2.7 SUS hinnang
Järgnevas tabelis on kirjas asutuste lõikes kogutud andmetest arvutatud SUS hinnangud. Väärtused on esitatud tähestikulisest järjestuses. Sellised tulemused põhinevad kõige algsemal SUS mõõtmise süsteemil.
Hilisemad uuringud on tuvastanud, et SUS mõõtmine näitab lisaks kasutatavusele ka õpitavust.11 Kaheksa küsimust näitavad ära kasutatavuse ja kaks küsimust õpitavuse. Küsimused 4 (Ma arvan, et vajan tehnilise kompetentsiga inimeste abi selle süsteemi kasutamiseks) ja 10 (Mul oli vaja õppida suhteliselt palju enne, kui sain süsteemi tegelikult kasutada.) näitavad süsteemi õpitavust.
Kasutatavus tähendab, et mingit süsteemi on lihtne kasutada ning raske unustada. Hästi kasutatavas süsteemis on vähe loogikavigu ning süsteem pakub positiivset kasutajakogemust.
Õpitavus väljendab kasutajate lihtsust õppida kasutama või ühekordselt saada hakkama dokumendihaldussüsteemi kasutajaliidesega. Ideaalne olukord on selline, kus kasutaja ei vaja kõrvalist abi selleks, et dokumendihaldussüsteemi kasutada. Ta oskab esimese korraga eksimatult teostada kõik oma tegevused ning saab aru, kui kaugel ta selles protsessis on, ja kas tema soovitud tegevus on lõpule viidud.
10 Measuring usability with the system usability scale (SUS) http://www.measuringu.com/sus.php
11 A Practical Guide to the system Usability Scale, Jeff Sauro, 2011
80,3 või üle selle – inimesed armastavad süsteemi ja räägivad
sellest ka teistele.
68 – keskmine SUS hinnang. Süsteem on hea, kuid on
võimalusi muuta kasutatavust paremaks.
51 ja alla selle – kasutatavusest tuleb teha süsteemi prioriteediks
ja seda kiiresti parandada.
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 15 (30)
Sellest tulenevalt on eraldi välja toodud tulemused kasutatavuse ja õpitavuse kohta. Projektis osalenud asutuste SUS tulemusi illustreeriv joonis on esitatud järgneval leheküljel.
Joonis 5. SUS hinnang DHS kasutajate arvates (SUS koondhinnangu väärtustega)
83
53
77
53
56
77
56
50
60
31
74
71
66
25
35
45
55
65
75
85
SUS koondhinnang Kasutatavus Õpitavus
Väga hea hinnang Keskmine hinnang Madal hinnang
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 16 (30)
2.3 Mõõdikute väljatöötamine
Eelnevas peatükis kirjeldatud meetodid aitasid kaardistada dokumendihaldussüsteemide eripära infosüsteemina. Ja selgitada välja süsteemi kasutajagrupid, nende eesmärgid, vajadused edukad ja probleemsed situatsioonid süsteemiga töötamisel.
Kogutud andmete alusel jaotasime kasutajad kolme rühma — menetleja, juht ja asjaajaja.
2.3.1 Kasutajagruppide üldistatud selgitused
2.3.1.1 Menetleja
Sellesse gruppi kuuluvad kasutajad, kes tööülesannete täitmisel kasutavad dokumendihaldussüsteemi, kuid see ei ole nende põhiline töövahend. Näiteks saab kasutaja süsteemi kaudu tööülesandeid, osaleb menetlusringis, registreerib dokumendi ja algatab menetlusringi jne. Sellesse kasutajagruppi kuulub enamik dokumendihaldussüsteeme kasutavaid ametnikke.
Menetlejate gruppi kuuluvad väga erinevate ülesannetega kasutajad, kelle ülesanne võib olla organisatsiooni põhitegevuse toetamine, järelevalve, õigusabi, menetlemine, valdkonna koordineerimine. Samuti kuuluvad sellesse gruppi kasutajad, kelle ülesanne on dokumendihaldussüsteemi IT-tehniline toetamine.
Nii küsimustikule vastuste analüüsist kui ka grupiintervjuudest selgus, et menetlejaid on kahte tüüpi — need menetlejad, kes kasutavad süsteemi igapäevaselt ja kelle jaoks on esmatähtis efektiivsus, ning need, kes kasutavad süsteemi harva ja kellele sellest tulenevalt on esmavajalik süsteemi meeldejäävus või intuitiivne kasutatavus.
Kasutatavuse mõõdikute süsteemi loomisel lähtuti ühtsest menetlejate kasutajagrupist. Kasutajagrupi erinevaid vajadusi arvestati dokumendihaldussüsteemidelt nõutud funktsionaalsuste ja metaandmeloendi elementide vastavuse hindamisel kasutajate vajadustele.
2.3.1.2 Juht
Sellesse gruppi kuuluvad kasutajad, kes süsteemiga töötamisel lisavad dokumendile resolutsiooni, millega algatavad dokumendi menetlusringi. Tihti sellised kasutajad allkirjastavad dokumente. Selle grupi kasutajate tegevustes on peamiseks juhtiv komponent.
2.3.1.3 Asjaajaja
Sellesse gruppi kuuluvad need kasutajad, kelle tööiseloomust tulenevalt on dokumendihaldussüsteem kasutajale peamisi töövahendeid. Näiteks dokumendihaldur, asjaajamise eest vastutav isik, referent.
Asjaajajatel on organisatsiooni põhitegevusi toetavad ülesanded — asjaajamine sh dokumendiringluse korraldamine, kommunikatsioon. Tihti on sellesse kasutajagruppi kuuluvatel kasutajatel süsteemiga töötamisel teisi kasutajaid — menetlejaid ja juhte — abistav roll.
2.3.2 Lähteandmete kogumine
Lähteandmete kogumiseks võeti ühendust DHS-ide arendajate ja vastutavate peakasutajatega.
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 17 (30)
Lähteandmete saamiseks kohtuti või suheldi Skype vahendusel järgmiste asutustega:
Justiitsministeerium, Liis Laaneloog ja Liis Kõu (Delta)
Siseministeerium, Liivi Leomar (Delta)
Haridus – ja Teadusministeerium (Sharepoint PINAL)
Kohtuti või suheldi Skype vahendusel järgmiste arendajatega:
Upmind OÜ, Mati Ustav (GoPro)
Osaühing Webware, Klemens-Augustinus Kasemaa (Webdesktop)
Osaühing InterInx, Ingmar Pappel (Amphora)
Digital Mind AS, Keit Kivisild (Open Text)
Järgneval joonisel on välja toodud asutuste lõikes, kui palju andmeid oli võimalik 32-st mõõdetavast elemendist süsteemist mõõtmiseks kasutada.
Joonis 6. Mõõdetavate elementide andmete kättesaadavus asutuste lõikes
1311
14 1517
4
19
13
16
1315
1214
0
5
10
15
20
25
30
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 18 (30)
2.3.3 Mõõtmise tulemused
Järgneval joonisel on esitletud DHS-ide kasutatavuse protsent asutuste lõikes. Tulemused on järjestatud tähestikulises järjestuses ja arvesetatud 20 mõõdiku põhjal. Võrdlusesse on lisatud ka küsimustikuga kogutud andmetest SUS tulemused.
Joonis 7. Mõõdikute kasutatavuse protsent asutuste lõikes
0
27
15
33 32 31
12
34 34
27
8
28
35
100
8885
9087 85
8984
93
80 78 80
91
83
53
77
5356
77
5650
60
31
7471
66
0
10
20
30
40
50
60
70
80
90
100
Kasutatavuse % süsteemis
Võimalik maksimaalne väärtus kõikide andmete puhul
Andmete terviklikkus
SUS koondhinnang
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 19 (30)
Eelneval leheküljel esitatud tulemused on parema ülevaate saamiseks esitatud ka tabelis.
Asutus Kasutatavuse % süsteemis
Võimalik maksimaalne väärtus kõikide andmete puhul
Andmete terviklikkus
SUS koond-hinnang
Haridus - ja Teadusministeerium (Sharepoint) 0 100 0 82,7
Jõhvi Vallavalitsus (Webdesktop) 27 88 37 53,3
Justiitsministeerium (Delta) 15 85 17 76,9
Kaitseliit (GoPro) 33 90 35 52,9
Kaitseministeerium (GoPro) 32 87 40 55,6
Maaeluministeerium (Webdesktop) 31 85 37 77,3
Maksu - ja Tolliamet (OpenText) 12 89 20 56,3
Pärnu Linnavalitus (Amphora) 34 84 37 50,3
Põllumajandusamet (Webdesktop) 34 93 42 60,0
Rahandusministeerium (OpenText) 27 80 30 30,5
Siseministeerium (Delta) 8 78 11 73,9
Tartu Linnavalitus (GoPro) 28 80 37 70,6
Veterinaar- ja Toiduamet (Webdesktop) 35 91 37 66,5
Tabel 5. Mõõdikute kasutatavuse protsent asutuste lõikes
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 20 (30)
2.3.4 Miinimum mõõdikute tulemused
Vastavalt metoodikale pakuti välja 10 kõige olulisemat mõõdikut, millega peaks arvestama, kui hakatakse regulaarselt mõõtma DHS-i kasutatavust. Järgnevalt on esitletud DHS-ide kasutatavuse protsent asutuste lõikes miinimum mõõdikute kohta
Joonis 8. Miinimum arvu mõõdikute kasutatavuse protsent asutuste lõikes
2.4 Järeldused
Selles peatükis on kirjeldatud dokumendihaldussüsteemide kasutatavuse mõõdikute projekti peamised järeldused. Tulemused on jagatud kaheks: protsessist tulenevad ja mõõtmise tulemustest tulenevad järeldused.
17
8
32 3326
0
20
10
27 2731
34 3520
11
4035
40
0
33
10
3037 37 37 37
0
10
20
30
40
50
60
70
80
90
100
Kasutatavuse protsent (10 mõõdikut) Andmete terviklikkus (10 mõõdikut)
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 21 (30)
2.4.1 Protsessist tulenevad järeldused
Grupiintervjuu erinevat rolli kasutajatega on väga hea meetod, kuidas kaardistada DHS-ide probleemid ja head tavad, aga ka kasutajate erinevaid käitumisharjumusi. Grupiintervjuudest ilmnes, et kasutatavuse probleeme esineb iga süsteemiga.
Mitmes asutuses toodi esile, et ennekõike jääb puudu kasutajakoolitustest , kasutusjuhendid ei ole ajakohased ja kasutajasõbralikult koostatud. Tihti puudub kasutajatel teadmine süsteemis tehtud uuendustest.
Kui asutustel on eelnevalt teada kasutatavust mõõdetav periood, siis on võimalik ka paljusid süsteeme eelnevalt häälestada ning sobival ajal andmeid koguda. Haridus- ja Teadusministeeriumi näitel oleks eeldanud täielikumate mõõdetavate elementide väärtuste saamine süsteemi eelnevat seadistust. Mitmel asutusel ei olnud võimalik tagasiulatuvalt andmeid koguda.
Üldjuhul ei olnud vajalike arvnäitajate kättesaamine võimalik. Vajalikuks osutus arendaja otsene kaasabi ja süsteemi eelnev kohendamine.
Projekti käigus tuli küllalt ootuspäraselt ilmsiks, et dokumendihaldussüsteemides napib statistiliste näitajate kogumist, mis võimaldaks tööprotsesse analüüsida ning parendada.
2.4.2 Mõõtmistulemustest tulenevad järeldused
Tulemustest nähtuv madalam kasutatavuse protsent on suuresti tingitud andmete puudulikkusest. Siinkohal tuleb märkida, et andmete kogumata jätmine on metoodikast tulenevalt kasutatavuse mõõtmisel probleem.
Küsimustikuga kogutud SUS'i hinnangud näitasid, et kõiki süsteeme oleks võimalik märkimisväärselt paremaks teha. Samas on (SUS'i hinnangu põhjal) kasutajad üldiselt optimistlikumad, kui näitavad kasutatavuse mõõdikute tulemused. Võiks oletada, et mõõtmise tulemused paranevad, kui saab elementide väärtusi DHS'idest vahetult välja võtta.
Analüüsist ilmnes, et erinevates kasutajagruppides — asjaajajad, menetlejad, juhid — on kasutatavus sarnane. Asjaajajal ja menetlejal näitasid mõõdikud samu kasutatavuse elemente. Kolmel mõõdikul erinesid kasutatavuse elemendid juhtidel. Näiteks asjaajajal ja menetlejal oli oluline efektiivsus, kuid juhtidele rahulolu.
Kokkuvõtvalt tuleb tõdeda, et projekti käigus kogutud andmete põhjal on andmete terviklikkus liiga madal. Ja järelduste tegemiseks — milline süsteem on tegelikult kõige kasutajasõbralikum — on tarvis koguda rohkem arvnäitajaid.
2.5 Lõpuseminar
Projekti viimase tegevusena viidi läbi seminar, kus tutvustati projekti tulemusi ja anti ülevaade kasutatavuse mõõtmise protsessist ning kasutatavuse mõõtmise võimalustest laiemalt. Lisaks toimus arutelu loendatavate elementide ja mõõdikute asjakohasusest ning osalejad andsid mitmeid soovitusi, kuidas projekti tulemeid täiendada.
Seminaril olid järgmised esitlused:
Hegle Sarapuu “Kasutatavuse ja selle mõõtmine”
Hegle Sarapuu “DHSide kasutatavuse mootmine ja analüüs”
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 22 (30)
Egle Mätas “Dokumendihaldussüsteemidelt nõutud funktsionaalsuste ja metaandmeloendi elementide vastavus kasutajate vajadustele”
Taavi Lindmaa “Mõõdikute arvutamine ja mõõtmise tulemused”
Esitlused on lisatud käesolevale dokumendile.
Ühtlasi tänati kõiki projektis osalevaid asutusi ja nende töötajaid, kes küsimustikule vastasid või grupiintervjuudel osalesid.
Seminari kutse edastati enam kui 70le inimesele sh avaliku sektori IT-juhtidele ja dokumendihaldusnõukogu liikmetele. Seminarile registreerus 47 ja osales 38 inimest. Seminari sisuline osa koos aruteluga kestis neli tundi, millele lisandusid kaks kohvipausi.
Tagasiside küsitluse täitis 21 osalejat. Üldhinnang seminarile oli hea – 4,0 (skaalal 1-vilets.. 5-väga hea).
2.6 Kokkuvõte
Avaliku sektori kasutatavuse mõõdikud töötati välja 13 avaliku sektori DHS-i näitel. Projekti alguses määrati, et mõõdikute peamine sisendinfo tuleb kasutajate intervjuudest. Lisaks määrati Nielsen teooria põhjal kasutatavuse eesmärgid: õpitavus, vigade vältimine, efektiivsus, infoliiasuse vältimine ja rahulolu.
Projekti tööprotsess jaotati neljaks etapiks: intervjuude läbiviimine, mõõdikute väljatöötamine, mõõdikute kooskõlastamine ja mõõtmise võimalikkuse arutelu ja planeerimine.
Mõõdikute väljatöötamise protsess jaotati mitmeks etapiks, millest täideti järgmised sammud: mõõtmise eesmärkide püstitamine, kasutajate grupi ning funktsionaalsuse valimine, kasutajate protsessipõhine positiivse ja negatiivse käitumise välja selgitamine, mõõdikute/valemite moodustamine, andmete kogumise võimaluse valideerimine kliendiga.
Mõõdikute väljatöötamise esimeseks tegevuseks oli intervjuude analüüsimine. Intervjuudest toodi välja olulisemad aspektid. Väljatoodud teemadest eristati, kas tegemist on loendatava tegevuse/elemendiga või probleemiga. Loendavate elementide puhul eristati ja eemaldati elemendid, millel on üksnes statistiline väärtus. Vajalik oli määrata elemendid, mis näitavad kasutatavust ja mida saab kasutada potentsiaalsete mõõdikute väljatöötamisel.
Intervjuude analüüsimisele järgnes konkreetsete mõõdikute väljatöötamine. Intervjuudest välja tulnud loendatavatest elementidest sündisid esmaste mõõdikute ideed, mis järk-järgult arendati konkreetsemaks ning loodi mõõdikute valemid. Koostöös asutuste peakasutajate ja/või arendajatega vaadati üle potentsiaalsete mõõdikute andmete kogumise võimalused ning koguti kokku loendatavate elementide tulemused. Seejärel kombineeriti loodud 20 mõõdikut ühtseks kasutatavuse mõõdikuks. Lisaks toodi välja 10 kõige olulisemat mõõdikut, mille mõõtmisest peaks asutused alustama või vastavate numbrite väljavõtmist arendama.
Pärnu Linnavalitsuse (Amphora) ja Rahandusministeeriumi (Open Text) näitel oli võimalik saada väärtused kõikide kasutatavuse komponentide kohta. Põllumajandusametis (Webdesktop) oli kõige suurem andmete terviklikkuse protsent (42% 100-st). Kahjuks ei olnud Haridus - ja Teadusministeeriumilt saadud mõõdetavate elementide väärtustest võimalik ühegi mõõdiku väärtust välja arvutada.
Töötulemused näitasid, et hetkel süsteemidest välja võetud andmed ei ole piisavad selleks, et valida kõige kasutajasõbralikumat DHS-i. Kui asutused hakkavad mõõtma mõõdikute väärtusi, siis kindlasti
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 23 (30)
muutuvad tulemused paremaks. Pea kõikidel asutustel on kõikide väärtuste korral võimalik saada kõrgem kasutatavuse hinnang.
Projekt veenab, et asutused peaksid tegema jõupingutusi, et parandada kasutuseloleva dokumendihaldussüsteemi kasutajasõbralikkust.
Täidetud sai projekti peamine eesmärk — töötati välja dokumendihaldussüsteemide kasutatavuse hindamise mõõdikud ning nende mõõdikute kasutamise juhendmaterjal.
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 24 (30)
3. Lisad
3.1 Lisa nr 1. Küsimustiku väljavõte
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 25 (30)
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 26 (30)
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 27 (30)
Väljavõte 1. Küsimustik veebikeskkonnas: https://www.surveymonkey.com/
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 28 (30)
3.2 Lisa nr 2. Grupiintervjuudel käsitletud teemad
Uuringu intervjuu küsimused – kasutajad
Eesmärgid ja süsteemi vastavus eesmärkidele
0. Eesmärkide täiendavad küsimused. Mis väärtust Teie loote selles asutuses.
1. Kuidas aitab dokumendihaldussüsteem täita Teie eesmärki?
2. Kas on võimalik, et ta täidaks kunagi. Mis see peaks olema, et ta täidaks, mis puudu on.
Dokumendi registreerimine ja loomine
3. Kui Teile saabub dokument, kes ja kuidas see saab registreeritud (e-post üldaadressile, e-post ametnikule, paberkiri, läbi dokumendivahetuskeskuse...)...
4. Kas Teil õnnestub alati dokumente süsteemi sisestada ja neid registreerida? Kas on vahest süsteemiga probleeme selles osas? Millal see ei õnnestu? Kuidas käitute, kui te ei saa dokumenti sisestada või registreerida?
5. Mis saab siis, kui vastate e-kirjale ja tuleb välja, et te pole esmalt algatuskirja registreerinud? Kas seda on juhtunud? Kui palju seda juhtub? Miks see juhtub?
6. Kuidas tekivad uued dokumendid (kirjad, tõendid, vastuskirjad, puhkuseavaldused, lepingud, arved, määrused jne)?
7. Kui palju loote dokumente koos teise inimesega asutusest? Kuidas see protsess käib?
Juurdepääsupiirangud
8. Kes seab Juurdepääsupiirangud dokumendile? Kuidas Te seda teete? Mis juhtub selle tulemusena? Kas on juhtunud, et dokumendid ei ole saanud juurdepääsupiirangut, kui need oleksid pidanud selle saama? Miks see nii on juhtunud?
Dokumendi saatmine
9. Kes ja millal prindib pabervastuskirja välja, allkirjastab selle ning paneb ümbrikusse? Kui palju seda juhtub? Kas on kunagi kirju seetõttu kaduma läinud? Mis siis ettevõetud on?
10. Kas saadate vastuseid ka e-postiga? Kuidas see käib? Kas see õnnestub alati? Kas on juhtunud, et kiri on valele inimesele läinud? Miks see juhtunud on?
11. Kas saadate vastuseid ka DVK? Kuidas see käib? Kas see õnnestub alati? Kas on juhtunud, et kiri ei ole kohale jõudnud või on saajal märkamata jäänud? Miks see juhtunud on?
Asja loomine ja kasutamine
12. Millal tekib asi? Miks on asi vajalik? Millal muutub dokument asjaks? Kes loob asja? Miks luuakse asi? Kas asi aitab paremini leida dokumente? Kas asi aitab paremini saada ülevaadet erinevatest dokumentidest? Kas asja loomine õnnestub alati? Kas asi luuakse alati õigel ajal? Millistel juhtudel ei õnnestu?
13. Millistel juhtudel vajate asjade otsingut? Kuidas see protsess käib?
14. Kas saate alati otsinguga õige tulemuse (otsitava asja ja dokumendi)? Kuidas käitute, kui te ei leia asja?
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 29 (30)
Menetlused ja töövood
15. Kas saadate algatuskirja ka menetlusringile või teete selles osas ülesandeid? Kes saadab ja millistel juhtudel?
16. Kas vastuskiri läbib maja sees menetlusringe? Millistel juhtudel? Kui tihti seda juhtub?
17. Mis juhtub, kui poole menetlusringi peal avastatakse kriitiline viga kirjas ning sellisel kujul seda edasi menetleda ei saa (vastavalt eelnevalt seadistatud menetlusringile)
18. Kas Teil menetletakse täna majas ka dokumente paberil? Millistel juhtudel? Kuidas see töötab koos dokumendihaldussüsteemiga?
19. Kuidas Te saate teada, et peate mõne dokumendiga midagi tegema? Kui tihti juhtub, et unustate sellega tegeleda? Kui tihti juhtub, et tähtaeg läheb üle?
20. Kui tihti juhtub, et kodanik kirjutab või helistab küsimusega, kas saite kätte ja millal on vastust oodata?
21. Kui tihti juhtub, et ülesanne (nt. vastuskiri) on tehtud aga ülesanne ise või algatuskirja juures on märkimata, et see tehtud on? Mis võiks olla selle põhjuseks?
Dokumentide otsimine
22. Millistel juhtudel vajate dokumentide otsingut? Kuidas see protsess käib?
23. Kas saate alati otsinguga õige tulemuse (otsitava dokumendi)? Kuidas käitute, kui te ei leia dokumenti?
24. Kas Teil on lemmikotsinguid (mida kasutate tihti ja korduvalt)? Kas Te olete need endale ka kuidagi salvestanud?
Arhiveerimine ja säilitamine
25. Kes seab dokumentidele säilitustähtajad? Kas Teie süsteemis on igale dokumendiliigile määratud säilitustähtajad? Millal seatakse säilitustähtajad? Millal muutus viimati mõne dokumendiliigi säilitustähtaeg? Kuidas Te seda muutsite?
26. Kes arhiveerib digitaalsed dokumendid? Millal seda tehakse? Kuidas seda tehakse? Kas ahiveerimisel tuleb ette ebameeldivusi? Millised need on ja kuidas need tekivad?
27. Kuidas omavahel on suhtes arhiveeritud paberdokumendid ning digitaalsed dokumendid?
Asjaajamisaasta vahetamine
28. Kes vahetab dokumendihaldussüsteemis asjaajamisaastat? Kuidas see käib?
29. Kas asjaajamisaasta vahetamisel on tekkinud ebameeldivusi? Kuidas need on seni lahendatud?
Seadistamine
30. Kas asjaajamisaasta keskel luuakse sarju või toimikuid? Kuidas nende loomine käib?
31. Kas sarjade ning toimikute loomisega esineb väljakutseid? Kas see õnnestub alati? Miks need probleemid tekivad?
32. Kas teil on dokumendihaldussüsteemis kasutusel erinevaid dokumentide loomiseks kasutatavaid dokumendipõhju, malle või mustandeid?
Dokumendihaldussüsteemide kasutatavuse mõõtmine ja analüüs
Juhtumi kirjeldus — mõõdikute süsteemi välja töötamine
töötamine
Trinidad Consulting OÜ 0.05 30 (30)
33. Kes dokumendipõhju, malle või mustandid loob? Kes otsustab millised dokumendipõhjad,
mallid või mustandid on olulised?
34. Kas Teil on kasutuses töövoogude malle või mustandeid? Kes neid loob? Kuidas neid luuakse?
Lõpetuseks
Mis võiks DHSis olla teisiti, et süsteem paremini toetaks teie tegevusi ja eesmärke?