Upload
minna-kivipelto
View
99
Download
1
Embed Size (px)
Citation preview
Sosiaalialan mittarikeräyksen tulokset: Mitä pilottikeräys opetti?
Heli Valkeinen, erikoistutkija, TtT
TOIMIA-verkoston koordinaattori
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Mittareita, mittareita – mutta mistä ja millaisia?
Vaikutusten (ja vaikuttavuuden) todentaminen
Paine saada mittareita käyttöön, mutta samalla epätietoisuus mitä mittareita pitäisi käyttää ja miten
Kehitteillä useita mittareita, koska tarve mittareille suuri
Tarve ja toive mittareille ja mittaamiselle
• Miten todennan oman työn vaikutuksia?
Samalla (suuri?) pelko mittareiden ja mittaamisen voimalle
• Ottaako mittari ja mittaaminen liian suuren roolin asiakas- / potilas- / yksilötapaamisessa?
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Mittarikeräyksen idea ja toteutus
Paljon puhetta mitä mittareita sosiaalialalla käytetään vai käytetäänkö mitään
”Käärittiin hihat” mittarikeräys
Teimme TOIMIA:n toimituksessa Webropol-kyselyn, jossa oli kolme ”osaa”:
• Kehitteillä olevat mittarit
• Kehitteillä, mutta samalla jo käytössä olevat mittarit
• Valmiit käytössä olevat mittarit
Kysely lähetettiin täysin sattumanvaraisesti omien verkostojen välityksellä; ts. ei tietoa millaisen määrän kysely lopulta tavoitti vastaajia - pilottikeräys
Kysely auki 11/2016 – 1/2017
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Tulokset (1)
• 55 eri mittaria / menetelmää Yhteensä 66 ilmoitusta,
joista 11 tuplaa
• 3 menetelmiä / 1 (ehkä) mittari Kehitteillä olevia = 4
• 3 menetelmiä / 7 (ehkä) mittareita Kehitteillä, mutta
käytössä = 10
• 8 menetelmiä / 33 (ehkä) mittareita Valmiit käytössä = 41
• 9 mittaria arvioituna
• 1 arviointiprosessissa TOIMIA-tietokannassa
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Tulokset (2): Erillinen listaus mittareista
Mittarikeräyksen yhteydessä saimme
myös erillisen listauksen sosiaalialalla käytettäviä
mittareita
Noin 145 mittaria/menetelmää
(osa samoja kuin meidän
keräyksessä)
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Tulokset (3)
Mittareita lapsille – nuorille – aikuisille – ikääntyville jne.
Hyvin monen erilaisen asian mittaamiseen
Tiedonkeruutavat pääasiassa
• Haastattelu
• Havainnointi
• Itsearviointi
• (Vain joitakin objektiivisia testejä)
ICF:ää on hyödynnetty kehittämisessä tai mittari on linkitetty ICF-käsitteisiin – alle puolet ilmoitetuista
Pätevyys-, toistettavuus- tai muutosherkkyystietoja ilmoitettiin vain muutamasta mittarista
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Ajatuksia tuloksista…
Mittareita /menetelmiä käytetään sosiaalialalla yllättävän paljon, vaikka käsitys saattaa olla toisenlainen
• ”Mittarivapaa alue” ei pidä paikkaansa
• Kuka mittareita käyttää ja miten – vaatii tarkempaa selvitystä
Mittareiden ominaisuuksista (validiteetti, reliabiliteetti, jne.) ilmoitettiin vain vähän tietoa
• Käyttäjät eivät tiedä käyttämänsä mittarin ominaisuuksista ja niiden yhteydestä käyttötarkoitukseen
• Käytetäänkö oikeaa ja pätevää mittaria oikeassa tilanteessa?
(Lähes) kaikkien mittareiden taustasta pitäisi tietää enemmän ennen kuin niitä voisi suositella
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
(Toimintakyvyn) arvioinnin prosessi
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Valmistau-tuminen
Toteutus Tulosten tulkinta
Tulosten dokumen-
tointi
Tulosten hyödyntä-
minen
Mittaaminen! Autti-Rämö ym. Kuntoutuminen
2016, 208
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Viisauden alku:
Miksi mitataan?
Mitä mitataan?
Luotettavat ja pätevät arviointimenetelmät
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Psykometriset ominaisuudet tarkoittavat mittarin kykyä
• mitata sitä, mitä sen on tarkoitus
mitata
• validiteetti (pätevyys)
• tuottaa tuloksia toistettavasti • reliabiliteetti (toistettavuus,
luotettavuus)
• havaita muutos • muutosherkkyys
Lisäksi on arvioitava mittarin käyttökelpoisuutta
• soveltuvuus haluttuun käyttötarkoitukseen
• mm. saatavuus, hinta, käytön helppous, turvallisuus jne.
Uuden mittarin kehittäminen on haastava ja asiantuntemusta
vaativa prosessi – aloita vain, jos resurssit riittää ja oikeasti
tarvetta!
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Kuvailla Erotella
Ennustaa Seurata
Psykometriikka ja mittauksen tarkoitus
• Mittarin mitattava
haluttua asiaa /
ominaisuutta (sisältövaliditeetti)
• Kyky erotella
ryhmiä (ryhmien
erotteluvaliditeetti)
• Kyky ennustaa
asia X
tapahtuvaksi (ennustevaliditeetti)
• Kyky havaita
mitattavassa
ominaisuudessa
muutosta (muutosherkkyys)
• Kyky tuottaa sama tulos toistettavasti
/ luotettavasti; mahdollisimman
vähän mittausvirhettä (reliabiliteetti)
Esim.
Heli Valkeinen - Sosiaalialan arviointiverkoston tapaaminen, THL 27.3.2017
Mittaamisen hyödyt ovat
seurausta hyvästä
kokonaisprosessista!