Vertaisarviointi top ohjausverkossa

Vertaisarviointi TOP-Ohjausverkko hankkeessa

Koordinaattori + arviointiryhmä

Teema kysy-

mykset

Fasilitaattori + arvioitavan oppilaitoksen edustajat

Palautteenkeruu•Webropol / muu

Itsearviointi•SWOT

Yhteenveto arviointiaineiston pohjalla

Web-ropol / muu kysely

Palaute-raportti-

pohja

Haastattelun suunnittelu Haastatellaan vain ne, jotka tarpeen arviointiaineiston perusteella

Arvioinnin käytännön järjestelyt

Haastattelut + raportointiHaastattelut

Palautekeskustelu Palautekeskustelu

ArviointiraporttiArviointiraportti:Fasilitaattori, opiskelijajäsen,opettajajäsen, työssäoppimisesta vastaava

Kritee-ristö

Kritee-ristö

Vertaisarviointiprosessi

Toimijoiden roolit ja tehtävät• Arvioinnin kohde– Fasilitaattori = arvioitavan yksikön työryhmän vetäjä:

• Vastaa itsearvioinnin laatimisesta yhteistyössä yksikön muiden toimijoiden kanssa. Ei yhden miehen eikä naisen tehtävä!

• Huolehtii webropol-kyselyn organisoinnista• Toimittaa arviointiaineiston arviointiryhmän koordinaattorille• Huolehtii arviointipäivän käytännön järjestelyistä yhdessä yksikön

muiden toimijoiden kanssa.

– Arvioitavan yksikön edustajat osallistuvat palautekeskusteluun ja yhteenvetoraportin laadintaan

• Huolehdittavat käytännön järjestelyt:– Varaa tilat, huolehtii arviointipäiväksi tarvittavat opasteet– Miettivät haastateltavat ja sopivat alustavan aikataulun heidän

kanssaan • Opiskelijat• Opettajat• Työpaikkaohjaajat ja mahd. työnantajaedustaja• Koulutusorganisaation johto (koulutuspäällikkö,

koulutusalajohtaja, työssäoppimisesta vastaava)– Varaavat lounaan ja kahvit– Emännöi / isännöi arviointiryhmää arviointipäivänä– Haastattelujen aikatauluissa pysyminen– Haastateltavien ohjaaminen oikeisiin tiloihin (Mahdolliset

kuljetukset)

Toimijoiden roolit ja tehtävät• Arviointiryhmä• Koordinaattori = edustaa vertaisarviointiryhmää,

toimii ryhmän puheenjohtajana– yhteydenpito arvioinnin kohteeseen, sopii aikataulut

kohteen kanssa, ym.– vastaa vertaisarvioinnin valmistelusta ryhmän kanssa– toimii vertaisarvioijana– vastaa vertaisarviointiraportin viimeistelystä ryhmän

kanssa

Toimijoiden roolit ja tehtävät• Arviointiryhmä– Tutustuvat arvioitavan kohteen toimittamaan arviointiaineistoon

(itsearviointi + muu aineisto) – Tekevät alustavan arvion itsearvioinnin pohjalta– Laativat alustavat haastattelukysymykset– Suorittavat haastattelut pareittain ennakkoon suunnitellun

työnjaon mukaisesti – Tekevät muistiinpanoja haastattelujen aikana tulevaa raporttia

varten– Käyvät palautekeskustelun arvioitavan hankkeen edustajien kanssa– Laativat palauteraportin haastattelujen päätyttyä

Webropol• Arvioitavan yksikön työssäoppimiseen liittyviltä osapuolilta kerätään

palaute ennen vertaisarviointia.• Osapuolet:

– Opiskelijat– Opettajat– Työpaikkaohjaajat– Koulutuspäällikkö, työssäoppimisesta vastaava

• Tavoitteena – saada laaja-alaisempi kuva arviointialueesta, ei vain muutaman

haastatellun näkemys asiasta– Keventää ja mahdollisesti korvata haastatteluja, haastatteluilla

vain täydennetään muuta aineistoa

Itsearviointi

• Mitä huolellisemmin tehty itsearviointi, sitä enemmän prosessista saa irti

• Ei vain yhden henkilön kirjoittama vaan laajemmin yksikön näkemys toiminnasta

• Laaditaan vertaisarvioinnin raporttipohjalle kriteeristöä hyödyntäen

• Toimitetaan arvioijille sovitun aikataulun mukaisesti

Haastattelun valmistelu arviointiaineiston pohjalta

• Ennen arviointiryhmän kokousta– Kukin arviointiryhmän jäsen tutustuu itsenäisesti

arviointiaineistoon – Kukin kirjaa ylös oman näkemyksensä arviointialueista

aineiston pohjalta– Kukin miettii etukäteen, mitä asioita haastattelussa tulee vielä

täsmentää• Arviointiryhmän kokous– Alustava konsensus itsearvioinnin ja webropolien pohjalta– Haastatteluteemojen ja kysymysten laadinta

Teemat ja kysymysten laatiminenTeemat •Huolehdi, että eri teemoihin saadaan keskeisten ryhmien esim. oppisopimushenkilöstön, oppisopimusopiskelijoiden, kouluttajien ja johdon arviot. •Kysy samaan keskeiseen teemaan liittyvä asia useammalla eri tavalla. •Pyydä esimerkkejä, joista kysytyn asian tilan voi nähdä. •Tarkista selvittämääsi asiaa toisilta vertaisarvioijilta yhteisten palaverien aikana, mitä he ovat siihen liittyen saaneet selville. •Tutustu asiaan liittyviin ohjeisiin ja muihin materiaaleihin.

Lähde: Leena Koski OPH 2013

Teemat ja kysymysten laatiminenKysymykset •Kysymykset, joihin arviointiryhmä haluaa saada vastauksen ja haastattelussa esitettävät kysymykset voivat olla eri asia. •Kysymysten laadinnan lähtökohtana on etukäteen saatu materiaali ja arviointialueiden kriteerit ja indikaattorit. •Kysymyksiä, joihin arviointiryhmä haluaa saada vastauksen, voi olla melko rajallinen määrä. (10 / haastattelu)•Kartoita ensin keskeiset teemat.


Teemat ja kysymysten laatiminenKysymykset•Älä kysy asioita, jotka ilmenevät jo materiaalista (poikkeuksena varmistettavat asiat). •Suosi avoimia kysymyksiä. •Suljettuja kysymyksiä voi käyttää aluksi esim. jonkin asian varmistamiseen. Jos esität esim. strategiaprosessiin osallistumiseen liittyviä kysymyksiä varmistus ensin, että vastaajalla on siihen osallistunut. •Käytä kohdeorganisaation käyttämiä käsitteitä ja kieltä. •Avauskysymykset yksinkertaisia ja mielenkiintoisia •Vältä johdattelevia kysymyksiä.


Onnistuneita kysymysten muotoiluja

• Mitä tehdään ja miksi pitäisi tehdä? Miksi? • Miten tehdään? Miksi? • Kuka tekee? Miksi? • Kenelle tehdään? Miksi? • Milloin tehdään? Miksi? • Missä tehdään? Miksi? • Milloin ja miten arvioidaan? • Miten toimintaa parannetaan tulosten ja palautteen pohjalta? • Kysymysten avulla saadaan tietoa ja näyttöä kriteerien toteutumisesta.


Vertaisarviointikäynnin toteutus


KysyKysy

TarkistaTarkista HavainnoiHavainnoi

KirjaaKirjaa

Vertaisarviointikäynnin toteutus• Kaikkea ei tarvitse kysyä haastattelussa > haastattelussa TÄYDENNETÄÄN ja

TARKISTETAAN asioita, joista arviointiryhmä haluaa päästä varmuuteen (vrt. itsearviointiraportti, asiakirjat ym.)

• Vertaisarviointipari, joista toinen kysyy toinen kirjaa – myös kirjaaja voi kysyä. • Kysymyksiä (teemoja) on laadittu etukäteen haastattelupohjalle ja siihen vastaukset

kirjataan. • Vastaukset kirjataan mahdollisimman autenttisina, jos ei ehdi kirjataan avainsanat ja

tärkeät huomiot. • Mitä kirjataan haastattelun aikana?

– ”Objektiiviset todisteet” – positiiviset ja negatiiviset, – faktat, näytöt, esimerkit

• Kirjattaessa ei tehdä tulkintaa.


Teemahaastattelussa huomioitavaa

Kysy •Arvioitavaan alueeseen liittyvät avoimet kysymykset, myös itsearvioinnin perusteella

Kirjaa vastauksia muistiin •huomioi, millaisia jatko-kysymyksiä vastaus synnyttää

Tarvittaessa tarkista •Tee lisäkysymyksiä, pyydä esim. esimerkkejä

Kirjaa loppuraporttia varten •”Objektiiviset todisteet” •positiiviset ja negatiiviset


Huomioitavaa Alkutilanteessa: •lyhyesti esittelyt ja tilanteen kuvaus (miksi tämä haastattelu) •luottamuksellisen ja positiivisen ilmapiirin luominen

Haastattelutilanteessa: •selkeät ja avoimet pääkysymykset (eivät sisällä tulkintoja!) •täydentävät ja syventävät kysymykset •Haastattelukysymykset muotoiltuna kohderyhmän mukaan, esim. johdolle ja opiskelijoille sama asia heidän kannaltaan katsottuna •Verbaalinen ja nonverbaalinen viestintä •Ajankäyttö, puheenvuorojen jakautuminen .

Vertaisarviointiraportti • Hyvän raportin laatiminen alkaa vertaisarviointiprosessin alusta

lähtien • Kaikki vertaisarvioijat vastaavat raportista, koordinaattori vastaa

kuitenkin viime kädessä raportin laadusta. • Suositeltavaa on, että raporttiluonnos on valmis

vertaisarviointikäynnin päättyessä. • Raportin ”kommunikatiivinen validointi” = arvioinnin varmistaminen

arvioitavalta • On arviointia! Arviointi on arvon antamista!• Kehittämisehdotuksia annetaan vain jos niin on erikseen sovittu


Arvioinnin luotettavuus – Varmista!


KysyAvoimet kysymykset, jotka tarjoavat informaatiota

KysyAvoimet kysymykset, jotka tarjoavat informaatiota

TarkistaLaadittu ohjeistus, dokumentit sekä muut näytöt esim. esimerkit

TarkistaLaadittu ohjeistus, dokumentit sekä muut näytöt esim. esimerkit

HavainnoiSeuraa, mitä on tapahtumassa

HavainnoiSeuraa, mitä on tapahtumassa

Kirjaa”Objektiiviset todisteet” positiiviset ja negatiiviset

Kirjaa”Objektiiviset todisteet” positiiviset ja negatiiviset

Vertaisarviointiraportin kirjoittaminen

• Tahdikkuus – palautteen tyylin ja sisällön tulee olla rakentava ja parantamiseen kannustava.

• Pitää välttää arvostelua ja konsultointia ja omien ja vertaisarviointiryhmän arvostusten esille tuomista.

• Varmista, että yleisarvio ja vahvuudet ja parantamisalueet puhuvat samaa kieltä.

• Palaute auttaa tekemään hyödyllisiä johtopäätöksiä ja parantamaan toimintaa.

• Kirjoitetaan kokonaisina lauseina.


Koordinaattori + arviointiryhmä

Teema kysy-

mykset

Fasilitaattori + arvioitavan oppilaitoksen edustajat

Palautteenkeruu•Webropol / muu

Itsearviointi•SWOT

Yhteenveto arviointiaineiston pohjalla

Web-ropol / muu kysely

Palaute-raportti-

pohja

Haastattelun suunnittelu Haastatellaan vain ne, jotka tarpeen arviointiaineiston perusteella

Arvioinnin käytännön järjestelyt

Haastattelut + raportointiHaastattelut

Palautekeskustelu Palautekeskustelu

ArviointiraporttiArviointiraportti:Fasilitaattori, opiskelijajäsen,opettajajäsen, työssäoppimisesta vastaava

Kritee-ristö

Kritee-ristö

Vertaisarviointiprosessi

Documents

Vertaisarviointi top ohjausverkossa