KANSALLISEN NÄYTTÖPERUSTEISEN OPPIMISTULOSTEN ARVIOINTI-JÄRJESTELMÄN KEHITTÄMINEN AMMATILLISIIN PERUSTUTKINTOIHIN

TULOKSIA JA JOHTOPÄÄTÖKSIÄ KOPPI-HANKKEESTA

2002–2008

Mari Räkköläinen & Paula Kilpeläinen

LOPPURAPORTTI

2

© Opetushallitus Moniste 5/2008 ISBN 978-952-13-3695-9 (nid.) ISBN 978-952-13-3696-6 (pdf) ISSN 1237-6590 Painopaikka: Edita Oy, Helsinki 2008

3

ALKUSANAT

Kansallista näyttöperusteista oppimistulosten arviointijärjestelmää on kehitetty Opetus-hallituksen koordinoimassa Koppi-hankkeessa vuodesta 2002. Kehittämishankkeessa sel-vitettiin, voidaanko kansallinen arviointitieto koota suoraan koulutuksen järjestäjän orga-nisoimista ammattiosaamisen näytöistä. Hankkeessa toteutettiin kaksi laajaa arviointiko-keilua, joissa näyttöperusteista arviointijärjestelmää testattiin käytännössä. Kokeiluissa ar-viointitieto saatiin suoraan kokeiluun osallistuneiden koulutuksen järjestäjän toteuttamista näytöistä. Arviointikokeilun pohjalta voidaan todeta, että kansallinen arviointi on mahdollista liittää ammattiosaamisen näyttöihin. Näytöistä saatua arviointitietoa voidaan hyödyntää opetuk-sen ja koulutuksen kehittämisessä. Luotettavan ja vertailukelpoisen kansallisen arviointi-tiedon saaminen edellyttää kuitenkin näyttötoiminnan laadunvarmennusta. Seuraavaksi arviointijärjestelmän kehittämistyössä ryhdytään kehittämään palaute- ja seurantajärjes-telmää, jonka tuottamaa tietoa on mahdollista hyödyntää koulutuksen ja opetuksen kehit-tämisessä niin paikallisella kuin kansallisellakin tasolla. Tämä raportti on yhteenveto kehit-tämishankkeessa tehdystä työstä ja sen keskeisistä tuloksista. Hanke päättyi keväällä 2008. Raportin tarkoitus on tukea kansallisen arvioinnin ja näyttöperusteisen opiskelijan arvi-oinnin kehittämistä. Raportissa esitellään tuloksia ja johtopäätöksiä arviointijärjestelmän toimivuudesta ja se on tarkoitettu kaikille hankkeeseen osallistuneille palautteeksi ja hyö-dynnettäväksi oman toiminnan kehittämisessä. Raportti soveltuu virikkeeksi myös yleensä arvioinnin kehittämisestä kiinnostuneille ja sen parissa työskenteleville. Kansallisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittämisestä sekä Koppi-hankkeen johtamisesta ja arviointikokeilun kokonaisuudesta on vastannut projek-tipäällikkö, opetusneuvos Mari Räkköläinen. Arviointikokeilujen tulosten analysoinnista ja raportoinnista sekä loppuraportin kokoamisesta on vastannut projektisuunnittelija Paula Kilpeläinen. Asiantuntijana ja vertaisarvioijana kehittämistyössä on toiminut tohtori Kathryn Ecclestone Oxford Brookersin yliopistosta Englannista. Hän on tuonut arvokas-ta ulkopuolista näkemystä ja arvioinnin asiantuntemusta jäsentäessämme arvioinnin teo-reettisia ja käytännöllisiä haasteita. Kehittämistyöhön on osallistunut suuri joukko opettajia, opiskelijoita, työpaikkaohjaajia sekä eri alojen asiantuntijoita tutkimuslaitoksista, työmarkkinajärjestöistä ja opetushallin-nosta. Kiitämme kaikkia osapuolia arviointijärjestelmän kehittämiseen liittyvästä arvok-kaasta panoksesta. Erityiset kiitokset saavat arviointijärjestelmän ja arviointikäytäntöjen kehittämishankkeiden projektipäälliköt, jotka ovat tukeneet asiantuntemuksellaan monin eri tavoin näyttöperusteisen arviointijärjestelmän ja laadunvarmennusjärjestelmän kehit-tämistä sekä koordinoineet arviointikokeilut yhteistyöoppilaitoksissaan. Arviointikokeilun aineiston metodisissa kysymyksissä ovat avustaneet erikoistutkija Jari Metsämuuronen, tutkimussihteeri Markus Mattsson ja projektisuunnittelijat Laura Jauhola ja Marika Kora-mo. Erityiskiitos sihteeri Ritva Sauriolle, joka on ollut korvaamaton apu monissa käytän-nön asioissa ja näin mahdollistanut projektin sujuvan etenemisen. Hän on myös taittanut useat Koppi-hankkeen julkaisut ja vastannut niiden ulkoasusta. Arviointi- ja seurantapal-velut -asiantuntijayksikön päällikkö Pentti Yrjölä on ohjauksellaan ja arvokkailla kommen-teillaan tukenut koko kehittämishankkeen etenemistä.

4

Raportin pohjalta kehitetään edelleen näyttöperusteista oppimistulosten arviointijärjes-telmää. Kesällä 2008 Mari Räkköläinen opetusneuvos Opetushallitus

5

SISÄLTÖ ALKUSANAT ..................................................................................................................... 3

JOHDANTO ...................................................................................................................... 7 1 LÄHTÖKOHDAT .................................................................................................. 9 Ammattiosaamisen näytöt ammatillisiin perustutkintoihin ................................................................. 9 2 KANSALLISEN NÄYTTÖPERUSTEISEEN OPPIMISTULOSTEN

ARVIOINTIMALLIN KEHITTÄMINEN ......................................................... 10 2.1 Kansallisen arvioinnin tavoitteet .............................................................................................. 10 2.2 Aikaisempien arviointien toteuttamistapa ............................................................................... 10 2.3 Kansallinen oppimistulosten arviointi osaksi näyttöjärjestelmää ........................................ 12 2.4 Kansallisen arvioinnin ja näyttöjen yhteensovittamisen haasteet ........................................ 13 2.5 Kehittämishanke KOPPI .......................................................................................................... 14 2.6 Kehittämistyön organisointi ...................................................................................................... 17 3 NÄYTTÖPERUSTEINEN OPPIMISTULOSTEN ARVIOINTIMALLI ........ 20 3.1 Arviointimallin periaatteet ......................................................................................................... 20 3.2 Arvioitava osaaminen näytössä ................................................................................................ 21 3.3 Laadunvarmennus ja laatuvaatimukset .................................................................................... 24 3.5 Arviointitiedon kokoaminen ja raportointi ............................................................................. 28 4 ARVIOINTIKOKEILUT KEHITTÄMISHANKKEESSA ................................. 30 4.1 Arviointikokeilujen tarkoitus ja keskeiset kysymykset .......................................................... 30 4.2 Arviointikokeilujen toteutus ..................................................................................................... 31 4.3 Laadunvarmennus arviointikokeiluissa ................................................................................... 32 4.4 Tuloksia arviointikokeiluista ..................................................................................................... 34 5 VERTAISARVIOINNIN KEHITTÄMINEN OSAKSI NÄYTTÖ-

PERUSTEISEN ARVOINNIN LAADUNVARMENNUSTA ........................... 40 5.1 Vertaisarvioinnin kehittäminen Koppi-hankkeessa ............................................................... 40 5.2 Vertaisarviointikokeilut Koppi-hankkeessa ............................................................................ 42 5.3 Vertaisarvioinnin kehittämistyön ja kokeilujen tuloksia ....................................................... 42 5.4 Suosituksia ja näkökulmia tulevaisuuteen ............................................................................... 46 6 KEHITTÄMISHANKKEEN TULOKSET ......................................................... 49 6.1 Ehdotus arviointijärjestelmäksi ................................................................................................ 49 6.2 Ehdotus laadunvarmennusjärjestelmäksi ................................................................................ 50 6.3 Ehdotus palaute- ja informaatiojärjestelmäksi ....................................................................... 52 6.4 Sähköisen ammattiosaamisen näyttöjen oppimistulostiedon raportointi-ja seuranta-

järjestelmän (AMOP) toteuttaminen ............................................................................................ 52 6.5 Oppimistulostiedon laadunvarmennuksen sähköinen palautejärjestelmä AMOS ja

sen toteuttaminen ....................................................................................................................... 52 6.6 Koppi-hankkeessa tuotetut materiaalit ja julkaisut ................................................................ 60

6

7 ARVIOINTIJÄRJESTELMÄN KEHITTÄMISHANKKEEN ULKOINEN

ARVIOINTI .......................................................................................................... 63 7.1 Arvioinnin tavoitteet ja toteuttaminen .................................................................................... 63 7.2 Tuloksia ulkoisesta arvioinnista ................................................................................................ 64 8 JOHTOPÄÄTÖKSET JA KEHITTÄMISEHDOTUKSET ................................ 69 9 LOPUKSI .............................................................................................................. 73 LIITTEET ....................................................................................................................... 75 LIITE 1 Arviointijärjestelmän kehittämishankkeet ja niiden tavoitteet ......................................... 77 LIITE 2 Arviointikäytäntöjen kehittämishankkeet ja niiden tavoitteet .......................................... 78 LIITE 3 Arviointijärjestelmän ja arviointikäytäntöjen kehittämisprojektit .................................... 81 LIITE 4 Kooste Koppi-hankkeen tapahtumista ja tilaisuuksista vuosina 2002–2008 ................. 83 LIITE 5 Koppi-hankkeen palautekysely ............................................................................................. 86 LIITE 6 Kansallisen arvioinnin ja näyttöjen yhteensovittamisen ”kriittiset pisteet”.................... 89 LIITE 7 Eri osapuolten taustakyselyt .................................................................................................. 92 LIITE 8 Esimerkki oppilaitoskohtaisesta palauteraportista ........................................................... 103 LIITE 9 Palaute arviointikokeilun ja palauteraporttien hyödyllisyydestä ..................................... 103 LIITE 10 Palautekysely ja yhteenveto kyselyn tuloksista................................................................. 120 LIITE 11 Arvioinnin kohteet ja kriteerit vertaisarviointikäynnillä ................................................. 131 LIITE 12 Näytön arvosanan dokumentointilomake ........................................................................ 138 LIITE 13 Palautelomake oppilaitoskohtaisesta pikapalauteraportista ........................................... 139 LIITE 14 Arviointijärjestelmän ja arviointikäytäntöjen kehittämishankkeiden tuotokset .......... 142 LIITE 15 KOPPI-hankkeen julkaisut ................................................................................................ 144 LÄHTEET ...................................................................................................................... 145

7

JOHDANTO

Ammattiosaamisen näyttöihin integroitua kansallista oppimistulosten arviointijärjestelmää kehitettiin Opetushallituksen koordinoimassa ESR-rahoitteisessa KOPPI-hankkeessa vuosina 2002–2008. Aikaisemmin toteutettu kansallisiin päättökokeisiin perustunut kan-sallinen arviointi joutui muutokseen, kun ammatillisen peruskoulutuksen opiskelijan arvi-ointia ryhdyttiin kehittämään näyttöperusteiseksi arvioinniksi 1990-luvun lopussa. Saman-aikaisesti ryhdyttiin selvittämään, voidaanko kansallinen arviointi liittää osaksi näyttöjär-jestelmää niin, että kansallinen arviointitieto saataisiin suoraan koulutuksen järjestäjän or-ganisoimista ammattiosaamisen näytöistä. Varsinainen arviointijärjestelmän kehittämistyö käynnistettiin Opetushallituksessa vuoden 2002 alusta. Kehittämishankkeen (KOPPI) ta-voitteeksi asetettiin näyttöperusteisen arviointijärjestelmän sekä kansallisen arvioinnin edellyttämän laadunvarmennusjärjestelmän kehittäminen, arviointijärjestelmän testaami-nen ja oppimistulosten arviointi valituissa perustutkinnossa. Näiden lisäksi tavoitteena oli laatia myös suunnitelma oppilaitosten itsearviointia ja kehittämistyötä tukevasta palaute- ja informaatiojärjestelmästä.

Arviointijärjestelmän kehittämishanke toteutettiin yhteistyössä arviointijärjestelmän ja ar-viointikäytäntöjen kehittämishankkeiden kanssa sekä näyttöjärjestelmän kehittäjien, am-matillisten oppilaitosten, työnantaja- ja työntekijäjärjestöjen, tutkimuslaitosten ja kansain-välisten yhteistyökumppanien kanssa. Hankkeessa toteutettiin kaksi laajaa arviointikokei-lua, joissa näyttöperusteista arviointijärjestelmää testattiin käytännössä. Kokeiluissa kerät-tiin usealla eri tavalla tietoa arviointitiedon luotettavuudesta ja testattavan mallin toimi-vuudesta käytännössä.

Tämä raportti on yhteenveto näyttöperusteisen arviointijärjestelmän kehittämistyöstä sekä kehittämistyön keskeisistä tuloksista. Raportissa kuvataan kehittämistyön eteneminen vai-he vaiheelta. Raportissa valotetaan arviointiuudistuksen lähtökohtia, tuodaan esiin kansal-lisen arvioinnin ja näyttöjen integrointiin liittyviä haasteita, aikaisempi arviointitapa sekä näyttöperusteisen arviointimallin periaatteet ja arviointikokeilujen keskeiset tulokset. Ra-portin loppuosassa on ehdotukset kansallisesta arviointi- ja laadunvarmennusjärjestelmäs-tä sekä suunnitelma kansallista arviointia ja koulutuksen järjestäjän itsearviointia tukevasta palautejärjestelmästä. Raportissa esitellään myös Koppi-hankkeen keskeiset tuotokset ja julkaisut. Viimeisenä raportissa esitellään johtopäätökset kansallisen näyttöperusteisen oppimistulosten arvioinnin kehittämiseksi. Raportissa arviointijärjestelmän kehittämishanke on kuvattu mahdollisimman kattavasti ja yksityiskohtaisesti, joten myös muilla kuin kehittämishankkeessa mukana olleilla on mah-dollisuus seurata kehittämistyön etenemistä. Raporttia voidaan hyödyntää ennen kaikkea näyttöperusteisen opiskelijan arvioinnin kehittämisessä mutta myös laajemmin ammatilli-sen koulutuksen kehittämisessä. Raportti monine liitteineen antaa myös mahdollisuuden saada eri tahoilta palautetta näyttöperusteisen arviointijärjestelmän jatkokehittämisen tu-eksi.

8

Kehittämishankkeen pohjalta käynnistettiin Opetushallituksessa vuoden 2007 alussa kan-sallinen oppimistulostiedon tuottaminen ja seuranta, jossa arviointitieto kootaan suoraan ammattiosaamisen näytöistä (opetusministeriön päätös (3/502/07). Oppimistulostiedot tuotetaan sosiaali- ja terveysalan, hotelli- ja ravintola-alan, kone- ja metallialan sekä logis-tiikan perustutkintojen kaikista opiskelijoiden suorittamista ammattiosaamisen näytöistä tutkintojen suorittamisen loppuun saakka. Ammattiosaamisen näyttöjen toteutumista ar-vioidaan kokonaisuudessaan vuonna 2009.

9

1 LÄHTÖKOHDAT Ammattiosaamisen näytöt ammatillisiin perustutkintoihin

Opetusministeriön päätöksellä (212/430/98) kaikkiin ammatillisiin perustutkintoihin tuli liittää näyttöön (myöhemmin ammattiosaamisen näyttö) perustuva osoitus ammatillisten tavoitteiden saavuttamisesta. Opetusministeriö asetti 18.9.1998 työryhmän selvittämään ammatilliseen peruskoulutukseen sisällytettävien ammattiosaamisen näyttöjen järjestämis-tä. Työryhmä luovutti muistionsa kesäkuussa 1999. Vuosien 1999–2004 kehittämissuun-nitelmassa oli tavoitteena kehittää suunnitelmakaudella nuorisoasteen ammatilliseen kou-lutukseen näytöt osaamisen laadunvarmistamiseksi. Kehittämissuunnitelma 2003–2008 (Opetusministeriö, 2004, 39) kirjaa nykyiset ammattiosaamisen näyttöjen periaatteet. Sen mukaan ammattiosaamisen näytöillä osoitetaan ammattitaidon saavuttaminen ja ne järjes-tetään yhteistyössä työelämän kanssa. Ammattiosaamisen näyttöjen käyttöönotolla paran-netaan ammatillisen koulutuksen laatua. Ne ovat osa opiskelijan arvioinnin, opetusjärjes-telyiden sekä ohjaus- ja tukitoiminnan kehittämistä. Ammattiosaamisen näyttöjen tarkoi-tuksena on yhdenmukaistaa ja monipuolistaa arviointia sekä tuoda työelämän näkemys osaksi osaamisen arviointia. Ammattiosaamisen näytöt ovat koulutuksen järjestäjän ja työelämän yhdessä suunnittele-ma, toteuttama ja arvioima työtilanne tai työprosessi. Ammattiosaamisen näytössä opiske-lija osoittaa osaamistaan ja työelämän edellyttämää ammattitaitoa tekemällä käytännön työtehtäviä työpaikalla tai oppilaitoksessa. Näytössä arvioidaan opetussuunnitelman pe-rusteiden tavoitteissa määritettyä ammatillista osaamista. Ammatilliseen perustutkintoon johtavassa koulutuksessa ammattiosaamisen näytöt ovat osa koulutusta ja sijoittuvat koko koulutuksen ajalle. Ammattiosaamisen näytöt annetaan kaikista ammatillisten opintojen opintokokonaisuuksista. (Ammattiosaamisen näytöt käyttöön 2005, 6.) Opetusministeriön asettama näyttötyöryhmä toi ammattiosaamisen näyttöjen kehittämis-periaatteissa esiin, että näyttöjen ja kansallisen tason oppimistulosten arvioinnin yhteys on selvitettävä näyttökokeilujen yhteydessä. Tavoitteena oli selvittää, voidaanko kansallinen oppimistulosten arviointiaineisto koota näyttöjärjestelmästä. Tämä mahdollistaisi työryh-män mukaan sen, ettei erillisiä kansallisia kokeita tarvita. (OPM:n työryhmien muistioita 14:1999.) Myös koulutuksen ja tutkimuksen kehittämissuunnitelmassa (KESU 2003–2008) asetettiin tavoitteeksi, että näyttöjärjestelmän vakiinnuttamisen yhteydessä kehite-tään näyttöperusteinen ammatillisen koulutuksen kansallinen oppimistulosten arviointi. Ammattiosaamisen näyttöihin integroitua kansallista oppimistulosten arviointijärjestelmää ryhdyttiin kehittämään vuonna 2002 käynnistyneessä ESR-rahoitteisessa kehittämishank-keessa. Kehittämishankkeen päätehtäviksi asetettiin oppimistulosten arviointijärjestelmän kehittäminen näyttöperusteiseen arviointiin siirryttäessä sekä arviointijärjestelmän testaa-minen ja oppimistulosten arviointi valituilla aloilla. Tavoitteena oli kehittää järjestelmä, joka liittyy kiinteästi oppilaitosten tavanomaiseen toimintaan, antaa säännöllistä palautetie-toa, tukee ja ohjaa itsearviointia ja kannustaa kehittämistyöhön.

10

2 KANSALLISEN NÄYTTÖPERUSTEISEEN OPPIMIS-TULOSTEN ARVIOINTIMALLIN KEHITTÄMINEN

2.1 Kansallisen arvioinnin tavoitteet

Kansallisen oppimistulosten arvioinnin tavoitteena on tuottaa valtakunnallista arviointitie-toa koulutuksen laadusta ja tuloksista. Oppimistulosten arviointijärjestelmän avulla tuote-taan tietoa erityisesti koulutuksen vaikuttavuudesta. Tällöin tuotetaan tietoa siitä, miten hyvin opetussuunnitelman perusteissa asetetut tavoitteet on saavutettu. Arviointitiedon tulee olla luotettavaa ja vertailukelpoista ja sen avulla pyritään lisäämään koulutuksen lä-pinäkyvyyttä. Oppimistulosten arviointi tuottaa suorituksen tai toiminnan laatua ja tasoa kuvaavaa tietoa. Arviointia tapahtuu sekä määrällisesti että laadullisesti. Eri tahoille tuote-taan informaatiota siitä, millaisia tuloksia saavutetaan; mitä osataan ja millaista osaamista koulutus tuottaa. (Räkköläinen 2005.) Arviointitiedon tulee olla käyttökelpoista ja hyödyllistä kaikille osapuolille. Tietoa tuote-taan koulutuksen järjestäjille itsearviointia varten, jotta ne voivat jatkuvasti kehittää toi-mintaansa oppimistulosten parantamiseksi. Arvioinnin avulla tuetaan oppilaitoksia ja opettajia opetuksen kehittämistyössä. Työelämä puolestaan tarvitsee tietoa siitä, millaista osaamista koulutus tuottaa ja mitä opiskelijat osaavat työelämään siirtyessään. Oppimistu-losten arviointitietoa käytetään koulutusta koskevassa ohjauksessa ja päätöksenteossa. Arvioinnin merkitys koulutuksen kehittämisen ja ohjauksen välineenä on entisestään li-sääntynyt, sillä koululakiuudistuksessa 1990-luvulla vähennettiin koulutuksen järjestämi-seen liittyvää valtakunnallista ohjausta ja lisättiin koulutuksen järjestäjien paikallista pää-tösvaltaa. Koulutuksen järjestäjän tulee itse arvioida antamaansa koulutusta ja sen vaikut-tavuutta sekä osallistua ulkopuoliseen toimintansa arviointiin. Oppimistulosten arvioinnin perimmäisenä tavoitteena voidaan sanoa olevan siis koulu-tuksen laadun parantaminen ja oppimistulosten jatkuva kehittäminen sekä koulutukselli-sen tasa-arvon varmistaminen. Tämä edellyttää, että arvioinnin avulla tuetaan kehittämis-työtä tuottamalla oppimistuloksista luotettavaa, vertailukelpoista ja riittävän monipuolista tietoa, joka perustuu systemaattiseen ja analyyttiseen arviointijärjestelmään ja jota hyö-dynnetään myös oppilaitosten itsearvioinnissa. (Räkköläinen 2005.)

2.2 Aikaisempien arviointien toteuttamistapa

Suomessa Opetushallitus on ollut keskeinen ammatillista peruskoulutusta koskevan arvi-ointitiedon tuottaja. Vuonna 1995 luonnosteltiin kansallista arviointia varten koulutuksen tuloksellisuuden arviointimalli, jota myöhemmin tarkennettiin (Opetushallitus 9/1995 ja 7/1998). Opetusministeriö julkaisi oman arviointistrategiansa 1997 (Opetusministeriö 1997). Kansallista oppimistulosten arviointia varten kehitettiin arviointistrategia, jota kos-kevat ohjeet julkaistiin vuonna 1998 (Opetushallitus 4/1998). Näissä asiakirjoissa on esi-tetty tähänastisen kansallisen arvioinnin kokonaissuunnitelma, arvioinnin kohde, tiedon-hankintamenetelmät ja tulosten raportointitapa. Opetusministeriön julkaisema koulutuk-sen ja tutkimuksen kehittämissuunnitelma sekä opetusministeriön ja Opetushallituksen välinen vuosittainen tulossopimus ovat linjanneet myös arviointeja. Opetushallitus on

11

tehnyt useita ammatillisen koulutuksen arviointeja vuosina 1995–2002. Tarkastelu on ta-pahtunut ajankohtaisten teemojen ja ennalta sovittujen kriteerien perusteella. Suurin osa näistä arvioinneista on ollut eri alojen kokonaisarviointeja ja niihin integroituneita oppi-mistulosten arviointeja. Keskeiset valtakunnalliset tulokset on julkaistu raportteina, joissa tarkastellaan oppimistuloksia, koulutusjärjestelmää, oppilaitosten toimintakulttuuria, ope-tuksen laatua ja resursseja. Oppimistuloksia on mitattu kansallisilla kokeilla. Oppimistulos-ten arviointi on järjestetty opintojen päättövaiheessa. Arviointi on tällöin ollut summatii-vista, kokoavaa opitun arviointia, joka osoittaa, mitä koulutuksessa on opittu jonkin pi-demmän aikajakson kuluessa. (Räkköläinen 2005.) Valtakunnallisen arviointitiedon tuottamiseksi on käytetty tehtäväsarjoja, kokeita, mittarei-ta ja testejä, jotka on toteutettu ns. kansallisina päättökokeina. Tehtävien laatimista varten on perustettu alakohtaiset asiantuntijaryhmät. Tehtävät on laadittu opetussuunnitelman perusteissa asetettujen tavoitteiden pohjalta ja tehtävät on esitestattu ennen varsinaista ar-viointia. Oppimistulosten arviointi on ollut kriteeriperusteista, jolloin arviointi perustuu tavoitteista johdettuihin ammatillisen osaamisen kuvauksiin. Tehtävien ja kokeiden avulla on arvioitu kunkin alan keskeisiä osaamisalueita, jotka kattavat valtakunnallisissa opetus-suunnitelman perusteissa määritellyt tavoitteet. Ammatillisen peruskoulutuksen päättöko-keissa on mitattu ammatillista osaamista, kaikille yhteisten opintojen osaamista ja yleiskva-lifikaatioiden hallintaa. (Räkköläinen 2005.) Ammatillisen osaamisen arviointi on perustunut opetussuunnitelmien ja tutkinnon perus-teissa määriteltyihin ydintavoitteisiin ja arvioinnissa on painotettu erityisesti työelämässä tarvittavaa osaamista. Kaikille yhteisten opintojen arviointi on kohdistunut laajaan ammat-tisivistykseen. Yleiskvalifikaatioiden hallinnan keskeisiä arvioinnin kohteita ovat olleet muun muassa oppimaan oppimisen valmiudet sekä ongelmanratkaisu- ja vuorovaikutus-taidot. Pääperiaatteena on ollut, ettei kansallinen arviointi vaikuta opiskelijoiden arvosa-noihin, mutta oppilaitokset ovat voineet itse päättää tämän asian. (Opetushallitus 4/1998.) Kansalliseen arviointiin liittyviä päättökokeita on järjestetty vuosittain yhdellä alalla. Ta-voitteena on ollut, että oppimistuloksia arvioitaisiin kullakin alalla kerran viidessä vuodes-sa. Kokeet on järjestetty tietyllä alalla joko koko perusjoukolle tai otantaperustaisesti otan-taan valituille oppilaitoksille. Oppilaitokset ovat lähettäneet aineistot Opetushallitukseen analysoitaviksi. Oppilaitoksille on toimitettu välittömästi kunkin omat ”pikapalautteet” sekä kansalliset vertailutulokset. Oppilaitoskohtaiset tulokset eivät ole olleet julkisia. Kan-sallinen arviointiraportti on valmistunut noin vuoden kuluttua kokeiden pitämisestä. Kan-sallisissa arviointiraporteissa ei ole julkistettu oppilaitoskohtaisia tuloksia. (Opetushallitus 4/1998.) Vuosina 1995–2001 oppimistulokset on arvioitu metsätalousalalla, kone-, metal-li- ja sähköalalla, käsi- ja taideteollisuusalalla, matkailu-, ravitsemis- ja talousalalla sekä kaupan ja hallinnon alalla. Keskeisemmäksi ongelmaksi aikaisemmassa järjestelmässä on koettu, että se on melko raskas ja hidas. Päättökokeisiin perustunut arviointimalli koettiin osittain erilliseksi järjes-telmäksi, jota ei hyödynnetty osana oppilaitosten tavanomaista toimintaa, eikä se näin tu-kenut paikallisen tason arviointia. Arviointi koettiin irralliseksi muusta oppilaitoksen arvi-ointitoiminnasta. Kukin ala tuli arvioinnin kohteeksi harvoin, jolloin koulutuksen järjestäjä ei saanut riittävän usein vertailutietoa toimintansa kehittämisen tueksi. Arviointeihin ei liit-tynyt kiinteää palautejärjestelmää. Kertaluonteiset – vaikkakin hyvin kattavat ja syvälle alaan porautuvat – kansalliset arvioinnit eivät näin tuottaneet systemaattista seurantatietoa kehittämistyön tueksi. (Räkköläinen 2005.)

12

2.3 Kansallinen oppimistulosten arviointi osaksi näyttöjärjestelmää Edellä kuvattu yhtenäisiin päättökokeisiin perustunut kansallinen oppimistulosten arvioin-ti joutui muutokseen, koska ammatillisten perustutkintojen opiskelijan arviointia ryhdyt-tiin kehittämään näyttöperusteiseksi arvioinniksi ja kansallisen arvioinnin liittämistä näyt-töjärjestelmään ryhdyttiin selvittämään. Opetusministeriön päätöksellä (212/430/98) vuo-sina 1999–2001 uudistettaviin perustutkintoihin päätettiin liittää näyttöön perustuva osoi-tus ammatillisten opintojen tavoitteiden saavuttamisesta. Opetusministeriö asetti näyttö-työryhmän (18.9.1998), joka tarkasteli yhteistyössä työmarkkinaosapuolten kanssa ammat-tiosaamisen näyttöjen järjestämiseen liittyviä kysymyksiä ja esitti muistiossaan ammat-tiosaamisen näyttöjen kehittämisperiaatteet. Näyttöryhmän muistiossa todettiin myös, että ammattiosaamisen näyttöjen ja kansallisen tason arvioinnin yhteys on selvitettävä näyttökokeilujen yhteydessä. Tavoitteena oli selvit-tää, voidaanko kansallisten oppimistulosten arviointiaineisto koota näyttöjärjestelmästä. Tämä mahdollistaisi työryhmän mukaan sen, ettei erillisiä kansallisia kokeita tarvita. (OPM:n työryhmien muistioita 14:1999.) Myös koulutuksen ja tutkimuksen kehittämis-suunnitelmassa (KESU 2003–2008) asetettiin tavoitteeksi, että näyttöjärjestelmän vakiin-nuttamisen yhteydessä kehitetään näyttöperusteinen ammatillisen koulutuksen kansallinen oppimistulosten arviointi. Näyttötyöryhmä määritteli tuolloin näytöt ”koulutuksen aikana työelämän kanssa yhteis-työssä järjestettäviksi opinnäytteiksi, joissa opiskelija osoittaa, miten hyvin hän on saavut-tanut ammatillisten opintojen tavoitteet ja työelämän edellyttämän ammattitaidon”. Työ-ryhmän muistiossa todetaan myös, että ammattiosaamisen näyttöjä kehitetään ammatilli-sen koulutuksen laadun varmistamiseksi ja työelämäyhteyksien kehittämiseksi. Näytöt ovat osa opiskelijan arvioinnin, opetusjärjestelyjen sekä ohjaus- ja tukitoiminnan kehittämistä. Ammattiosaamisen näyttöjen tarkoituksena on yhdenmukaistaa ja monipuolista arviointia sekä tuoda työelämän näkemys osaksi osaamisen arviointia. Tavoitteena on myös kehittää opetussuunnitelman perusteita ja koulutuksen järjestäjän opetussuunnitelmia siten, että niissä määritellään ammatilliset tavoitteet ja arviointikriteerit nykyistä täsmällisemmin työ-elämän edellyttämänä osaamisena. (OPM:n työryhmien muistioita 14:1999.) Näyttökokeilut aloitettiin Opetushallituksen koordinoimana vuonna 1999 muutamalla pi-lottiprojektilla, jotka laajenivat valtakunnalliseksi kehittämishankkeeksi. Kehittämistyötä tehtiin valtakunnallisissa näyttöaineisto- ja näyttöpilottiprojekteissa, jotka kattoivat lähes kaikki ammatilliset perustutkinnot. Kansallisen oppimistulosten arviointijärjestelmän ke-hittäminen aloitettiin 2002 vuoden alusta ja se oli osa ammattiosaamisen näyttöjen kehit-tämistyötä. Kehittämistyö rahoitettiin Euroopan sosiaalirahaston tuella. Kansallisen oppimistulosten arvioinnin ja näyttöperusteisen arvioinnin yhteensovittamisen tavoitteena on ollut, että kansallinen arviointi tukisi koulutuksen järjestäjiä ja oppilaitoksia tulevaisuudessa entistä paremmin oppimisen edellytysten parantamisessa tuottamalla pa-lautetietoa säännöllisesti ja riittävän usein. Tavoitteeksi asetettiin myös, että arviointi tulee liittää osaksi oppilaitosten tavanomaista toimintaa, jolloin arviointitieto tuotetaan ja hyö-dynnetään siellä, missä se syntyykin. Tällöin kansallista arviointia varten ei luoda erillistä järjestelmää eikä arviointi pohjaudu ensisijaisesti ulkopuoliseen kontrolliin. (Räkköläinen 2005.) Kehittämisen periaatteena on ollut, että kansallisella arvioinnilla tuetaan oppilaitosten it-searviointia, jolloin sekä itsetuotetun arviointitiedon että ulkopuolisen palautteen merkitys korostuu. Näin ollen kansalliseen arviointiin tulee sisältyä palautejärjestelmä, joka tukee

13

oppilaitoksen kehittämistyötä. Lisäksi arvioinnin tulee motivoida eri osapuolia ja edistää ammattiin oppimista. Kansallisen arvioinnin pitää tukea näyttöperusteisen opiskelija-arvioinnin tavoitteita ja olla osa koulutuksen laadunvarmennusta. Tavoitteeksi asetettiin, että oppimistulosten arviointi käynnistyisi samanaikaisesti ammattiosaamisen näyttöjen käyttöönoton kanssa 1.8.2006 alkaen. (Räkköläinen 2005.)

2.4 Kansallisen arvioinnin ja näyttöjen yhteensovittamisen haasteet Kehittämishankkeessa on selvitetty kansallisen arvioinnin ja ammattiosaamisen näyttöjen yhdistämismahdollisuuksia, tehty vertailuja kansainvälisiin järjestelmiin sekä luotu malleja vaihtoehtoisista yhdistämismahdollisuuksista ja kehitetty laatuvaatimuksia arvioinnin luo-tettavuuden varmistamiseksi. Integrointitavoite on asettanut vaatimuksia sekä kansalliselle oppimistulosten arvioinnille että näyttöperusteisen arvioinnin kehittämiselle. Kansallisen arvioinnin ja näyttöperusteisen opiskelijan arvioinnin yhteensovittamisen haasteena on ollut, miten samaa arvioinnin välinettä eli näyttöä on mahdollista käyttää eri tarkoituksessa eli tuotetaan luonteeltaan erilaista arviointitietoa. Opiskelija-arvioinnin osana näytöt ovat ohjaavaa, formatiivista arviointia, joka auttaa seuraamaan opiskelijan oppimisprosessia ja toisaalta opettajaa kehittämään opetustaan. Arviointi liittyy tällöin oppimisen ja opetuksen sisäisiin prosesseihin, eikä sitä ole tarkoitettu julkisesti tarkastel-tavaksi. Osana kansallista arviointia ammattiosaamisen näyttöjen tulee tuottaa kokoavaa opitun arviointitietoa, joka on luonteeltaan yleistettävää ja julkista. Samoin silloin, kun näytöistä annetaan arvosana ja todistus, on kysymys summatiivisesta arvioinnista. Tämä perusjännite on vaikuttanut muun muassa kehitettäessä integroidun arviointijärjestelmän standardeja ja laatuvaatimuksia. (Räkköläinen & Ecclestone 2005.) Ammattiosaamisen näyttöjen kehittämisperiaatteet (esimerkiksi jokaisen opintokokonai-suuden keskeinen osaaminen on näytettävä ja opiskelija näyttää osaamistaan koko opiske-lun ajan) ovat vaikuttaneet näyttöjen ja kansallisen arvioinnin yhteensovittamiseen. Sa-manaikaisesti näyttöjen suunnittelun, toteuttamisen ja arvioinnin periaatteiden kanssa on täytynyt huomioida kansallisen arvioinnin luotettavuudelle ja vertailukelpoisuudelle asetet-tavat vaatimukset. Näihin ovat liittyneet läheisesti arvioinnin läpinäkyvyyden ja oikeu-denmukaisuuden vaatimukset. Myös arvioinnin käyttökelpoisuuteen on täytynyt kiinnittää huomiota, sillä arviointitiedon tulee olla myös hyödyllistä ja tarkoituksenmukaista. (Räk-köläinen & Ecclestone 2005.) Kansallisen arvioinnin kannalta keskeiset ratkaistavat yhteensovittamisen ongelmakohdat nimettiin kehittämisvaiheessa vertailtavuusongelmaksi, ajoitusongelmaksi ja päällekkäi-syysongelmaksi. Nämä kehittämisen ongelmakohdat liittyvät arviointitiedon luotettavuu-teen, ammattiosaamisen näyttöjen organisoinnin ja arviointitiedon kokoamisen ajoituk-seen sekä kahden kehitteillä olevan järjestelmän yhteensovittamisesta johtuviin päällekkäi-syyksiin ja arvioinnin eri funktioihin. (Lisätietoa kansallisen arvioinnin ja ammattiosaami-sen näyttöjen yhteensovittamisen haasteista ja eduista julkaisussa: Räkköläinen, M. Kansalli-sen ammattiosaamisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittäminen ammatillisiin perustutkintoihin. Arviointikokeilusta kohti käytäntöä. Arviointi 3/2005.)

14

2.5 Kehittämishanke KOPPI Kansallinen näyttöperusteinen oppimistulosten arviointijärjestelmän kehittämishanke käynnistyi vuonna 2002. Kehittämishankkeen päätehtäviksi asetettiin oppimistulosten ar-viointijärjestelmän kehittäminen näyttöperusteiseen arviointiin siirryttäessä sekä arviointi-järjestelmän testaaminen ja oppimistulosten arviointi valituilla aloilla. Arviointijärjestelmän kehittämistyö jakaantui kolmeen päävaiheeseen, jotka olivat I) oppimistulosten arviointi-strategian ja mallien sekä laadunvarmennuksen kehittäminen, II) arviointikokeilun suun-nittelu ja toteuttaminen, oppimistulosten alakohtainen arviointi ja tulosten raportointi sekä III) valtakunnallisen arviointitiedonkeruun mallin suunnitteleminen ja palaute- ja infor-maatiojärjestelmän kehittäminen. Koko hanke ajoittui vuosille 2002–2008 ja se rahoitettiin Euroopan sosiaalirahaston tuella. I) Oppimistulosten arviointistrategian ja mallien sekä laadunvarmennuksen

kehittäminen (2002–2008)

Hankkeen ensimmäisessä vaiheessa luotiin teoreettiset mallit vaihtoehtoisista arvi-ointijärjestelmistä sekä mallien käytännön sovellutukset näyttöperusteiseen arvioin-tiin integroimiseksi. Koko ajan arvioitiin mallien soveltuvuutta suomalaiseen koulu-tusjärjestelmään ja tehtiin vertailuja kansainvälisiin järjestelmiin sekä nimettiin kes-keiset kehittämiskohteet ja kriittiset pisteet kansallisen arvioinnin ja ammattiosaami-sen näyttöjärjestelmän kannalta. Kehittämistyön tueksi perustettiin ns. integraatio-työryhmä, jossa jäseninä olivat näyttöjärjestelmän kehittämistyössä mukana olleet projektipäälliköt ja keskeiset vastuuhenkilöt sekä oppilaitoksista että Opetushallituk-sesta ja arvioitavien alojen työelämän edustajia. Kansallisen arvioinnin edellyttämää laadunvarmennusjärjestelmää ryhdyttiin kehit-tämään heti kehittämishankkeen käynnistyttyä. Tämä tarkoitti standardien ja kritee-rien luomista koko prosessiin (opetussuunnitelman perusteista ammattiosaamisen näyttöaineistoihin, koulutuksen järjestäjän opetussuunnitelmiin ja paikallisesti toteu-tettuihin ammattiosaamisen näyttöihin). Laadunvarmennusjärjestelmää kehitettiin yhteistyössä oppilaitosten ja työelämän edustajien kanssa. Tätä tehtävää varten pe-rustettiin laadunvarmennusjärjestelmän valmisteluryhmä. Tässä vaiheessa aloitettiin myös kansainvälinen asiantuntijayhteistyö englantilaisen arvioinnin asiantuntijan, professori Kathryn Ecclestonin kanssa.

II) Arviointikokeilun suunnittelu ja toteuttaminen, oppimistulosten alakohtai-

nen arviointi ja tulosten raportointi (Ensimmäinen arviointikokeilu, pilotti I, 2002–2003, toinen arviointikokeilu, pilotti II, 2004–2007)

Kehittämistyön yhteydessä toteutettiin kaksi arviointikokeilua, joissa näyttöperus-teista oppimistulosten arviointijärjestelmää testattiin käytännössä. Ensimmäinen ar-viointikokeilu (pilotti I) toteutettiin vuosina 2002–2003 ja toinen (pilotti II) 2004–2007. Syksyllä 2002 laadittiin suunnitelma arviointikokeiluksi valitun mallin testaa-miseksi arvioitavilla koulutusaloilla. Arviointikokeilun arviointiasetelma suunniteltiin yhteistyössä oppilaitosten, työelämän edustajien ja muiden asiantuntijoiden kanssa (kansainvälisen asiantuntijan ja Opetushallituksen asiantuntijoiden kanssa). Pilotti I toteutettiin yhteistyössä näyttöaineisto- ja näyttöpilottiprojektissa mukana olevien oppilaitosten kanssa.

15

Ensimmäisessä arviointikokeilussa näyttöperusteista arviointimallia testattiin sosiaa-li- ja terveysalan, talotekniikan ja rakennusalan perustutkinnoissa. Ennen kokeilun käynnistymistä näiden alojen kokonaistilanteesta tehtiin kooste, perehdyttiin alojen opetussuunnitelmiin ja näyttöaineistojen kehittämistyöhön ja tehtiin oppilaitoskäyn-tejä. Myös ulkoiset arvioijat valittiin ja perehdytettiin tehtäväänsä ja toteutettiin ul-koinen laadunvarmennus. Tässä vaiheessa laadittiin myös osana laadunvarmennusta eri osapuolten, opettajien, opiskelijoiden ja työelämän edustajien taustakyselyt, joi-den tarkoituksena oli tuottaa tietoa näyttöjen toteuttamisesta, arvioinnista ja vaikut-tavuudesta. Pilotti I toteutettiin syksyn 2002 ja kevään 2003 aikana. Arviointikokei-lussa mukana olleet oppilaitokset saivat palautteet omista tuloksista (ns. pikapalaute) ja koko kokeilun tulokset raportoitiin keväällä 2004. Ensimmäisen arviointikokeilun tulosten pohjalta käynnistettiin toinen arviointiko-keilu, joka toteutettiin vuosina 2004–2007 yhteistyössä neljän valtakunnallista arvi-ointijärjestelmää kehittävän (Sote Järkevä-, Konsensus-, Arvo- ja Arvi-projektit) projektin kanssa. Näyttöperusteista arviointimallia testattiin niissä 14 perustutkin-nossa, joiden kansalliset ammattiosaamisen näyttöaineistot olivat valmiit ja laadun-varmennetut arviointikokeilun käynnistyttyä syksyllä 2004. Arviointikokeilun yhtey-dessä ryhdyttiin kehittämään ja testaamaan myös vertaisarviointia osana näyttöpe-rusteisen arvioinnin laadunvarmennusta. Kokeilun aikana perehdyttiin vertaisarvi-oinnin periaatteisiin, kehitettiin vertaisarvioinnin valmennusohjelma, koulutettiin vertaisarvioijia ja tuotettu tukimateriaalia vertaisarvioinnin toteuttamiseen. Ensim-mäiset vertaisarviointikokeilut toteutettiin 2005. Arviointikokeilun oppimistuloksista ja kyselyn tuloksista laadittiin välitulosraportti keväällä 2006. (Oppimistulosten arviointijärjestelmän kehittäminen. Arviointikokei-lu II 2004–2007. Välitulosraportti oppimistuloksista ja kyselyn tuloksista 11.9.2006. Opetushallitus.) Arviointikokeilussa mukana olleet oppilaitokset saivat palautteet omista tuloksista syksyllä 2006 ja 2007 ja koko kokeilun tulokset raportoitiin kevääl-lä 2008. (Oppimistulosten arviointijärjestelmän kehittäminen. Arviointikokeilu II. Raportti oppimistuloksista ja kyselyn tuloksista. 2004–2007. Moniste 4/2008. Ope-tushallitus.) Vuonna 2005 kehittämishanke laajeni kuudella näyttöperusteista arviointia kehittä-villä projekteilla ja koko arviointijärjestelmän kehittämishanke sai nimekseen Koppi.

III) Valtakunnallisen arviointitiedonkeruun mallin suunnitteleminen ja palaute-

ja informaatiojärjestelmän kehittäminen (2004–2007)

Vuosina 2004–2008 arviointijärjestelmän kehittämishankkeen painopisteenä oli ar-viointitiedon vaihtoehtoisten keruumallien suunnittelu sekä koulutuksen järjestäjiä ja oppilaitoksia ja kansallista arviointia tukevan palaute- ja informaatiojärjestelmän kehittäminen. Molemmat arviointikokeilut (pilotti I ja pilotti II) suunniteltiin siten, että sen pohjalta oli mahdollista jatkaa suoraan varsinaista oppimistulosten arvioin-tia ja ottaa kansallinen oppimistulosten arviointi käyttöön samanaikaisesti ammat-tiosaamisen näyttöjen kanssa (1.8.2006). Tässä vaiheessa suunniteltiin erilaisia vaih-toehtoja kansallisen arviointitiedon kokoamiseksi näytöistä. Toisessa arviointikokei-lussa testattiin kahta arviointitiedon keruumallia, niin sanottua seuranta- ja poikki-leikkausmallia.

16

Tässä vaiheessa laadittiin myös ehdotus kansallisen arvioinnin palaute- ja informaatiojärjes-telmästä. Tavoitteena oli kehittää järjestelmä, joka tukee koulutuksen järjestäjien ja oppilai-tosten itsearviointia niin, että ne saisivat mahdollisimman nopeasti käyttöönsä kansallista vertailutietoa ja omat tuloksensa voidakseen näin tunnistaa kehittämiskohteitaan. Samalla palautetietoa tulisi voida käyttää myös kansallisella tasolla koulutuksen ohjauksessa ja kehit-tämisessä. Arviointikokeiluihin osallistuneiden oppilaitosten johdolle suunnattiin kysely, jol-la kartoitettiin heidän näkemyksiään siitä, millaisen oppilaitoksen kehittämistyötä tukevan palautejärjestelmän tulisi olla. Arviointijärjestelmän ja palaute- ja informaatiojärjestelmän kehittämisessä hyödynnettiin myös Koppi-hankkeen ulkoisia arviointeja, joita toteutettiin yhteensä kolme. Ensimmäinen palaute saatiin vuonna 2005 kansainväliseltä asiantuntijaryhmältä Lontoon yliopistosta, toi-nen ulkoinen arviointi toteutettiin vuonna 2007 fokusryhmäkeskusteluina (Spangar 2008) ja kolmas ulkoinen arviointi saatiin jälleen Lontoon yliopiston asiantuntijoilta keväällä 2008. Tässä yhteydessä ryhdyttiin Koppi-hankkeessa kehittämään vertaisarviointia yhä systemaat-tisemmin osana näyttötoiminnan laadunvarmennusta. Koppi-hanke sai lisärahoituksen ver-taisarviointikokeiluja varten 2007–2008. Vertaisarvioinnin kehittäminen ja siihen liittyneet kokeilut on kuvattu kokonaisuudessaan luvussa 5. Kansallisen arvioinnin kehittämishankkeen päävaiheet ja aikataulu on kuvattu alla olevassa kuviossa 1.

Kuvio 1 Kehittämishankkeen vaiheet ja aikataulu

KANSALLISEN NÄYTTÖPERUSTEISEN OPPIMISTULOSTEN

ARVIOINTIJÄRJESTELMÄN KEHITTÄMINEN

PROJEKTIN TOTEUTTAMINEN JA AIKATAULU

Arviointistrategian ja mallien kehittäminen, laadunvarmennusjärjestelmän kehittäminen

I Arviointikokeilu (Pilotti I)

II Arviointikokeilu (Pilotti II) ja oppimistulosten alakohtainen arviointi, ”KOPPI”-hanke

Palaute- ja informaatiojärjestelmän kehittäminen

Arviointikokeilun ja oppimistulosten raportointi, hankkeen ulkoinen arviointi

Kehittämistyön ulkoinen arviointi ja raportointi

Ehdotus arviointijärjestelmäksi

2002–2007

2002–2003

2004–2007

2004–2007

2007

2008

Kokeilun raportointi 2004

Raportti 2005

Vertaisarviointikokeilut 2005–2007

Välitulokset II kokeilusta 2006

Pikapalautteet oppi-laitokselle 2006

Pikapalautteet oppi-

laitokselle 2008

17

Koppi–hankkeen kehittämisprojektit

Arviointijärjestelmän kehittämishankkeen (KOPPI) yleisenä tavoitteena oli näyttöperus-teisen arviointijärjestelmän sekä kansallisen arvioinnin edellyttämän laadunvarmennusjär-jestelmän kehittäminen, arviointijärjestelmän testaaminen ja oppimistulosten arviointi 14 perustutkinnossa. Näiden lisäksi tavoitteena oli laatia myös suunnitelma oppilaitosten it-searviointia ja kehittämistyötä tukevasta palaute- ja informaatiojärjestelmästä. Liitteessä 3 on kuvattu arviointijärjestelmän ja arviointikäytäntöjen kehittämisprojektit sekä projektien yleiset tavoitteet. Koppi–hankkeeseen on kuulunut 10 valtakunnallista projektia, joista neljässä kehitettiin näyttöperusteista oppimistulosten arviointijärjestelmää ja kuudessa arviointikäytäntöjä ammattiosaamisen näytöissä. Kullakin 10 projektilla oli oma projektipäällikkö, projektior-ganisaatio ja yhteistyöoppilaitokset. Koko KOPPI-hankkeen koordinoinnista vastasi Opetushallitus yhteistyössä hankkeiden projektipäälliköiden ja heidän yhteistyöoppilaitos-ten kanssa. Hankkeessa oli mukana noin 50 ammatillisen koulutuksen järjestäjää ja noin 60 ammatillista oppilaitosta. Arviointijärjestelmää ja arviointikäytäntöjä kehitettiin ja tes-tattiin yhteensä 36 ammatillisessa perustutkinnossa. Arviointijärjestelmän kehittämisprojekteissa, Sote Järkevä-, Konsensus-, Arvo- ja Ar-vi-projekteissa kokeiltiin järjestelmää, jossa kansalliseen oppimistulosten arviointiin tarvit-tava tieto kerättiin ammattiosaamisen näytöistä. Projekteissa testattiin arviointimallin toi-mivuutta ja tuotettiin tietoa oppimistuloksista. Tavoitteena oli luoda laadunvarmennusjär-jestelmä luotettavan arviointitiedon saamiseksi sekä palaute- ja informaatiojärjestelmä ar-viointitiedon kokoamiseksi.

Koulutuksen järjestäjän arviointikäytäntöjen kehittämisprojekteissa, Blanco 1-2-3-, Amy-, Näkes-, Valmis näyttöön!-, Riihy- ja Näyttöportaali -projekteissa ammattiosaami-sen näytöt liitettiin osaksi opetussuunnitelmaa yhteistyössä työelämän ja muiden koulu-tuksen järjestäjien kanssa. Paikallisella tasolla projektit hyödynsivät toiminnassaan kansal-lisia näyttöaineistoja, kehittivät opiskelijan arviointia ja arvioinnin dokumentointia ja tes-tasivat näyttöperusteista kansallista oppimistulosten arviointimallia. Ne myös tuottivat tie-toa oppimistuloksista ja hyödynsivät ammattiosaamisen näytöistä saatua palautetta itsear-vioinnissa ja toimialan kehittämisessä. Arviointijärjestelmän ja arviointikäytäntöjen projektikohtaiset kuvaukset ja tavoitteet ovat liitteissä 1 ja 2.

2.6 Kehittämistyön organisointi

Näyttöperusteisen arviointijärjestelmän kehittämistyössä sovellettiin prosessikeskeistä ke-hittämisstrategiaa, jolloin kehittämistilanne pyrittiin pitämään avoimena ja tavoitteita ja strategiaa muokattiin prosessin edetessä. Prosessikeskeiseen kehittämiseen liittyi toiminta-tutkimuksen kaltainen lähestymistapa, jossa kehittämistoiminnasta nousevia kysymyksiä ja ongelmakohtia tarkasteltiin, tutkittiin ja ratkaistiin yhdessä eri osapuolten kanssa. Kehittä-jinä olivat kaikki, joihin toiminta kohdistui. Kehittäminen pohjautui käytännön toimintaan ja eteni kokonaisvaltaisesti koskettaen monia osapuolia. Hanke toteutettiin yhteistyössä näyttöjärjestelmän kehittäjien, ammatillisten oppilaitosten, työmarkkinajärjestöjen sekä tutkimuslaitosten ja kansainvälisten yhteistyökumppanien kanssa. (Räkköläinen 2005; Koppi-hankkeen projektisuunnitelma 2002.)

Prosessinohjausta varten kehittämishankkeen aikana järjestettiin säännöllisiä, organisoituja ja yhdessä sovittuja ja nimettyjä foorumeja (mm. palavereita, kokouksia, työryhmiä, asian-

18

tuntijatiimejä, vertaisryhmiä ja seminaareja), joissa oli mahdollista ohjatusti ja tavoitteelli-sesti pysähtyä yhdessä tutkimaan elettyä ja tehtyä sekä jakamaan kokemuksia ja oppimaan toinen toisilta. Lisäksi yhteistyökumppaneilta pyydettiin säännöllisin väliajoin kirjallista pa-lautetta Koppi-hankkeen tarjoamasta ohjauksesta ja koulutuksesta, projektin johtamisesta, tiedottamisesta ja yhteistyöstä (ks. liite 4. Koppi-hankkeen palautekysely). Toinen keskeinen kehittämisperiaate kehittämistyössä oli vertaisarvioinnin ja -palautteen hyödyntäminen koko kehittämisprosessin ajan. Yhteiset foorumit mahdollistivat toinen toisilta oppimisen, samoin kirjalliset palautteet. Monia kehittämishankkeen keskeisiä vai-heita kehitettiin oppilaitosten, työelämän edustajien ja asiantuntijoiden vertaisryhmissä, jolloin vertaiskumppaneista muodostunut ryhmä arvioi toistensa ehdotuksia ja teki suosi-tuksia kehittämistyötä varten. Arviointijärjestelmän ja arviointikäytäntöjen kehittämis-hankkeiden projektipäälliköt tapasivat toisiaan säännöllisesti esitellen hankkeensa etene-mistä ja tuoden ajankohtaisia ongelmia yhdessä ratkaistavaksi. Opetushallituksen asiantun-tijoiden vertaiskumppanina oli koko hankkeen ajan arvioinnin asiantuntija, professori Kathryn Ecclestone Englannista. (Räkköläinen 2005.) Arviointijärjestelmän kehittämisprojektien projektipäälliköiden työtä tuettiin myös vuoden kestävällä koulutus- ja konsultaatio-ohjelmalla. Tämän ns. Profour-koulutuksen tavoittee-na oli tukea projektipäälliköiden työskentelyä ja kehittää projektiryhmien toimintaa heidän omissa paikallistason kehittämisprojekteissaan. Koulutuksen ja konsultaation avulla kehi-tettiin projektien johtamista, ohjaamista sekä projektiorganisaation ja tiimityön rakenta-mista. Koulutus toteutettiin toiminnallisin menetelmin ja vuorovaikutteisesti osallistujien tarpeista lähtien ja siihen sisältyi noin 10 kokoontumista. (Räkköläinen 2005.) Kansallisella tasolla näyttöjärjestelmän kehittämistyötä johti opetusministeriö ja Opetus-hallitus koordinoi käytännön kehittämistyön. Opetushallituksessa vastuu jaettiin siten, että Opetushallituksen ammatillisen koulutuksen linja (myöhemmin Ammatillisen koulutuksen kehittäminen -toimintayksikkö) vastasi ammattiosaamisen näyttöjen ja kansallisten näyttö-aineistojen kehittämisestä ja arviointiryhmä (myöhemmin Arviointi- ja seurantapalvelut -asiantuntijayksikkö) kansallisen arviointijärjestelmän kehittämisestä. Varsinainen näyttö-jen käytännön kehittämistyö toteutettiin kaikki ammatilliset perustutkinnot kattavien oppi-laitosten koordinoimien projektien avulla. Myös kansallista oppimistulosten arviointijär-jestelmää kehitettiin oppilaitosten johtamissa projekteissa Koppi-hankkeen koordinoima-na. (Räkköläinen 2005.) Hankkeen alkuvaiheessa Opetushallituksen asiantuntijoiden tukena kehittämistyössä olivat erityisesti ns. integraatio- ja standardityöryhmät. Integraatiotyöryhmä perustettiin kansalli-sen arvioinnin ja näyttöjärjestelmän yhteensovittamista varten. Ryhmään kutsuttiin arvi-ointikokeiluun valittujen alojen näyttöjä valmistelevista ryhmistä projektikoordinaattorit ja alakohtaiset asiantuntijat Opetushallituksesta sekä muita vaihtuvia asiantuntijoita opetus-ministeriöstä, yliopistoista ja tutkimuslaitoksista. Ryhmä kokoontui useita kertoja vuosina 2002–2004. (ks. tarkemmin ryhmistä Räkköläinen 2005.) Standardityöryhmä puolestaan perustettiin laadunvarmennusjärjestelmän, laatuvaatimus-ten ja standardien kehittämistä varten. Ryhmään kutsuttiin jokaiselta arvioitavalta alalta työelämän edustajia, jotka olivat perehtyneet omissa tehtävissään myös ammatilliseen kou-lutukseen, sekä oppilaitosten edustajia, jotka olivat olleet aktiivisesti mukana näyttöjärjes-telmän ja näyttöaineistojen kehittämisessä. Ryhmä kokoontui intensiivisesti ennen kokei-lujen aloittamista ja testauksen jälkeen vielä arvioimaan laadunvarmennusjärjestelmän toimivuutta. (ks. tarkemmin ryhmästä Räkköläinen 2005.)

19

Arviointikokeilun ja arviointijärjestelmän kehittämistyön tukena oli myös opetusministe-riön asettama näyttöjen johtoryhmä (18.9.1999), jossa oli mukana keskeisten työmarkkina-järjestöjen edustajia ja muiden sidosryhmien edustajia sekä Opetushallituksen ja opetus-ministeriön edustajat. Johtoryhmän tehtävänä oli ohjata ja seurata näyttöjen liittämistä ammatillisiin perustutkintoihin ja arviointijärjestelmän integroimista siihen. Arviointijärjestelmän kehittämistyötä tehtiin koko hankkeen ajan kiinteässä yhteistyössä oppilaitosten, näyttöjärjestelmän kehittäjien, työmarkkinajärjestöjen sekä tutkimuslaitos-ten, korkeakoulujen ja kansainvälisten yhteistyökumppanien kanssa. Tarvittaessa käytettiin eri alojen asiantuntijoita kehittämistyön konsultteina. Hankkeen aikana järjestettiin useita projektien tarpeista lähteviä ja näyttöperusteisen arviointijärjestelmän kehittämistä tukevia koulutustilaisuuksia (mm. laatu- ja vertaisarviointikoulutus). Arvioinnin asiantuntija, professori Kathryn Ecclestone Oxford Brookersin yliopistosta (aikaisemmin Newcastlen, Exeterin ja Nottinghamin yliopistosta) työskenteli Opetushalli-tuksen arvioinnin kehittäjien kanssa hankkeen alusta lähtien vertaisarvioijana (peer evaluator). Kansainvälisen asiantuntijayhteistyön tavoitteena oli tukea Opetushallituksen asiantuntijoita näyttöperusteisen arviointijärjestelmän kehittämistyössä. Kehittämishank-keen aikana (2002–2008) järjestettiin yhteensä 13 työskentelyjaksoa, joista 10 Suomessa ja kolme Englannissa. Jokaiselle työskentelyjaksolle laadittiin erillinen työsuunnitelma ja oh-jelma. Kunkin työskentelyjakson keskeiset ajatukset ja ideat raportoitiin työskentelyjakson päätteeksi. Työskentelyjaksojen aikana tutustuttiin eri maiden koulutus- ja arviointijärjestelmiin, pe-rehdyttiin arvioinnin teoreettisiin lähtökohtiin ja erilaisiin laadunvarmennusjärjestelmiin sekä suunniteltiin arviointikokeilut ja niiden käytännön toteutus. Näiden lisäksi tehtiin vie-railu- ja tutustumiskäyntejä oppilaitoksiin, työpaikkoihin ja asiantuntijaorganisaatioihin (mm. ammatilliset opettajakorkeakoulut, Awardin Bodyt (todistuksen myöntäjät) Englan-nissa) sekä haastateltiin lukuisia ammattiosaamisen näyttöjen ja arvioinnin kanssa tekemi-sissä olevia henkilöitä, kuten opettajia, työelämän edustajia, ammattijärjestöjen edustajia ja opetushallinnon edustajia, tutkijoita ja opiskelijoita. Myös kansallisen arvioinnin edellyttämää laadunvarmennusjärjestelmää ja siihen liittyvää vertaisarviointia kehitettiin ja testattiin tiiviissä yhteistyössä kansainvälisen asiantuntijan kanssa. Samoin koko hankkeen ulkoinen arviointi suunniteltiin ja toteutettiin yhteistyössä Kathryn Ecclestonin kanssa. Työskentelyjaksojen aikana laadittiin kolme raporttia (2005, 2006 ja 2008), joissa tarkasteltiin näyttöperusteisen arviointijärjestelmän vahvuuksia ja on-gelmakohtia sekä tuotiin esille kehittämisehdotuksia ja suosituksia näyttöperusteiseen ar-viointiin siirryttäessä. Vuonna 2005 työstettiin englanninkielinen raportti siihen asti teh-dystä kehittämistyöstä sekä sen keskeisistä tuloksista. Työskentelyjaksojen aikana järjestet-tiin myös kaksi laajaa arvioinnin kehittämisseminaaria (2006 ja 2008). Liitteessä 4 on koos-te Koppi-hankkeen tapahtumista ja tilaisuuksista vuosina 2002–2008.

20

3 NÄYTTÖPERUSTEINEN OPPIMISTULOSTEN ARVIOINTIMALLI

3.1 Arviointimallin periaatteet

Näyttöperusteisen oppimistulosten arviointijärjestelmän kehittämishankkeessa on kehitet-ty ja testattu arviointimallia, jossa lähtökohtana on kansallisen arvioinnin integrointi am-matillisten perustutkintojen näyttöihin. Integroinnin välineenä on laadunvarmennuspro-sessi, jonka avulla varmistetaan arviointitiedon ja arvioinnin luotettavuus, osuvuus, vertai-lukelpoisuus ja tarkoituksenmukaisuus. Oppimistulosten arviointi pohjautuu opiskelijan osaamisen näyttöperusteiseen arviointiin. Arviointitieto saadaan paikallisista koulutuksen järjestäjän toteuttamista näytöistä. Erillisiä tehtäviä tai näyttöjä ei kansallista arviointia var-ten organisoida, vaan oppilaitokset toteuttavat näytöt osana omaa opetustaan ja aikataulu-jaan. Arviointitieto kootaan näytöistä opintokokonaisuuksittain opiskelijan koko opiske-luprosessin ajalta. Kokoavaa jaksoa tai opintokokonaisuutta ei opetussuunnitelman perus-teisiin sisälly. Lähtökohtana on myös, että kansalliset tutkintokohtaiset näyttöaineistot tai tutkinnon pe-rusteissa olevat näytön perusteet ohjaavat ammattiosaamisen näyttöjen toteuttamista ja arviointia ja näin korvaavat aikaisemmat yhtenevät tehtävät tai kokeet. Näyttöaineistot on laadittu jokaiseen ammatillisen perustutkinnon opintokokonaisuuteen. Arviointitieto näy-töistä kootaan opintokokonaisuuksittain ja arvioinnin kohteittain. Arvioinnin kohteet ja kriteerit sekä arviointitiedon tallentaminen ovat yhtenevät kaikissa tutkinnoissa, mikä yh-denmukaistaa arviointia ja mahdollistaa vertailutiedon tuottamisen. Osaaminen arvioidaan yhteisarviointina eli näytön arvioivat opettaja, työelämän edustaja (työpaikkaohjaaja) ja opiskelija. Arvosana muodostetaan yhteisen keskustelun tuloksena, jolloin myös opiskeli-jan itsearvioinnin merkitys korostuu. Näin osaamisen arviointi perustuu konsensukseen ja keskinäiseen luottamukseen, eikä ulkopuolisen tahon kontrolliin. Yksi keskeisistä periaatteista on myös, että näyttöperusteinen oppimistulosten arviointi on tavoitelähtöistä ja kriteeriperusteista, jolloin arvioinnin kohteet (osaaminen) ja kriteerit asetetaan ennalta, ja ne ovat kaikkien osapuolten tiedossa. Osaamista arvioidaan suhteessa asetettuihin tavoitteisiin. Kansallinen arviointi on osa koulutuksen laadunvarmennusta. Tämä edellyttää, että näyt-töperusteiseen arviointijärjestelmään liitetään palautejärjestelmä, joka tuottaa säännöllisin väliajoin palautetietoa oppilaitosten kehittämistyön tueksi. Arviointitiedon tulee olla hyö-dynnettävissä osana koulutuksen järjestäjien ja oppilaitosten itsearviointia. Palautejärjes-telmän tulee mahdollistaa seurantatietojen kerääminen sekä syväanalyysit esiin nousevista teemoista. Kuviossa 2 on kuvattu oppimistulosten arviointi osana ammattiosaamisen näyttöjärjes-telmää. Näyttöjärjestelmällä tarkoitetaan tässä opetussuunnitelmaperusteisessa ammatilli-sessa peruskoulutuksessa toteutettavia ammattiosaamisen näyttöjä ja niiden pohjalta teh-tävää kansallista oppimistulosten arviointia.

21

Kuvio 2 Näyttöjärjestelmä

Yhteenveto arviointimallin periaatteista:

- Kansallinen arviointi integroidaan osaksi näyttöjärjestelmää - Arviointitieto tuotetaan paikallisesti toteutetuista ammattiosaamisen näytöistä - Kansalliset näyttöaineistot tai näytön perusteet ohjaavat ammattiosaamisen näyttöjen

toteuttamista ja arviointia - Toteutetaan laadunvarmennus ammattiosaamisen näyttöjen toteuttamis- ja arviointi-

prosessiin. - Arviointiin liittyy palautejärjestelmä, joka tukee oppilaitosten kehittämistyötä ja koulu-

tuksen järjestäjän itsearviointia.

3.2 Arvioitava osaaminen näytössä

Kansallisen näyttöperusteisen oppimistulosten arvioinnin lähtökohtana on opetussuunni-telman perusteissa määritetty työelämän edellyttämä ammattitaito. Oppimistulosten arvi-

ointi kohdistuu laaja-alaiseen ammatilliseen osaamiseen eli toiminnallisen, tiedollisen, sosiaalisen ja reflektiivisen osaamisen arviointiin. Arvioinnin kohteena on sekä osaami-nen että osaamista tuottavat prosessit. Toiminnallinen eli operatiivinen osaaminen ilmen-tää työtehtävien ja työtoiminnan hallintaa. Kognitiiviset eli tiedolliset prosessit osoittavat kykyä soveltaa teoreettista tietoa, tiedon hallintaa ja asioiden ja prosessien välisten yhteyk-sien ymmärtämistä sekä työn kokonaisuuden hahmottamiskykyä. Sosiaaliset eli yhteisölli-

Oppimis-

tulokset

I T S E A R V I O I N T

I

I N F O R M A A T I O J Ä R J E S T E L M

Ä

L A A D U N V A R M E N N U

S

OPS-perusteet

Valtakunnalliset näyttöaineistot

Näyttöjärjestelmä Oppimistulosten arviointi

Paikallinen

OPS

Näyttö

Näyttö

Näyttö

Näyttö

NÄYTTÖJÄRJESTELMÄ

22

set prosessit liittyvät kykyyn toimia sekä itsenäisesti että vuorovaikutuksessa muiden kans-sa ryhmän jäsenenä tai johtajana. Reflektiiviset eli arvioivat ja kehittävät prosessit liittyvät kykyyn oppia ja kykyyn arvioida ja kehittää sekä omaa että ympäristön toimintaa. (Poikela 1998; Poikela 2002; Poikela & Räkköläinen 2006.) Edellä kuvatut osaamisen ulottuvuudet saavat sisällön kunkin perustutkinnon opetus-suunnitelman perusteiden yleisistä tavoitteista sekä opintokokonaisuuksien keskeisistä ta-voitteista ja sisällöistä. Opetussuunnitelman perusteissa on kuvattu kunkin opintokokonai-suuden tavoitteet, keskeinen sisältö, osaamisen kiitettävä taso sekä tyydyttävän osaamisen arviointikriteerit. Kansallisessa arvioinnissa arviointitieto kootaan siten, että kaikki osaami-sen ulottuvuudet on mahdollista huomioida arvioinnissa. Opiskelijan tulee voida osoittaa näytössä laaja-alaista ammatillista perusosaamista ja koulutusohjelmaopintoihin liittyvää erityisosaamista sekä kaikilla aloilla tarvittavaa ammattisivistystä ja kansalaisvalmiuksia (yh-teiset painotukset) sekä yhteisiä valmiuksia (ydinosaamista). Näytössä opiskelijan tulee yh-distää käytäntö- ja teoriatietoa ja soveltaa niitä työelämän toimintakokonaisuuksiin. Myös aiemmin toteutetut kansalliset arvioinnit perustuivat laaja-alaisen ammatillisen osaamisen arviointiin. (ks. tarkemmin Räkköläinen 2005.) Näyttöperusteisessa oppimistulosten arvioinnissa yleiset arvioinnin kohteet ja kriteerit ovat kaikilla aloilla samat ja ne perustuvat opetussuunnitelman perusteisiin. Arviointi koh-distuu työtehtävän, työprosessin, työturvallisuuden ja työn perustana olevan tiedon hallin-taan. Myös kaikille aloille yhteisen ydinosaamisen taitojen saavuttaminen sekä yhteisten painotusten valmiuksia arvioidaan. Ydinosaamiseen sisältyvät oppimaan oppimistaidot, ongelmanratkaisutaidot, vuorovaikutus- ja viestintätaidot, yhteistyötaidot ja eettiset ja es-teettiset taidot. Yhteisiin painotuksiin sisältyvät kestävä kehitys, teknologian ja tietoteknii-kan hyödyntäminen, yrittäjyys ja laadukas- ja asiakaslähtöinen palvelutoiminta. (ks. tar-kemmin Räkköläinen 2005.) Ennen ensimmäisen arviointikokeilun (pilotti I) käynnistymistä, kansallista arviointia var-ten laadittiin edellä mainituille arvioinnin kohteille, myös ydinosaamisen ja yhteisten pai-notusten eri osaamisalueille kuvaukset arvioitavasta osaamisesta sekä yleiset kolmiportai-set arviointikriteerit ammatilliselle osaamiselle, ydinosaamiselle ja yhteisille painotuksille. Kuvaukset johdettiin opetussuunnitelman perusteiden tavoitteista, aikaisemmin toteutet-tujen kansallisten arviointien kriteeristöistä sekä kansallisten näyttöaineistojen ja asiantun-tijatyöskentelyn pohjalta. (ks. kuvaukset tarkemmin Räkköläinen 2005.) Arviointikokeilus-sa (pilotti I) yleisiä kuvauksia hyödynnettiin näyttöaineistojen laadunvarmennuksessa. Kansallisessa oppimistulosten arvioinnissa ammattiosaamisen näyttöjen yleiset arvioinnin kohteet perustuvat opetussuunnitelman perusteisiin ja ne ovat tiivistettyinä:

1. TYÖTEHTÄVÄN HALLINTA

sisältää työmenetelmien, -välineiden ja materiaalin hallinnan 2. TYÖPROSESSIN HALLINTA

sisältää suunnittelu-, toteuttamis-, arviointi- ja kehittämisvalmiudet 3. TYÖN PERUSTANA OLEVAN TIEDON HALLINTA

sisältää teoreettisen tiedon soveltamisen ja tiedon hallinnan valmiudet

4. TYÖTURVALLISUUDEN HALLINTA sisältää työturvallisuuteen ja työoloihin ja työkykyyn liittyvän tiedon ja toiminnan hallinnan

23

5. YDINOSAAMINEN

sisältää opetussuunnitelman perusteissa määritetyn kaikille aloille yhteisen ydin-osaamisen

- oppimaan oppimisen taidot - ongelmanratkaisutaidot - vuorovaikutus- ja viestintätaidot - yhteistyötaidot - eettiset ja esteettiset/emotionaaliset taidot

6. YHTEISET PAINOTUKSET

sisältää opetussuunnitelman perusteissa määritetyt kaikille aloille yhteiset sisällölliset painotukset. Arvioidaan kaikilla aloilla tarvittavaa ammattisivistystä ja kansalaisval-miuksia

- kansainvälisyys - kestävä kehitys - teknologian ja tietotekniikan hyödyntäminen - yrittäjyys - laadukas ja asiakaslähtöinen toiminta - palvelu- ja kuluttajaosaaminen - työsuojelusta ja terveydestä huolehtiminen.

Kansallisissa tutkintokohtaisissa näyttöaineistoissa on määritetty arvioitava osaaminen ja arviointikriteerit kunkin opintokokonaisuuden näyttöön. Näyttöaineistossa kullekin arvi-oinnin kohteelle on laadittu osaamiskuvaus sekä arviointikriteerit tyydyttävälle, hyvälle ja kiitettävälle osaamiselle. Kansalliset näyttöaineistot siis ohjaavat osaamisen arviointia näy-töissä, joista kansallinen arviointitieto tuotetaan. Kansallinen näyttöaineisto on laadittu voimassa olevan opetussuunnitelman ja näyttötut-kinnon perusteiden pohjalta ja se on laadittu jokaiseen ammatillisen perustutkinnon opin-tokokonaisuuteen. Aineisto ei ole normi, vaan tukimateriaali, jota koulutuksen järjestäjät voivat käyttää ammattiosaamisen näyttöjen suunnittelun ja toteuttamisen apuna. Aineisto ohjaa ammattiosaamisen näyttöjen paikallista toteuttamista ja yhdenmukaistaa opiskelijan arviointia. Ammattiosaamisen näyttöaineistossa on ohjeet sen käyttäjille ja opintokokonai-suuksittain laaditut osiot, jotka sisältävät näytön kuvauksen, ammattiosaamisen näyttöym-päristön kuvauksen ja näytön arvioinnin sekä esimerkkejä ammattiosaamisen näyttöjen to-teuttamisvaihtoehdoista. Kuviossa 3 on kuvattu oppimistulosten arviointijärjestelmän integrointi näyttöjärjestel-mään ja arvioinnin kohteiden ja kriteerien määrittäminen opintokokonaisuuksien näytöis-sä. Yleinen arviointikriteeristö on kolmiportainen ja osaaminen kuvataan tyydyttävän–hyvän–kiitettävän tasoilla. Arviointiasteikko on välillä 1–5. Tyydyttävä taso kuvaa amma-tillisen osaamisen vähimmäisvaatimusta, josta seuraavien hyvän ja kiitettävän osaamisen tasojen vaatimukset johdetaan. Osaaminen kumuloituu tasolta toiselle siirryttäessä. Hyvän tason kriteeristö sisältää automaattisesti kaiken sen osaamisen, mitä tyydyttävällä tasolla vaaditaan. Osaamisvaatimukset myös kasvavat ja laajenevat sisällöltään tasolta toiselle siir-ryttäessä. Tyydyttävä taso sisältää arvosanat 1 ja 2, ja taso hyvä sisältää arvosanat 3 ja 4. Tasokuvauksen korkeamman arvosanan saa, kun arvioitava osaaminen ylittää selvästi ta-sokuvauksen vähimmäisvaatimukset. Kiitettävän tason arvosana on 5. (ks. tarkemmin Räkköläinen 2005; Poikela & Räkköläinen 2006.)

24

Vuosina 2008–2010 toteutettavan opetussuunnitelmauudistuksen myötä arvioinnin koh-teet tulevat vähenemään ja arvosana-asteikko muuttuu kolmiportaiseksi. Uudet opetus-suunnitelman perusteet (myöhemmin tutkinnon perusteet) sisältävät näytön perusteet, jotka korvaavat aiemmin käytetyt kansalliset näyttöaineistot.

Kuvio 3 Arvioinnin kohteiden ja kriteerien määrittäminen opintokokonaisuuksien näytöissä

3.3 Laadunvarmennus ja laatuvaatimukset

Kehittämishankkeessa on kehitetty ja testattu kansallisen arvioinnin edellyttämää laadun-varmennusjärjestelmää, jonka tavoitteena on varmistaa arvioinnin luotettavuus, vertailu-kelpoisuus ja tarkoituksenmukaisuus. Kansallinen arviointi integroidaan ammattiosaami-sen näyttöihin laadunvarmennusjärjestelmän avulla. Laadunvarmennuksen avulla yhden-mukaistetaan ammattiosaamisen näyttöjen ja arvioinnin toteuttamisprosessia. Laadunvarmennusjärjestelmän kehittämistä varten perustettiin valmisteluryhmä (ns. stan-dardiryhmä), jonka työskentelyn pohjalta nimettiin näyttöperusteisen arvioinnin kriittiset kohdat kansallisen arvioinnin kannalta. Kriittisiksi kohdiksi nimettiin opetussuunnitelman perusteet, näyttöaineisto, näytössä arvioitava osaaminen sekä arviointikriteerit, näytön suorituspaikka, näytön arvioinnin dokumentointi ja arviointikäytännöt. Kriittiset kohdat on kuvattu tarkemmin liitteessä 6. Näyttöjärjestelmän kriittisiin kohtiin laadittiin laatuvaatimukset, jotka johdettiin ammat-tiosaamisen näytöille asetetuista tavoitteista, säädöksistä ja annetuista suosituksista. Yleiset laatuvaatimukset ovat seuraavat:

OPPIMISTULOSTEN ARVIOINTIJÄRJESTELMÄN INTEGROINTI NÄYTTÖJÄRJELMÄÄN

Arvioinnin kohteet ja kriteerit

OPS

Yleiset

arviointikohteet

Arviointi-

kriteerit

Opintokokonaisuus

Osaamisalueet

1

2

3 ..

6

1 2 3 .

6

K

K

H H T

T

Näyttö - toiminnallinen - kognitiivinen - sosiaalinen - reflektiivinen

kyvykkyys

Opintokokonaisuuden keskeiset osaamisalueet muodostetaan ja arvioidaan arviointikohteittain. Yleiset arviointikriteerit sovelletaan opetussuun-

nitelman perusteiden tavoitteista ja sisällöistä.

25

• Opetussuunnitelmaperusteisuus: Osaaminen, arvioinnin kohteet ja kriteerit vastaavat opetussuunnitelman perusteita

• Työelämälähtöisyys:

Ammattiosaamisen näyttöjen suunnittelu, toteuttaminen ja arviointi toteutetaan oppi-laitosten ja työpaikkojen yhteistyönä

• Tavoitelähtöinen ja kriteeriperusteinen opiskelijan arviointi:

Näytön arvioinnille on asetettu ennalta arvioinnin kohteet ja kriteerit, jotka ovat kaik-kien osapuolten tiedossa. Opiskelijan osaamista arvioidaan suhteessa asetettuihin ta-voitteisiin ja kriteereihin

• Laaja-alaisen osaamisen arviointi:

Näytöissä tulee arvioida laaja-alaista, toiminnallista, tiedollista, sosiaalista ja reflektii-vistä osaamista

• Yhteisarviointi:

Näyttöjen arviointiin osallistuvat opiskelija, opettaja ja työelämän edustaja

• Arviointitiedon tallentamisen yhdenmukaisuus ja läpinäkyvyys: Näyttöjen arviointitieto tallennetaan kaikissa tutkinnoissa yhdenmukaisella tavalla.

Yleisten laatuvaatimusten pohjalta laadittiin laatu- ja arviointikriteerit koulutuksen järjestä-jän opetussuunnitelmalle, näyttöaineistolle ja näyttöjen toteuttamiselle. Laatu- ja arviointi-kriteerit on kuvattu seuraavassa:

I Koulutuksen järjestäjän opetussuunnitelma

1 Opetussuunnitelman sisältö ja rakenne

• Vastaavuus valtakunnalliseen opetussuunnitelmaan • Vastaavuus työelämän tarpeisiin • Näyttöperusteisen arvioinnin huomioiminen • Kriteeriperusteisen arvioinnin huomioiminen • Vastaavuus kansallisiin näyttöaineistoihin

2 Arvioinnin kohteet (osaaminen)

• Vastaavuus valtakunnalliseen opetussuunnitelmaan • Vastaavuus alan ammattitaitovaatimuksiin • Ydinosaamisen ja yhteisten painotusten huomioiminen • Vastaavuus kansallisen arvioinnin yleisiin arvioinnin kohteisiin

3 Arviointikriteerit

• Arviointikriteerit kolmiportaiset (T–H–K) • Vastaavuus työelämän vaatimustasoon • Arviointiasteikko 1–5 • Arviointikriteerien johdonmukaisuus ja erottelukyky • Kriteerien ammatillisen osaamisen laaja-alaisuus • Vastaavuus kansallisen arvioinnin yleisiin arviointikriteereihin

4 Arviointikäytäntö • Arvioijien kouluttaminen • Opiskelijoiden perehdyttäminen • Yhteistyö työelämän kanssa

26

• Kriteeriperusteisen arvioinnin toteutuminen • Näyttöperusteisen arvioinnin toteutuminen • Oppimisen ja ammatillisen kasvun tukeminen

5 Dokumentointi

• Dokumentoinnin selkeys ja yksiselitteisyys • Dokumentoinnin välineet

II Näyttöaineistot

1 Näyttöaineiston sisältö ja rakenne

• Vastaavuus näyttöjen kehittämisperiaatteisiin • Vastaavuus valtakunnalliseen opetussuunnitelmaan • Keskeisen osaamisen ja alan erityisvaatimusten huomioiminen • Aineiston selkeys ja käyttökelpoisuus • Käsitteiden ja määritelmien johdonmukaisuus • Soveltamismahdollisuudet paikallisiin olosuhteisiin

2 Näyttöympäristö

• Näyttöympäristön kuvauksen sisältö • Vastaavuus työelämän toimintaympäristöön • Monipuolisuus ja vaihtoehdot • Vastaavuus opintokokonaisuuden tavoitteisiin • Laaja-alaisen ammatillisen osaamisen arvioinnin mahdollistaminen • Oppimistilanteen toteutuminen

3 Arvioinnin kohteet

• Vastaavuus valtakunnalliseen opetussuunnitelmaan • Vastaavuus työelämän toimintaympäristöön • Laaja-alaisen ammatillisen osaamisen arvioinnin toteutuminen • Olennaisen ammattitaitovaatimuksen kuvaus • Vastaavuus kansallisen arvioinnin yleisiin arvioinnin kohteisiin • Ydinosaamisen ja yhteisten painotusten huomioiminen.

III Näyttöjen toteuttaminen (arviointikäynnit)

1 Näyttöympäristön arviointi

• Miten näyttöympäristö vastaa työelämän toimintaympäristöä? • Miten näyttöympäristö vastaa opintokokonaisuuden tavoitteita? • Miten näyttöympäristö mahdollistaa laaja-alaisen ammatillisen osaamisen osoittamisen ja arvioinnin? • Miten näytöt ja työssäoppimisjakso yhdistetään? • Miten näyttöympäristössä toteutetut näytöt ovat vertailukelpoisia eri oppilaitosten

organisoimien näyttöjen kanssa? 2 Näytön arviointitilaisuuteen osallistuminen

• Yhteisarvioinnin toteutuminen • Opiskelijan itsearvioinnin toteutuminen • Arviointikriteerien käyttö ja toimivuus • Arvioinnin kohteiden osuvuus • Arviointi oppimistilanteena • Dokumentointi • Arvioinnin vertailtavuus ja luotettavuus • Yhteisarvioinnin merkitys eri osapuolille

27

3 Opettajien, opiskelijoiden ja työelämän edustajien haastattelut

• Miten yhteinen näkemys arvosanasta syntyy? • Millaisia ongelmia arvosanan muodostamisessa mahdollisesti oli (esimerkiksi ristiriitatilanteet)? • Miten dokumentaatio tehtiin? • Miten standardeja ja kriteerejä käytettiin? • Millä ”tasolla” opiskelijan näyttö arvioitiin? • Miten kriteerit ymmärrettiin ja mitä mahdollisia ongelmia oli? • Millainen merkitys näytöillä on eri osapuolille? • Miten eri osapuolet kokevat yhteisarvioinnin? • Toimivatko näytöt siinä tarkoituksessa, johon ne on tarkoitettu (formatiivinen ja summatiivinen arviointi, oppiminen, ammatillinen kasvu, työelämäyhteys)? • Miten ulkoiseen vertaisarviointiin suhtaudutaan? • Millaisia ajatuksia eri osapuolilla on näyttöjen ja niiden arvioinnin vertailukelpoisuudesta?

(ks. myös Räkköläinen 2005.) Näiden edellä lueteltujen laatu- ja arviointikriteerien pohjalta toteutettiin varsinainen ul-koinen laadunvarmennus koulutuksen järjestäjän opetussuunnitelmaan, näyttöaineistoon ja näyttöjen käytännön toteuttamiseen ja arviointiin arviointikokeilussa. Ulkoinen laadun-varmennusprosessi arviointikokeilussa on kuvattu kokonaisuudessaan luvussa 4.3. Laadunvarmennusjärjestelmän kehittämistyön yhteydessä kehitettiin myös näyttöjen suunnittelua, toteuttamista ja arviointia koskevat opettajan, opiskelijan ja työelämän edus-tajan taustakyselyt. Kyselyt ovat osa kansallisen oppimistulosten arvioinnin edellyttämää laadunvarmistusta, jolla seurataan laatuvaatimusten toteutumista ja näyttöjärjestelmän toimivuutta. Kyselyt laadittiin edellä kuvattujen laatuvaatimusten ja -kriteerien pohjalta. Kyselyillä saadaan tietoa mm. näyttöjen suunnittelusta ja toteuttamisesta, arvioinnin osu-vuudesta ja yhdenmukaisuudesta, arviointikäytännöistä, ammattiosaamisen näyttöjen in-tegroinnista opetukseen ja opetussuunnitelmiin sekä ammattiosaamisen näyttöjen merki-tyksestä oppimiselle. Kyselyt ovat olleet käytössä molemmissa kehittämishankkeen arvi-ointikokeiluissa. Eri osapuolten kyselyt ovat liitteessä 7. Myös vertaisarviointia osana näyttöperusteisen arvioinnin laadunvarmennusta kehitettiin ja testattiin kehittämishankkeen aikana. Vertaisarvioinnin tavoitteena on varmistaa näyttö-jen ja arvioinnin laatua ja tuottaa palautetta arviointikäytäntöjen kehittämiseksi. Tavoit-teena on, että koulutuksen järjestäjät ja oppilaitokset toteuttaisivat tulevaisuudessa keske-nään vertaisarviointia ja hyödyntäisivät toisilta opittuja hyviä käytäntöjä ammattiosaami-sen näyttöjen järjestämisessä ja arvioinnissa. Hankkeen aikana perehdyttiin vertaisarvioin-nin periaatteisiin, kehitettiin vertaisarvioinnin työkaluja ja valmennusohjelma, koulutettiin vertaiskehittäjiä ja tuotettiin tukimateriaalia vertaisarviointien toteuttamiseen. Vertaisarvi-oinnin kehittämisestä ja kokeiluista on kerrottu tarkemmin luvussa 5.

28

Seuraavassa kuviossa 4 on kuvattu laadunvarmennusjärjestelmän kehittämisprosessi.

Kuvio 4 Laadunvarmennusjärjestelmän kehittämisprosessi

3.5 Arviointitiedon kokoaminen ja raportointi

Arviointitieto näytöistä kootaan kaikissa tutkinnoissa yhdenmukaisella tavalla, jolloin yleisten arvioinnin kohteiden ja kriteerien lisäksi myös arviointitiedon tallentaminen ovat yhtenevät kaikilla aloilla. Tämä yhdenmukaistaa arviointia ja mahdollistaa vertailutiedon tuottamisen. Ammattiosaamisen näyttöjen arvosanat tallennetaan opiskelija- ja oppilaitos-kohtaisesti tutkinnoittain, opintokokonaisuuksittain ja arviointikohteittain ja arviointi kir-jataan yhtenäiselle opintokokonaisuuden näyttöarvosanan dokumentointilomakkeelle (ks. liite 8. Näytön arvosanan dokumentointilomake). Arviointitietoa näytöistä voidaan koota usealla eri tavalla. Kehittämishankkeessa suunni-teltiin erilaisia vaihtoehtoja kansallisen arviointitiedon kokoamiseksi näytöistä. Kansallisen näyttöperusteisen arviointitiedon keruu voi perustua otantaan, jolloin tutkinnot ja näytöt valitaan kansalliseen arviointiin etukäteen. Samoin voidaan valita, seurataanko samojen opiskelijoiden oppimistuloksia koko opiskelun ajan vai kerätäänkö tieto kertaluonteisesti. Arviointitieto voidaan koota myös kaikista tutkinnon näytöistä. (ks. tiedonkeruun malleis-ta tarkemmin Räkköläinen 2005.) Kehittämishankkeessa lähdettiin testaamaan kahta arviointitiedon keruumallia, niin sanot-tua seuranta- ja poikkileikkausmallia. Näitä tiedonkeruumalleja ehdotettiin Opetusministe-riölle myös varsinaisen arvioinnin tiedonkeruumalleiksi vuonna 2007 käynnistyneessä ar-vioinnissa. Molemmat mallit ovat otospohjaisia eli niihin valitaan etukäteen tietyt tutkin-not ja näytöt. Seurantamallissa kansalliseen arviointiin valitaan tutkinnoista vain par-haimmat ja edustavimmat näytöt. Valinnan perusteena on, että ammattiosaamisen näyttö

LAADUNVARMENNUSJÄRJESTELMÄN KEHITTÄMINEN

KANSALLISEEEN NÄYTTÖPERUSTEISEEN ARVIOINTIIN

Näyttö-

järjestelmän kriittisten kohtien

nimeäminen kansallisen arvioinnin

kannalta

Näyttöjen yleiset laatuvaatimukset arviointikohteet

Laatu- ja

arviointikriteerit

1 2 3 4 5 6

Näytöille asetetut tavoitteet, säädökset, suositukset

K y s e l y

t

V e r t a i s a r v i o i n t i

Opetussuunnitelmaperusteisuus Koulutuksen järjestäjän

opsiin

Työelämälähtöisyys

Tavoitelähtöinen ja kriteeri-perusteinen arviointi

Laaja-alaisen osaamisen arviointi

Yhteisarviointi

Yhtenäinen dokumentointi

Näyttöaineistoon

Näyttöjen toteuttami-

seen ja arviointiin

1 2

3

29

on riittävän kattava, se on mahdollista tehdä työpaikalla ja siinä arvioidaan ammatillisen osaamisen kannalta keskeisiä valmiuksia. Seurantamallissa arviointitietoa kerätään samalta opiskelijalta koko hänen koulutuksensa ajalta. Arviointitiedon tuottaminen yksittäisestä tutkinnosta kestää tällöin noin kolme vuotta. Poikkileikkausmallissa kansalliseen arviointiin valitaan tutkinnoista vain parhaimmat ja edustavimmat näytöt opintojen alusta, opintojen keskivaiheilta ja opintojen lopusta. Op-pilaitokset ovat samoja, mutta opiskelijat vaihtelevat näytöittäin. Tässä tiedonkeruumallis-sa ei siis seurata yksittäisen opiskelijan osaamisen kehittymistä, vaan se antaa yleistä tietoa oppimistuloksista tietyissä oppilaitoksissa ja tutkinnoissa. Tämä malli tuottaa arviointitie-don koko tutkinnosta nopeasti. Sekä poikkileikkaus- että seurantamallissa päätös arvioin-tiin tulevista opintokokonaisuuksien näytöistä tehtäisiin yhteistyössä ko. alan asiantunti-joiden (opettajien, työelämän edustajien, ammatillisen koulutuksen kehittäjien) kanssa. Oppimistuloksista tuotetaan valtakunnallista vertailutietoa. Tulokset raportoidaan tutkin-noittain, opintokokonaisuuksittain ja arvioinnin kohteittain, jolloin tutkintojen välinen vertailu on mahdollista. Oppilaitokset saavat myös oppilaitoskohtaiset tulokset, mikä tu-kee oppilaitosten itsearviointia. Laadunvarmennusprosessin tuottama tieto raportoidaan sekä oppilaitoskohtaisina raportteina että osana valtakunnallisia tuloksia. Kansallinen ar-viointitieto julkaistaan siten, ettei yksittäisten oppilaitosten tuloksia ole mahdollista tun-nistaa.

30

4 ARVIOINTIKOKEILUT KEHITTÄMISHANKKEESSA 4.1 Arviointikokeilujen tarkoitus ja keskeiset kysymykset

Kehittämishankkeessa toteutettiin kaksi arviointikokeilua, joista ensimmäinen (pilotti I) toteutettiin vuosina 2002–2003 ja toinen (pilotti II) 2004–2007. Arviointikokeiluissa tes-tattiin näyttöperusteista oppimistulosten arviointimallia ja kansallisen arvioinnin edellyt-tämää laadunvarmennusjärjestelmää käytännössä. Arviointikokeilujen avulla haluttiin saa-da tietoa siitä, millaista arviointitietoa näytöt tuottavat kansallista arviointia varten, millai-nen laadunvarmennusprosessi on tarkoituksenmukainen arviointitiedon luotettavuuden varmistamiseksi kansallisella ja paikallisella tasolla sekä millaisia käytännön ongelmia in-tegroidun mallin toteuttamiseen liittyy. Myös arviointitiedon luotettavuuden varmistamiseksi kehitetyt yleiset laatuvaatimukset sekä ulkoiseen arviointiin perustuva laadunvarmennusprosessi testattiin arviointikokeilus-sa. Kokeilun tarkoituksena oli myös selvittää, miten osaamista tulisi seurata ja arviointitie-toa koota näytöistä kansallista arviointia varten, kun arviointimalli otetaan valtakunnalli-sesti käyttöön. Ensimmäisessä arviointikokeilussa (2002–2003) tarkasteltiin erityisesti arviointitiedon luo-tettavuuteen ja tarkoituksenmukaisuuteen liittyviä kysymyksiä sekä sitä, millaisia jännitteitä ilmenee kansallisen arvioinnin ja paikallisesti toteutetun näyttöperusteisen arvioinnin yh-teensovittamisessa. Toisessa arviointikokeilussa painopiste oli edelleen arviointitiedon luotettavuuden ja vertailukelpoisuuden kysymyksissä sekä mallin käytännön toimivuudes-sa. Erityistä huomiota kiinnitettiin ammattiosaamisen näyttöaineistojen toimivuuteen, ar-viointikäytäntöjen ja palautejärjestelmän kehittämiseen. Kokeilujen tulosten pohjalta on laadittu ehdotus kansalliseksi oppimistulosten arviointi- ja laadunvarmennusjärjestelmäksi sekä suunnitelma oppilaitosten itsearviointia ja kehittämistyötä tukevasta palaute- ja in-formaatiojärjestelmästä. Seuraavassa on esitetty arviointikokeilujen keskeiset kysymykset. (Räkköläinen & Eccles-tone 2005; Räkköläinen 2005.)

I) Mikä on ammattiosaamisen näyttöjen rooli kansallisessa oppimistulosten

arviointijärjestelmässä? Millaista tietoa oppimistuloksista ammattiosaamisen näyttöperusteinen arviointi tuottaa? Voiko näytöistä saatavaa tietoa käyttää kansallisessa oppimistulosten arvioinnissa? Mitä vaikutuksia kansalliseen järjestelmään on opintokokonaisuuksittain toteutetta-villa näytöillä? Perustuvatko näytöt opetussuunnitelman perusteisiin? Mitkä eri sidosryhmät voivat hyödyntää näytöistä saatavaa oppimistulosten arviointi-tietoa? Mitkä ovat ammattiosaamisen näyttöjen vahvuudet ja heikkoudet kansallisen oppi-mistulosten arviointijärjestelmän perustana?

31

II) Millainen laadunvarmennus tarvitaan kansallista oppimistulosten arviointia varten? Millaisia standardeja ja kriteerejä tarvitaan laadunvarmennusta ja laatukontrollia varten? Millaisia vaikutuksia on yhteisarvioinnilla (internal moderation) oppimistulosten arvioinnin luotettavuuteen? Millaisia vaikutuksia on vertaisarvioinnilla (external moderation) oppimistulosten arvioinnin luotettavuuteen? Millaista koulutusta ja muuta tukea arvioitsijat oppilaitoksissa ja työelämässä tarvitsevat? Millaista dokumentointia laadunvarmennus ja laatukontrolli edellyttävät? Mikä osuus oppilaitosten itsearvioinnilla on laadunvarmennusjärjestelmässä? Mikä on Opetushallituksen tehtävä laadunvarmennuksen ja laatukontrollin toteut-tamisessa? Mikä on eri sidosryhmien tehtävä laadunvarmennuksen ja laatukontrollin toteutta-misessa? Tarvitaanko jatkossa ”kevyt” akkreditointiprosessi osana laadunvarmennusta?

III) Millaisia käytännön ongelmia liittyy valitun oppimistulosten arviointimallin toteuttamiseen? Millaisiksi laadunvarmennuksen ”kriittiset kohdat” osoittautuvat arviointikokeilun aikana ja millaisia uusia käytännön ongelmia niihin mahdollisesti liittyy? Millaista uutta tietoa integrointiin liittyvistä käytännön ongelmista saadaan kokeilun aikana?

– Vertailtavuusongelma käytännössä – Ajoitusongelma käytännössä – Päällekkäisyysongelma käytännössä

Millaisia ratkaisuja voi löytää ongelmakohtiin? 4.2 Arviointikokeilujen toteutus

Ensimmäinen arviointikokeilu toteutettiin vuosina 2002–2003 yhteistyössä näyttöaineisto- ja näyttöpilottiprojektissa mukana olevien oppilaitosten kanssa. Näyttöperusteista arvioin-timallia testattiin sosiaali- ja terveysalan, talotekniikan ja rakennusalan perustutkinnoissa. Kokeiluun osallistui 190 opiskelijaa ja seitsemän ammatillista oppilaitosta. Arviointitietoa saatiin 376 näytöstä. Tämän arviointikokeilun tulokset raportoitiin 2004. Toinen arviointikokeilu totutettiin vuosina 2004–2007 yhteistyössä arviointijärjestelmän kehittämisprojektien, Sote Järkevä-, Konsensus-, Arvo- ja Arvi-projektien ja niiden yhteis-työoppilaitosten kanssa. Arviointikokeilussa oli mukana 35 oppilaitosta, 2 346 opiskelijaa ja arviointitietoa saatiin 3 275 näytöstä 14 eri perustutkinnosta. Tämän arviointikokeilun tuloksista laadittiin raportti vuonna 2008. Kukin kokeiluun osallistunut oppilaitos sai pa-lautteen myös omista tuloksistaan jo kehittämisvaiheen aikana. Arviointikokeiluissa oppimistulosten arviointitieto koottiin arviointimallin periaatteiden mukaisesti suoraan koulutuksen järjestäjän organisoimista ammattiosaamisen näytöistä. Arviointitiedon keruu perustui pääosin ns. poikkileikkausmalliin, jolloin arviointitietoa ke-rättiin kenen tahansa opiskelijan näytöistä opintojen eri vaiheilta projektien ja oppilaitos-ten omien suunnitelmien ja aikataulujen mukaan. Tässä tiedonkeruumallissa ei siis seurat-tu yksittäisen opiskelijan osaamisen kehittymistä, vaan se antoi yleistä tietoa oppimistu-loksista tietyissä oppilaitoksissa ja tutkinnoissa. Kokeilussa testattiin myös ns. seuranta-

32

mallia, mutta näyttöjen määrä tässä mallissa jäi vähäiseksi, eikä seurantamallin tuloksia voitu raportoida erikseen. Arviointikokeilun käytännön toteutuksesta vastasivat Koppi-hankkeen projektipäälliköt yhdessä yhteistyöoppilaitostensa kanssa. Opetushallitus laati ohjeet näyttöjen toteuttami-seen ja arviointiin sekä arviointitiedon dokumentointiin. Näiden ohjeiden pohjalta hank-keiden projektipäälliköt perehdyttivät yhteistyöoppilaitoksensa arviointikokeiluun. Arvi-ointikokeilua varten oppilaitoksessa nimettiin yhdyshenkilö, joka vastasi kokeilusta ko. oppilaitoksessa. Oppilaitokset toteuttivat näytöt omien suunnitelmien ja aikataulujen mu-kaan ja toimittavat arviointitiedot joko suoraan Opetushallitukseen tai projektipäällikölle, joka toimitti ne Opetushallitukseen. Opetushallituksen seuranta- ja arviointipalvelut -asiantuntijayksikkö vastasi tulosten analysoinnista ja raportoinnista. Ensimmäisen arviointikokeilun tulokset raportoitiin joulukuussa 2003 ja toisen arviointi-kokeilun tulokset keväällä 2008. Kaikki arviointikokeiluissa mukana olleet oppilaitokset saivat oppimistuloksista ja kyselyn tuloksista oppilaitoskohtaiset palauteraportit (2003, 2006 ja 2007).

4.3 Laadunvarmennus arviointikokeiluissa

Arviointikokeiluissa testattiin myös kansallisen arvioinnin edellyttämää laadunvarmennus-järjestelmää, jonka tavoitteena on varmistaa arvioinnin luotettavuus, vertailukelpoisuus ja tarkoituksenmukaisuus. Laadunvarmennuksen avulla yhdenmukaistetaan myös näyttöjen toteuttamista ja arviointia. Laadunvarmennus ensimmäisessä arviointikokeilussa (pilotti I) Ensimmäisessä arviointikokeilussa kaikki arviointikokeilussa mukana olleet oppilaitokset osallistuivat ulkoiseen laadunvarmennukseen. Ulkoinen laadunvarmennus toteutettiin lu-vussa 3.4 esitettyjen laatu- ja arviointikriteerien pohjalta. Laadunvarmennus kohdistui ko-ko prosessiin opetussuunnitelmista ja näyttöaineistoista näyttöjen suunnitteluun, toteut-tamiseen ja arviointiin. Laadunvarmennusprosessi sisälsi kirjallisen aineiston (koulutuksen järjestäjän opetussuunnitelma ja näyttöaineisto) arvioinnin, arviointikäynnit oppilaitoksen toteuttamiin näyttöihin, vertaisarviointitilaisuudet sekä arvioinnin raportoinnin. Ulkoisina arvioijina toimivat opetuksen ja ammatillisen koulutuksen sekä työelämän asiantuntijat, jotka valittiin alakohtaisen asiantuntemuksen mukaan. Arviointi- ja laatukriteerien pohjalta koulutuksen järjestäjän opetussuunnitelmaa ja näyttö-aineistoja arvioitiin suhteessa valtakunnallisen opetussuunnitelman tavoitteisiin. Koulu-tuksen järjestäjän opetussuunnitelmassa arviointi kohdistui arvioinnin kohteisiin ja kritee-reihin sekä arviointikäytäntöön ja dokumentointiin. Näyttöaineiston arvioinnissa kiinnitet-tiin huomiota aineiston sisältöön ja rakenteeseen, näyttöympäristöön, arvioinnin kohtei-siin ja kriteereihin sekä arviointikäytäntöön ja dokumentointiin. Arviointikäynneillä ulkoiset arvioijat tutustuivat erilaisiin näyttöympäristöihin, osallistuivat näytön arviointitilaisuuteen sekä haastattelivat opiskelijoita, opettajia ja työelämän edusta-jia (työpaikkaohjaajia). Näyttöympäristön arvioinnissa kiinnitettiin huomiota mm. siihen, vastaako näyttöympäristö työelämän toimintaympäristöä ja opintokokonaisuuden tavoit-teita ja mahdollistaako se laaja-alaisen ammatillisen osaamisen arvioinnin. Näytön arvioin-titilaisuudessa havainnoitiin mm. yhteisarvioinnin, opiskelijan itsearvioinnin ja kriteeripe-

33

rusteisen arvioinnin toteutumista, arvioinnin osuvuutta ja näytön arvioinnin tallentamista. Näyttöympäristön arvioinnissa ja arviointitilaisuudesta tehtyjä havaintoja syvennettiin ja tarkennettiin eri osapuolten haastatteluissa. Haastatteluissa tiedusteltiin näyttöjen toteut-tamiseen ja arviointiin liittyviä asioita kuten esimerkiksi sitä, millaisia ongelmia arvosanan muodostamassa mahdollisesti oli, miten arviointikriteerit toimivat ja miten ne ymmärret-tiin sekä miten yhteisarviointi koettiin. Kirjallisen aineiston arvioinnin ja arviointikäyntien lisäksi järjestettiin myös vertaisarvioin-titilaisuuksia (external moderation), joissa saman alan eri oppilaitosten opettajat ja työelä-män edustajat vertailivat arviointikokemuksia ja -tuloksia ja vaihtoivat näkemyksiään näy-tön ja arvioinnin toteutumisesta. Tällaisia keskustelu- ja kehittämistilaisuuksia järjestettiin jokaisella koulutusalalla yksi tai kaksi. Ulkoisen laadunvarmennusprosessin yhteydessä ta-vattiin myös oppilaitoksen johtoa, joiden kanssa keskusteltiin arviointikokeilun etenemi-sestä, näytöistä ja niiden toteuttamiseen ja arviointiin liittyvistä asioista ja mahdollisista ongelmakohdista sekä annettiin palautetta ulkoisesta arvioinnista. Laadunvarmennuksen jälkeen oppilaitokset saivat oppilaitoskohtaisen arviointipalautteen laadunvarmennuksesta. (ks. tarkemmin Räkköläinen 2005.)

Kuvio 5 Ulkoisen laadunvarmennuksen vaiheet ensimmäisessä arviointikokeilussa (pilotti I). (Räkköläinen 2005, 39.)

Ulkoisen laadunvarmennusprosessin lisäksi laatuvaatimusten toteutumista seurattiin myös opiskelijan, opettajan ja työelämän edustajien taustakyselyillä. Kyselyillä saatiin tietoa laa-tuvaatimusten toteutumisesta kuten näyttöjen toteuttamisesta, arvioinnin osuvuudesta ja yhdenmukaisuudesta, kriteeriperusteisen arvioinnin toteutumisesta, arviointikäytännöistä

ULKOISEN ARVIOINNIN KOHTEET OPPIMISTULOSTEN

ARVIOINTIKOKEILUSSA 2002–2003

I Kirjallisen aineiston arviointi

Koulutuksen järjestäjän opetussuunnitelma (arvioinnin kohteet, kriteerit, arviointikäytäntö, dokumentointi)

Näyttöaineistot (sisältö ja rakenne, arviointikohteet, kriteerit, näyttöympäristö, arviointikäytäntö, dokumentointi)

II Arviointikäynnit

Näyttöympäristön toimivuus

Näytön arviointitilaisuuteen osallistuminen

Opettajan, opiskelijan ja työelämän edustajan haastattelut

III Vertaisarviointi (External moderation)

Keskustelu ja kehittämistilaisuus

Johdon tapaaminen

Raportointi

Ulkoisen arvioinnin tulokset oppilaitoksille

34

ja näyttöjen vaikutuksista opiskelijan oppimiseen ja oppilaitoksen ja työelämän väliseen yhteistyöhön. Laadunvarmennus toisessa arviointikokeilussa (pilotti II) Toisessa arviointikokeilussa (pilotti II) laadunvarmennus pohjautui näyttöjen minimilaatu-vaatimuksiin, paikallisen tason vertaisarviointiin, arvioijien koulutukseen (ns. laatukoulu-tus) eri osapuolten taustakyselyihin sekä näyttöjen yleisiin laatuvaatimuksiin. Minimilaatu-vaatimuksia olivat näyttöjen yhtenäiset arvioinnin kohteet ja kriteerit sekä yhdenmukainen arviointitiedon tallentaminen kaikissa tutkinnoissa. Ammattiosaamisen näyttöjen toteut-tamista ja arviointi ohjattiin laadunvarmennetuilla kansallisilla näyttöaineistoilla. Vertaisarviointia syvennettiin ja laajennettiin koskemaan koko näyttötoimintaan näytön suunnittelusta näytön toteuttamiseen ja arviointiin. Vertaisarviointi sisälsi seuraavia vaihei-ta: näyttöympäristön arvioinnin, näytön arviointitilaisuuden havainnoin sekä opiskelijan, opettajan ja työelämän edustajien haastattelut. Vertaisarvioinnille asetettiin tavoitteeksi varmistaa näyttöjen ja arvioinnin laatua ja tuottaa palautetta arviointikäytäntöjen kehittä-miseksi. Arviointi perustui ennalta sovittuihin toiminnan kohteisiin ja kriteereihin. Ver-taisarvioijina toimivat arviointijärjestelmän kehittämisprojektien projektipäälliköt sekä Opetushallituksen edustajat. Vertaisarvioinnin päätteeksi oppilaitokselle annettiin suulli-nen sekä myöhemmin kirjallinen palaute arvioinnista. Arviointikokeilussa toteutettiin Koppi-hankeen koordinoimana kaksi vertaisarviointiko-keilua yhteistyössä arviointijärjestelmän kehittämisprojektien kanssa. Tämän jälkeen ver-taisarvioinnin kehittämistä jatkettiin oppilaitosten vetämissä hankkeissa sekä myöhemmin vielä Opetushallituksen koordinoimassa vertaisarvioinnin jatkohankkeessa. Kokeiluissa perehdyttiin vertaisarvioinnin periaatteisiin, kehitettiin vertaisarvioinnin valmennusohjel-ma, koulutettiin vertaiskehittäjiä ja tuotettiin tukimateriaalia ja arviointityökaluja vertaisar-viointien toteuttamiseen. Vertaisarvioinnin kehittämisestä ja kokeiluista on kerrottu enemmän luvussa 5. Vertaisarvioinnin lisäksi Koppi-hankkeen koordinoimana järjestettiin myös ns. laatukoulu-tusta (2004) kehittämishankkeiden projektipäälliköille ja heidän yhteistyökumppaneille. Koulutuksen tavoitteena oli kehittää oppimistulosten arvioinnin ja laadunvarmennuksen yhdenmukaisuutta sekä tukea projektien laadunvarmennussuunnitelmien toteuttamista.

4.4 Tuloksia arviointikokeiluista

Tässä luvussa esitellään tiivistetysti ja yleisellä tasolla (sisältäen kaikkien tutkintojen tulok-set) molempien arviointikokeilujen keskeiset johtopäätökset sekä tulokset oppimistulok-sista ja kyselyn tuloksista. Molemmista kokeiluista on laadittu erilliset tulosraportit (Räkkö-läinen, M. Kansallisen ammattiosaamisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehit-täminen ammatillisiin perustutkintoihin. Arviointikokeilusta kohti käytäntöä. Arviointi 3/2005. Ar-viointikokeilu 2. Raportti oppimistuloksista ja kyselyn tuloksista. 2004–2007. Moniste 4/2008. Ope-tushallitus). Arviointikokeilut osoittivat, että näytöt ovat osuvia (valideja) ja eri osapuolia motivoivia ammatillisen osaamisen arvioinnin välineitä. Eri osapuolet tuovat esiin, että näytöt lisäävät arvioinnin osuvuutta, relevanssia ja autenttisuutta. Aikaisemmassa yhteneviin päättökokei-siin perustuvassa mallissa korostettiin enemmän arviointitiedon reliabiliteettia eli vertailta-

35

vuutta, mutta näyttöperusteisessa arvioinnissa painottuu enemmän validiteetti. Arvioinnin osuvuus ja autenttisuus lisääntyvät, koska näytöt perustuvat oppilaitosten ja työelämän paikalliselle yhteistyölle ja ne antavat mahdollisuuden yhteisarviointiin. Arvioinnissa ko-rostetaan enemmän joustavuutta ja ammattiosaamisen näyttöjen soveltamista aitoihin työ-elämän tilanteisiin kuin yhdenmukaista toteuttamistapaa. Verrattuna erillisiin päättökokei-siin ammattiosaamisen näyttöihin pohjautuva malli tuo paikalliselta tasolta uudenlaista ar-viointitietoa oppimisen ja opetuksen laadusta. (Räkköläinen, 2005.)

Kansallisen arvioinnin kannalta ammattiosaamisen näyttöjen ongelmat liittyvät nimen-omaan arvioinnin reliabiliteettiin. Näytöt on suunniteltu lisäämään ennen kaikkea arvioin-nin osuvuutta ja relevanssia, eikä niinkään ole korostettu niiden yhdenmukaisuutta ja tois-tettavuutta. Arviointikokeilut osoittivat, että näyttöjen organisointi- ja arviointikäytännöt vaihtelevat paljon tutkinnoittain, opintokokonaisuuksittain ja oppilaitoksittain. Osa laatu-vaatimuksista ei toteudu lainkaan. Tarvetta laadunvarmistamiselle on olemassa jo opiskeli-joiden oikeudenmukaisen arvioinnin takaamiseksi (esimerkiksi näyttötodistukset) ja opis-kelija-arvioinnin laadun kehittämiseksi. Näin ollen on siis löydettävä tasapaino validiteetti- ja reliabiliteettivaatimusten välillä. (Räkköläinen, 2005.) Arviointikokeilut osoittivat, että näytöissä on mahdollista arvioida laaja-alaista ammatillista osaamista, etenkin työpaikalla toteutettavissa, riittävän laajojen opintokokonaisuuksien (usein pitkäkestoisissa) näytöissä. Laajuudeltaan suppeissa opintokokonaisuuksissa ei kui-tenkaan ole mielekästä pyrkiä arvioimaan kaikkia yleisiä arvioinnin kohteita. Kokeiluissa on tullut esiin, että kaikille aloille yhteisen ydinosaamisen arviointi sopii useimpiin amma-tillisen osaamisen näyttöihin. Sen sijaan yhteisten painotusten arvioinnin tulisi olla syste-maattisempaa ja arvioitavan osaamisen sisältöjä tulisi avata opetussuunnitelman perusteis-sa enemmän, jotta kansallisen vertailutiedon kokoaminen olisi niistä mahdollista. Myös ydinosaamisten sisältöjä tulisi avata enemmän opetussuunnitelman perusteissa, jotta niistä voisi saada luotettavaa arviointitietoa. (Räkköläinen, 2005.) Arviointikokeilut osoittivat, että kaikille aloille yhteiset yleiset arvioinnin kohteet ja yhte-näinen näytön arvosanan dokumentaatiolomakkeen käyttö mahdollistavat tutkintojen väli-sen vertailun. Yhtenäinen dokumentaatio mahdollistaa myös tulosten tarkastelun ja vertai-lun opintokokonaisuuksittain, mikä tukee oppilaitoksia erityisesti opetuksen ja opetus-suunnitelman kehittämisessä. (Räkköläinen, 2005.) Nykyiset opetussuunnitelman perusteet eivät vielä tue riittävästi näyttöperusteista arvioin-tia, joten arviointiin vaikuttaa erityisesti, miten näytöt on liitetty osaksi koulutuksen järjes-täjän omaa opetussuunnitelmaa. Tällä hetkellä opetussuunnitelmat eivät myöskään anna mahdollisuutta seurata opiskelijan osaamisen kehittymistä opintojen edetessä (transfer). Kehittymisen seuraaminen on mahdollista vain hyvin yleisellä tasolla yleisten arviointikoh-teiden avulla ja silloinkin johtopäätösten tekeminen oppimisen siirtovaikutuksesta on epä-varmaa, koska opetussuunnitelman perusteita ei ole rakennettu tämän ajattelun mukaisesti. (Räkköläinen, 2005.)

Näyttöjen arvosanat, toteuttamis- ja arviointitavat

Taulukossa 1 on esitetty arviointikokeilujen aineisto. Kuten taulukosta havaitaan, oli toi-nen arviointikokeilu (pilotti II) ensimmäistä kokeilua (pilotti I) huomattavasti laajempi. Ensimmäisessä arviointikokeilussa oli mukana 190 opiskelijaa seitsemästä oppilaitoksesta. Arviointitietoa saatiin 376 näytöstä kolmesta eri tutkinnosta. Toisessa kokeilussa oli mu-

36

kana 35 oppilaitosta, 2 346 opiskelijaa ja arviointitietoa saatiin 3 275 näytöstä 14 eri perus-tutkinnosta.

Taulukko 1 Arviointikokeilujen aineisto arviointikokeiluissa 2002–2003 ja 2004–2007

Arviointiaineisto

Arviointikokeilu I 2002–2003

N

Arviointikokeilu II 2004–2007

N

Koulutuksen järjestäjiä 7 32

Oppilaitoksia 7 35

Opiskelijoita 190 2 346

Perustutkintoja 3 14

Opintokokonaisuuksia 11 144

Näyttöjä 376 3 275

Opettajan vastauksia 247 696

Opiskelijan vastauksia 343 877

Työelämän edustajan vastauksia 143 605

Molemmissa arviointikokeiluissa opiskelijalle annetut arvosanat olivat hyviä. Yleisin arvo-sana kaikilla arvioinnin kohteilla oli H4. Myös yleisin opintokokonaisuuden näytön arvo-sana (näytön lopullinen arvosana) oli H4. Ensimmäisessä arviointikokeilussa annettiin 297 opintokokonaisuuden näytön arvosanaa ja toisessa arviointikokeilussa 3 275 arvosanaa. Ensimmäisessä kokeilussa valtaosa opiskelijoista (noin 75 %) sai lopulliseksi opintokoko-naisuuden näytön arvosanaksi hyvän arvosanan (joko H3 tai H4) ja noin 18 % näytöistä arvioitiin kiitettävän tasoisiksi. Opiskelijoista noin 7 % sai arvosanaksi tyydyttävän. Myös toisessa arviointikokeilussa valtaosa opiskelijoista (71 %) sai lopulliseksi opintokokonai-suuden näytön arvosanaksi hyvän arvosanan ja noin 16 % opiskelijoista sai kiitettävän ar-vosanan. Näytöistä noin 13 % arvioitiin tyydyttävän tasoiseksi. Kuviossa 6 on esitetty opintokokonaisuuden näytöstä annettujen arvosanojen prosentuaa-linen jakauma arviointikokeiluissa (pilotti I ja pilotti II).

1,75,4

26,6

48,1

18,2

2,2

32,1

10,4

38,9

15,4

0

20

40

60

80

100

T1 T2 H4 H4 K5

% Pilotti I Pilotti II

Kuvio 6 Opintokokonaisuuden näytön arvosanojen prosentuaalinen jakauma arviointikokeiluissa (pilotti I ja pilotti II)

37

Arviointikohteittain tarkasteltuna opiskelijat saivat parhaimmat arvosanat molemmissa kokeiluissa työturvallisuuden hallinnassa, ydinosaamisessa ja yhteisissä painotuksissa. Hei-koimmat arvosanat opiskelijat saivat työn perustana olevan tiedon ja työprosessin hallin-nassa. Kuten kuvioista 7 havaitaan, ovat arvosanat hieman laskeneet ensimmäisestä kokei-lusta. Eniten arvosanat ovat laskeneet ydinosaamisessa ja yhteisissä painotuksissa. Ydinosaamisen ja yhteisten painotusten tulosten vertailtavuutta heikentää se, että ensim-mäisessä arviointikokeilussa ydinosaamisen ja yhteisten painotusten eri osaamisalueille laadittiin osaamis- ja kriteerikuvaukset ja niistä annettiin erilliset arvosanat, kun taas toises-sa arviointikokeilussa ne yhdistettiin yhdeksi kokonaisuudeksi ja niistä annettiin yksi arvo-sana kummastakin. Osaamisalueiden yhdistäminen yhdeksi kokonaisuudeksi ja arvosanak-si johtui siitä, että ensimmäisessä arviointikokeilussa näiden valmiuksien arviointi koettiin hankalaksi ja niiden katsottiin pirstaloivan arviointia. Arvioinnin hankaluus johtui suurelta osin opetussuunnitelman perusteista, joissa ko. valmiuksien sisältöjä ei ole määritelty ja avattu kovinkaan laajasti eikä niille ole laadittu arviointikriteereitä. Tämä heijastuu myös kansallisiin näyttöaineistoihin, joissa on yleiset osaamis- ja kriteerikuvaukset ydinosaami-selle ja yhteisille painotuksille ja niistä annetaan yksi arvosana kummastakin. Ensimmäises-sä arviointikokeilussa laadittuja ydinosaamisen ja yhteisten painotusten kuvauksia hyödyn-nettiin vasta myöhemmin opetussuunnitelmien perusteiden tarkistamisen yhteydessä. Molemmissa arviointikokeiluissa havaittiin tilastollisesti merkitseviä eroja arvosanoissa tutkintojen ja oppilaitosten välillä. Erojen syitä on tämän aineiston pohjalta vaikea määrit-tää, mutta ne voivat johtua esimerkiksi oppilaitosten erilaisesta arviointikulttuurista, arvioi-jien arviointitavoista ja arviointiosaamisesta, arviointikriteerien erilaisista tulkinnoista tai todellisista eroista opiskelijoiden osaamisessa.

3,573,7

3,52

4,093,99 3,91

3,76

3,513,37

3,65 3,573,54

3,853,65

0

0,5

1

1,5

2

2,5

3

3,5

4

4,5

1 2 3 4 5 6 7

Pilotti I Pilotti II

1 = Työprosessin hallinta 5 = Ydinosaaminen 2 = Työtehtävän hallinta 6 = Yhteiset painotukset 3 = Työn perustana olevan tiedon hallinta 7 = Opintokokonaisuuden näytön arvosana 4 = Työturvallisuuden hallinta

Kuvio 7 Arvosanojen keskiarvot arvioinnin eri kohteilla sekä opintokokonaisuuden näytön arvosanan kes-kiarvot arviointikokeiluissa (pilotti I ja II)

38

Arviointikokeilut osoittivat, että näyttöjen toteuttamistavat, suorituspaikat ja arviointikäy-tännöt vaihtelevat paljon tutkinnoittain. Molemmissa arviointikokeiluissa yli puolet näy-töistä (pilotti I 57 %, pilotti II 58 %) toteutettiin oppilaitoksessa. Työpaikalla toteutettuja näyttöjä oli molemmissa kokeiluissa noin 42 % näytöistä. Alakohtaisesti tarkasteltuna näyttöpaikka jakautui jyrkästi: sosiaali- ja terveysalalla (sosiaali- ja terveysalan perustutkin-to) lähes kaikki näytöt (noin 99 %) toteutettiin työpaikalla ja tekniikan ja liikenteen alan näytöistä noin 75 % tehtiin oppilaitoksessa. Näytön yhteisarviointi (opettaja, opiskelija ja työelämän edustaja) toteutui vajaassa puolessa (noin 45 %) arviointikokeilujen näytöissä. Ensimmäisessä kokeilussa noin kolmannes (30,3 %) ja toisessa kokeilussa noin 50 % näy-töistä oli opettajan yksin arvioimia. Näyttöjen yhteisarviointi toteutuu parhaiten silloin, kun näyttö toteutetaan työpaikalla. Tuloksia kyselyjen pohjalta

Molemmissa arviointikokeiluissa eri osapuolet kokivat osallistuneensa näytön suunnitte-luun kohtalaisen aktiivisesti. Aktiivisimmin näytön suunnitteluun kokivat osallistuneen opettajat. Opiskelijoiden ja työelämän edustajien osallistuminen näytön suunnitteluun li-sääntyi ensimmäisestä kokeilusta. Eri osapuolten mukaan arviointikokeiluissa toteutetut näytöt vastasivat hyvin työelämässä vaadittavaa osaamista ja ne mahdollistivat hyvin laaja-alaisen ammatillisen osaamisen näyt-tämisen. Myös näytön tavoitteita eri osapuolet pitivät molemmissa kokeiluissa selkeinä ja näytöissä pystyi hyvin hyödyntämään työssäoppimisjaksolla opittuja asioita. Myös näytössä arvioitava osaaminen ja arvioinnin kriteerit olivat hyvin tiedossa eri osapuolilla ennen näyttöä. Molemmissa kokeiluissa parhaiten ne olivat opettajien ja työelämän edustajien tiedossa, heikoiten opiskelijoiden. Eri osapuolet pitivät opiskelijoille annettuja arvosanoja hyvinkin oikeudenmukaisina mo-lemmissa kokeiluissa. Erityisesti opettajat ja työelämän edustajat pitivät näyttöjä myös ver-tailukelpoisina eri opiskelijoiden ja oppilaitosten kesken. Opiskelijat kokivat arvosanojen vertailukelpoisuuden kohtalaiseksi. Kaikkien osapuolten mukaan näyttöjen arvosanojen vertailtavuutta heikentää erityisesti se, että näyttöpaikat ja näytöissä suoritettavat tehtävät vaihtelevat liian paljon opiskelijoiden välillä. Kaikki osapuolet pitivät näytön yhteisarvioin-tia erittäin tarpeellisena. Kummassakin kokeilussa kaikkien osapuolten mielestä näytöt antoivat hyvin palautetta opiskelijoiden vahvuuksista ja kehittämistarpeista. Lisäksi niiden katsottiin tukevan hyvin opiskelijoiden oppimista ja ammatillista kasvua. Ylipäätään opiskelijat pitivät näyttöjä hyö-dyllisinä ja tarpeellisina. Myös työelämän edustajat ja erityisesti opettajat pitivät näyttöjä melko hyödyllisinä oman työn ja sen kehittämisen kannalta. Näyttöjen katsottiin myös edistäneen oppilaitoksen ja työelämän välistä yhteistyötä varsin hyvin. Molemmissa kokeiluissa näyttöjen keskeisimmäksi kehittämistarpeeksi eri osapuolet mai-nitsivat arviointikriteerien selkiyttämisen ja yksinkertaistamisen. Opettajat ja opiskelijat toivoivat myös ajallisesti pidempikestoisempaa, ns. jatkuvaa näyttöä, jossa työssäoppimi-nen ja näyttö liittyisivät kiinteämmin yhteen, niin ettei erillisiä näyttöpäiviä tarvittaisi jak-son loppuun.

39

Oppilaitoskohtaisten palauteraporttien hyödyllisyys Arviointikokeilussa mukana olleet oppilaitokset saivat oppimistuloksista ja kyselyjen tu-loksista oppilaitoskohtaiset palauteraportit keväällä 2003 ja syksyllä 2006 ja 2007. Ensim-mäisessä kokeilussa oppilaitokset saivat oppimistulosten ja kyselyjen lisäksi palautteen myös ulkoisesta laadunvarmennuksesta. Liitteessä 8 on esimerkki oppilaitoskohtaisesta palauteraportista. Ensimmäisen arviointikokeilun jälkeen kokeilussa mukana olleilta opettajilta, rehtoreilta ja näyttöaineistojen kehittäjiltä kerättiin palautetta arviointikokeilusta ja sen yhteydessä to-teutetusta ulkoisesta laadunvarmennuksesta sekä oppilaitoskohtaisista palauteraporteista (ns. pikapalautteet). Opettajat ja oppilaitosten johto kokivat erityisesti oppilaitoskohtaiset palauteraportit kaikkien mielenkiintoisimpina ja hyödyllisimpinä oman työn kannalta. Myös laadunvarmennukseen liittyneet arviointikäynnit ja niistä saatu vuorovaikutteinen palaute olivat olleet hyödyllisiä. Arviointikokeilussa saatua palautetta aiottiin käyttää omien opetussuunnitelmien kehittämisessä, näyttöjen toteuttamisessa ja arviointikäytäntöjen ke-hittämisessä. Palautetta voitiin hyödyntää myös osana oppilaitoksen laatujärjestelmän ja henkilöstön kehittämistä. Opettajat kokivat saaneensa ulkoisesta laadunvarmennuksesta henkilökohtaisestikin hyötyä oman opetuksensa kehittämiseksi. (Räkköläinen 2005.) En-simmäisen arviointikokeilun palautekyselyn lomake ja tulosten yhteenveto on liitteessä 9. Toisessa arviointikokeilussa oppilaitokset saivat palauteraportit omista tuloksistaan ensin syksyllä 2006 ja toisen kerran syksyllä 2007. Ensimmäisten palauteraporttien jälkeen arvi-ointikokeiluun osallistuneiden oppilaitosten johdolta pyydettiin palautetta oppilaitoskoh-taisten palautteiden sisällöstä, käyttökelpoisuudesta, rakenteesta ja ulkoasusta. Lisäksi heil-tä tiedusteltiin, millaisista asioista tietoa tulisi kerätä, jotta sitä voisi hyödyntää oppilaitok-sen itsearviointi- ja muussa kehittämistyössä. Oppilaitoksen johto piti oppilaitoskohtaisia palautteita pääosin luotettavina, selkeinä ja hyödyllisinä. Erityisesti oppilaitoskohtaiset tulokset oppimistuloksista ja kyselyjen tuloksis-ta suhteutettuna kansalliseen tulokseen koettiin hyödyllisenä ja käyttökelpoisena. Tulosten luotettavuutta ja sitä kautta vertailtavuutta epäiltiin jonkin verran, koska arviointiosaami-nen ja arviointikriteerien tulkinta vaihtelevat yksilöittäinen. Saatua palautetta aiottiin hyö-dyntää muun muassa opiskelijoiden ohjauksen ja näyttöjen ohjeistuksen kehittämisessä, näyttöjen ja työssä oppimisen kehittämisessä sekä opetussuunnitelman, opetuksen ja arvi-oinnin kehittämisessä. Palautteissa tuli esille, että oppilaitokset kaipaavat nopeaa ja systemaattista palaute- ja ver-tailutietoa kehittämistyön pohjaksi. Palaute tulisi saada sähköisessä muodossa tutkinto- ja opintokokonaisuuskohtaisesti. Varsinaisten tulosten lisäksi kaivataan myös analysoitua tie-toa tulosten syistä. Oppimistulosten lisäksi palautetta tulisi johdon mukaan kerätä myös opiskelijoiden sijoittumisesta, koulutuksen läpäisystä, kansallisten näyttöaineistojen hyö-dynnettävyydestä sekä eri oppilaitosten esimerkkejä samaan opintokokonaisuuteen laadi-tuista näyttötehtävistä ja näyttöympäristöistä sekä niiden suorittamiseen ja seurantaan käy-tetystä ajasta. Yhteenveto kyselyn tuloksista on liitteessä 10.

40

5 VERTAISARVIOINNIN KEHITTÄMINEN OSAKSI NÄYTTÖPERUSTEISEN ARVOINNIN LAADUN-VARMENNUSTA

5.1 Vertaisarvioinnin kehittäminen Koppi-hankkeessa

Vertaisarviointia osana näyttöperusteisen arvioinnin laadunvarmennusta kehitettiin ja tes-tattiin ensimmäisestä arviointikokeilusta (vuodesta 2002) lähtien. Vertaisarvioinnin kehit-täminen lähti liikkeelle ns. External moderation -tilaisuutena, jossa alakohtaisesti eri oppi-laitosten ja työelämän edustajat vertailivat keskustellen kokemuksiaan näyttöjen toteutta-misesta ja arvioinnista. Tämän jälkeen vertaisarviointia syvennettiin ja laajennettiin kos-kemaan koko näyttötoimintaa näytön suunnittelusta näytön toteuttamiseen ja arviointiin, sillä arviointikokeilut osoittivat, että riittävän luotettavan ja käyttökelpoisen arviointitie-don tuottaminen edellyttää näyttötoiminnan laadun varmentamista. Hyvät kokemukset vertaisarvioinnista ja näyttöjen laadunvarmennuksesta johtivat Koppi-hankkeessa ajatuk-siin pysyvästä yhdessä oppimisen toimintamallista. (ks. lisää vertaisarvioinnin kehittämi-sestä Räkköläinen & Stenvall 2008.) Kehittämishankkeen toisessa arviointikokeilussa (vuosina 2004–2007) ryhdyttiin laajem-min kehittämään neuvotteluun perustuvia ja eri osapuolten osallistumista tukevia mene-telmiä. Näin Koppi-hankkeessa syntyi ajatus vertaisarvioinnista näyttötoiminnan laadun-varmennuksen menetelmänä. Vertaisarvioinnin yleiseksi tavoitteeksi asetettiin näyttöjen ja arvioinnin laadun varmistaminen. Tavoitteena oli myös saada palautetta arviointikäytäntö-jen kehittämiseksi. Tavoitteena oli myös, että koulutuksen järjestäjät toteuttaisivat tulevai-suudessa keskenään vertaisarviointia ja hyödyntäisivät toisilta opittuja hyviä käytäntöjä ammattiosaamisen näyttöjen järjestämisessä ja arvioinnissa. Vertaisarvioinnille ei ole olemassa yksiselitteistä määritelmää eikä yhtä tapaa toteuttaa sitä. Koppi-projektissa vertaisarviointi määriteltiin väljästi painottaen oppimisen ja arvioinnin näkökulmia. Vertaisarvioinnilla tarkoitettiin saman tehtävän, ongelman tai haasteen paris-sa työskentelevien opettajien ja muiden opetus- ja ammattialan asiantuntijoiden työn ja oman osaamisen kehittämistä. Vertaisarvioinnin keskeisintä toimintaa on vertaisten teke-mät järjestelmälliset ja kriittiset arvioit toisten toiminnasta. Koppi-hankkeessa lähdettiin liikkeelle siitä, että vertaisarviointi tehdään aina ennalta sovittuihin toiminnan kohteisiin tai aihealueisiin kuten ammattiosaamisen näyttötoiminta ja opiskelijoiden työssäoppimi-nen. Vertaisarvioinnin on myös perustuttava ennalta sovittuihin kriteereihin ja kokeneen kollegan tai muun asiantuntijan ammattitaitoon. Vertaisarvioinnin kehittämisessä olivat alusta pitäen mukana Koppi-projektiin kuuluvat projektipäälliköt. Mukana vertaisarvioinnissa oli useita oppilaitoksia, opettajia, työelämän edustajia, työpaikkoja ja opiskelijoita. Projektissa keskusteltiin paljon siitä, miten ammat-tiosaamisen näyttöjärjestelmään kohdistuva vertaisarviointi tulisi toteuttaa ja mikä on sen tarkoitus. Lähtökohtana oli, että vertaisarvioinnin tulisi tukea ammattiosaamisen näyttö-järjestelmän kehittämistä. Koppi-hankkeessa luotiin vertaisarviointiin yhteinen toiminta-malli ja sovittiin periaatteet vertaiskäynnille. Samalla määriteltiin näyttötoiminnan arvioin-nin kohteet. Arvioinnin perustaksi tehtiin arviointikriteerit koulutuksen järjestäjän näyttö-toimintaa varten. Lisäksi kehitettiin palauteraportti vertaisarvioinnin vastaanottavalle or-

41

ganisaatiolle. Palautteen oli oltava suullinen ja kirjallinen. Sovittiin myös, että vertaisarvi-oinnissa on annettava kehittämissuosituksia vertaiskumppanille toiminnan parantamiseksi. Näin Koppi-hankkeessa lähdettiin toteuttamaan vertaisarviointikokeiluja. Ensin työ teh-tiin osana projektia ja sitten myöhemmin oppilaitosten toteuttamina omina hankkeina. Ensimmäiset vertaisarvioinnin kokeilut tehtiin Opetushallituksen koordinoimana vuonna 2005. Niissä arviointi kohdistui nimenomaan näyttöjen käytännön toteuttamiseen. Ennen käyntejä vertaisarvioitsijat perehtyivät vertaisarvioinnin periaatteisiin ja ammattiosaamisen näyttöjärjestelmään sekä laadukkaasti toimivan järjestelmän kriteereihin. Ennen ensim-mäisiä käyntejä projektissa järjestettiin myös vertaisarvioinnin valmennusohjelma, koulu-tettiin vertaisarvioijat ja laadittiin tukimateriaalia käyntien toteuttamiseen. Yhteisiä, kokei-levia vertaisarviointikäyntejä toteutettiin Opetushallituksen koordinoimana kaksi. Mo-lemmista käynneistä annettiin vastaanottavalle koulutusorganisaatiolle päivän päätteeksi suullinen palaute. Kirjallinen palaute käynnistä lähetettiin vertaiskumppanille myöhem-min. Kokemukset vertaisarvioinnin kokeiluista olivat erittäin myönteisiä. Vertaiskäyntien aika-na Koppi-projektin projektipäälliköt saivat mahdollisuuden syventää omaa asiantuntijuut-taan näyttöjen toteuttamisesta käytännössä. Samalla omakohtainen kokemus vertaisarvi-oinnista ja arvioijana toimimisesta vahvistui. Käynnit antoivat tietoa myös opiskelijan ar-vioinnin toteutumisesta. Opetushallituksen koordinoimien kokeilujen jälkeen vertaisarvi-oinnin kehittämistä jatkettiin oppilaitosten johtamissa Konsensus-, Blanco 1-2-3-, Arvo- ja Sote Järkevä -projekteissa, joiden projektipäälliköt ottivat vastuun vertaisarviointikäyn-tien suunnittelusta ja toteutuksesta ja sovelsivat yhteisiä periaatteita omiin hankkeisiinsa. Konsensus- ja Blanco 1-2-3 -projektit järjestäytyivät alueelliseksi yhteistyöverkostoksi ja tekivät yhteisen vertaisarviointikokeilun tekniikan ja liikenteen alalla. Sote Järkevä -projektissa vertaisarvioinnit tehtiin oppilaitosten välisinä valtakunnallisina kokeiluina, joissa pääpaino oli ammattiosaamisen näyttöjen laadunvarmennuksessa. Vertaisarviointi-kokeilut tehtiin sosiaali- ja terveysalalla sekä kolmella muulla alalla, samoin vertaisarvioijat olivat usean eri alan edustajia. Arvo-projektissa vertaisarviointia kehitettiin erityisesti oman näyttötoiminnan arviointiin pintakäsittely-, verhoilu- ja veneenrakennusalalla. Oppilaitosten johtamat vertaisarviointikokeilut toteutettiin Koppi-projektissa saatujen kokemusten pohjalta, sen periaatteita noudattaen ja siinä laadittuja materiaaleja hyödyntä-en. Jokaisessa projektissa vertaisarvioinnit tehtiin kuitenkin omalla tavallaan soveltaen ja kehittäen työmenetelmiä, arviointilomakkeita ja palautetta. Projektien omissa hankkeissa-kin vertaisarviointi on tarkoittanut vertaisten toisistaan tekemää arviointia, jonka tavoit-teena on yhteisesti kehittää oppilaitoksen toimintaa, havainnoida ja määritellä toiminnan vahvuuksia ja keskustella kehittämiskohteista. Kokeilut johtivat Koppi-projektissa vertaisarvioinnin jatkohankkeeseen, jonka koor-dinoinnista vastasi Opetushallitus. Jatkohankkeen1 tavoitteena oli selvittää, miten ver-taisarvioinnin voisi tulevaisuudessa liittää osaksi näyttöjärjestelmää ja sen laadunvarmen-nusta. Lisäksi jatkohankkeessa tuli tehdä opetusministeriölle esitykset siitä, miten ver-

1 Koppi-hankkeen jatkohankkeessa (1.1.2008–30.4.2008) kokoontui Opetushallituksen johtama vertaisarvioinnin kehittämisryhmä, jonka jäseninä olivat lehtori Taru Dorra (Hämeen ammattikorkeakoulu, ammatillinen opettajakorkeakoulu), koulutussuunnittelija Esko Hirvo-nen (Altia Corporation), projektisuunnittelija Laura Jauhola (Opetushallitus), lehtori Petri Kallionpää (Helsingin palvelualojen oppilaitos), lehtori Erja Kotimäki (Oulun seudun ammattiopisto), kehitysjohtaja Pia Lagercrantz (Turun ammatti-instituutti), opetusneuvos Mari Räkköläinen (Opetushallitus), erikoissuunnittelija Kirsti Stenvall (Opetushallitus) sekä koulutuspäällikkö Tarja Vartiainen (Lindström Oy).

42

taisarviointia voitaisiin jatkossa toteuttaa osana kansallista arviointitiedon tuottamista. Lähtökohtana tuli olla, että vertaisarviointi tukee ammattiosaamisen näyttöjen toteutta-mista, laadun varmistamista ja parantamista sekä kansallista seurantatiedon tuottamista ammattiosaamisen näytöistä. Jatkohankkeessa tuotettiin myös ”Arvioi, opi ja kehity. Näyttötoiminnan laadunvarmennusta vertaisarvioinnilla” -julkaisu (Räkköläinen & Sten-vall 2008) vertaisarvioinnin soveltamisesta näyttötoiminnan kehittämiseen ja laadun var-mistamiseen. Julkaisussa on case -kuvaukset projektien vertaisarviointikokeiluista. Taulukossa 2 on esitetty vertaisarvioinnin kehittämistyön vaiheet Koppi-hankkeessa.

Taulukko 2 Vertaisarvioinnin kehittäminen KOPPI-hankkeessa

Ajankohta Toteuttaja Toiminta

2002–2003

OPH

External moderation: saman alan eri oppilaitosten opettajat ja työelämän edustajat vertailivat arviointikokemuksia ja -tuloksia ja vaihtoivat näkemyksiään näytön ja arvioinnin toteutumises-ta. Sovellettiin ensimmäisessä arviointikokeilussa (pilotti I).

2005

OPH

Kaksi vertaisarviointikokeilua. Perehtyminen vertaisarvioinnin periaatteisiin, arviointikriteeristön ja -lomakkeen laadinta, arviointikäynnit näyttötilanteisiin, arviointipalautteen antami-nen oppilaitokselle suullisesti ja kirjallisesti, vertaisarvioinnin toimintamallin luominen.

2006–2007

Blanco-, Arvo-, ja Sote Järkevä -projektit

Projektien vertaisarviointikokeilut Perehdytty vertaisarvioinnin periaatteisiin, koulutettu vertais-arvioijia, kehitetty vertaisarvioinnin arviointityökaluja ja tuki-materiaalia, tehty useita arviointikäyntejä näyttötilanteisiin.

2007–2008

OPH

Kehitetty vertaisarvioinnin valmennusohjelma ja toiminta-malli, järjestetty vertaisarviointiin liittyviä koulutustilaisuuksia sekä vertaisarvioinnin levittämisseminaari, laadittu opas ver-taisarvioinnin toteuttamiseen. Julkaisu vertaisarvioinnista.

5.2 Vertaisarviointikokeilut Koppi-hankkeessa

Koppi-hankkeessa vertaisarvioinnin kohteeksi päätettiin rajata koulutuksen järjestäjän to-teuttama ammattiosaamisen näyttöjen käytännön suunnittelu, toteuttaminen ja arviointi. Arvioinnin kohteille laadittiin näyttöjen laatuvaatimusten pohjalta yhteinen arviointikritee-ristö. Vertaisarvioinnin toteutti arviointiryhmä, jossa olivat mukana arvioitavan alan/tut-kinnon opettajia ja muun koulutusalan edustaja. Ryhmään kuuluivat myös projektipäälli-köt ja Opetushallituksen arviointiryhmän edustaja. Koko ryhmä osallistui kahden päivän mittaiseen valmennusohjelmaan. Tämän lisäksi Opetushallitus järjesti palautepäivän ver-taisarvioinnin kokemusten jakamiseksi. (Räkköläinen & Stenvall 2008.) Vertaisarviointikäynnin ohjelma suunniteltiin yhdessä vertaiskumppanin kanssa. Vertais-kumppani oli vastuussa vierailupäivän käytännön järjestelyistä. Vertaisarviointiryhmä vas-tasi arvioinnin sisällöllisestä toteuttamisesta. Kaikilla käynneillä tutustuttiin ja arvioitiin näyttöjen käytännön toteuttamista ja tehtiin käynti näyttöpaikkoihin. Ryhmä osallistui li-säksi näyttöjen arviointitilaisuuteen ja haastatteli koulutuksen järjestäjän edustajia, oppilai-toksen johtoa, opettajia, opiskelijoita ja työpaikkaohjaajia. Havainnointia ja haastatteluja

43

käynnillä ohjasivat yhdessä laaditut arviointilomakkeet ja haastattelukysymykset. (ks. liite 8. Arvioinnin kohteet ja kriteerit vertaisarviointikäynnillä.) Koulutuksen järjestäjältä pyydettiin ennakkoon ammattiosaamisen näyttöjä koskevaa ma-teriaalia. Tällaista aineistoa ovat esimerkiksi koulutuksen järjestäjän opetussuunnitelma, jossa on esitettynä opiskelijan arvioinnin ja ammattiosaamisen näyttöjen toteuttamisen pe-riaatteet. Arvioinnin kannalta kiinnostavaa näyttöjä koskevaa materiaalia on myös toimi-elimen hyväksymä ammattiosaamisen näyttöjen toteuttamista ja arviointia koskeva suun-nitelma sekä näyttöjä koskevat esitteet ja perehdytysmateriaali. Vertaisarvioinnista annettiin palaute vertaiskumppanille. Palaute annettiin suullisesti heti käyntipäivän päätteeksi ja myöhemmin vertaiskumppanille toimitettiin kirjallinen palaute-raportti. Palaute kohdistui koko näyttötoimintaan, ja se annettiin ennalta sovituista arvi-ointikohteista. Palaute perustui arviointikriteereihin sekä vertaiskumppanin lähettämään materiaaliin. Samoin se perustui niihin haastatteluihin ja havaintoihin, jotka arvioijat kirja-sivat käynnin aikana arviointilomakkeisiin. Lopullinen palauteraportti tehtiin arviointi-ryhmän yhteisen näkemyksen pohjalta.

Taulukko 3 Vertaisarviointikäynnin toteuttaminen (Räkköläinen & Stenvall 2008, 19)

Ammattiosaamisen näytöistä vastaavien henkilöiden sekä johdon haastattelut

Vertaisarvioijat haastattelevat näytöistä vastaavia henkilöitä ja oppilaitoksen johtoa (esim. rehtori, koulutusalavastaava, laatu-, kehittämispäällikkö) näyttöjen toteuttamiseen ja arvioin-tiin liittyvistä aiheista. Kuhunkin haastatteluun varataan aikaa noin tunti.

Näyttöympäristöön (ja näyttöön) tutustuminen

Vertaisarvioijat tutustuvat näyttöympäristöön näytöstä vastaavan opettajan ja/tai työpaikan edustajan opastamana. Heitä pyydetään kertomaan näytöstä (näytön kuvaus) ja näyttöjen ar-viointitilanteesta. Myös opiskelijoita voi osallistua esittelykierrokselle. Tässä yhteydessä voi-daan keskustella näytön tavoitteista ja arvioitavista osaamisalueista.

Ammattiosaamisen näytön arviointitilaisuuteen osallistuminen

Vertaisarvioijat osallistuvat näyttöjen arviointitilaisuuteen mahdollisuuksien mukaan. He eivät ota osaa varsinaiseen opiskelijan arviointikeskusteluun. Arviointitilaisuudessa katsotaan mm. arviointikriteereiden toimivuutta, eri osapuolten antamia arviointiperusteita sekä arvioinnin dokumentointia. Ammattiosaamisen näytön arviointiin osallistuneen opiskelijan, opettajan ja työelämän edustajan haastattelut

Vertaisarvioijat haastattelevat eri osapuolia näyttöjen toteuttamiseen ja arviointiin liittyvistä aiheista. Opiskelijaa, työelämän edustajaa ja opettajaa haastatellaan erikseen, kunkin haastatte-lun kesto on noin 45 minuuttia.

Palautteen antaminen

Vertaisarvioinnin päätteeksi annetaan suullinen palaute yhteisessä keskustelutilaisuudessa. Tilaisuudessa voivat olla mukana kaikkia vierailupäivään osallistuneet. Tilaisuuteen varataan aikaa noin 45 minuuttia. Myöhemmin oppilaitokselle toimitetaan kirjallinen yhteenveto arvi-ointikäynnistä.

44

Kehittämistyön yhteydessä järjestettiin myös Opetushallituksen johdolla useita vertaisar-viointiin liittyviä koulutustilaisuuksia ja seminaareja sekä koulutettiin vertaisarvioijia. Ke-hittämistyön päätteeksi järjestettiin vielä vertaisarvioinnin levittämisseminaari, jossa esitel-tiin vertaisarviointikokeiluissa kehitettyjä työvälineitä ja muuta materiaalia vertaisarvioin-nin toteuttamiseen.

5.3 Vertaisarvioinnin kehittämistyön ja kokeilujen tuloksia

Koppi-hankkeessa mukana olleet projektipäälliköt ja opettajat pitivät vertaisarviointia so-pivana ja kehittämisen arvoisena työmenetelmänä ammattiosaamisen näyttötoiminnan ar-viointiin. Vertaisarvioinnin aikana oli mahdollista tutustua näyttöihin vertaisorganisaatios-sa ja samalla peilata työssäoppimisen käytännön järjestelyjä oman organisaation vastaaviin järjestelyihin. Näyttöjen seuraaminen ja vertailu antoivat tietoa työelämän näyttöympäris-töistä, työssäoppimisen ja näyttöjen yhteensovittamisesta, opiskelijan arvioinnista, palaut-teen antamisesta opiskelijalle ja arviointikeskusteluista. Vertaisarvioinnissa tarkasteltiin vertaisorganisaation näkemyksiä siitä, miten ammat-tiosaamisen näyttöjärjestelmää kehitetään seuraavina vuosina. Käynnin aikana keskustel-tiin organisaatioiden edustajien kanssa näyttöjärjestelmän vahvuuksista ja niistä kehittä-mistarpeista, joita organisaatio itse oli tuonut esille. Vertaisarvioijat puolestaan kertoivat omista havainnoistaan ja toivat esille omia kehittämisehdotuksiaan. Vertaisarvioijien pa-lautteet annettiin kumppanille suullisena ja kirjallisena. Vertaisarvioinnissa ammattiosaamisen näyttöjärjestelmää tarkasteltiin kriteerejä vasten. Kriteerit laadittiin ja työstettiin nimenomaisesti ammattiosaamisen näyttötoiminnan arvi-ointiin. Kriteerien tarkoituksena hankkeessa oli varmistaa vertaisarvioinnin yhdenmukai-suus. Kriteerit tukivat myös vertaisarvioijien työtä. Niiden avulla vertaisarvioijat pohtivat, miten ammattiosaamisen näyttöjen ja työssäoppimisen toteutuminen vastaavat koulutuk-sen lainsäädännön ja koulutuksen järjestäjän niille asettamia tavoitteita. Projektissa mukana olleet projektipäälliköt ja opettajat keskustelivat vertaisarvioinnin tu-loksista ja vertaiskäynteihin liittyvistä kokemuksista. Useissa keskusteluissa tuli esille pal-jon yhteisiä näkemyksiä, jotka vahvistivat kaikkien osaamista ja asiantuntijuutta. Yhdessä todettiin, että vertaisarviointi on oivallinen työmenetelmä oman toiminnan kehittämisessä ja itsearvioinnissa. Menetelmä on yhteensopiva muiden oman organisaation kehittämiseen tarkoitettujen laadunhallintamenetelmien kanssa. Vertaisarviointi ei ole sidoksissa mihin-kään laadunhallinnan menetelmään, vaan organisaatiot voivat käyttää sitä muiden laadun-hallintamenetelmien rinnalla. Vertaisarvioinnin vaikuttavuus Tavoitteena oli, että vertaisarviointia voidaan käyttää ammattiosaamisen näyttötoiminnan laadunvarmennusmenetelmänä. Kokeiluissa onkin tuotettu runsaasti kokemusperäistä tie-toa vertaisarvioinnista työmenetelmänä osana ammattiosaamisen näyttöjen kehittämistä. Esiin nousi seuraavia vertaisarviointia ja ammattiosaamisen näyttöjä koskevia tuloksia: (ks. tarkemmin vertaisarvioinnin julkaisusta Räkköläinen & Stenvall 2008).

45

Vertaisarvioinnin pedagoginen hyödyllisyys Vertaisarviointi tukee opettajan asiantuntijuutta ja oppimista. Vertaisarvioinnista saatu tieto sulautuu osaksi omaa kokemus- ja tietoperustaa ja oman organisaation toimin-nan suunnittelua. Vertaisarviointi parhaimmillaan jäsentää ja selkiyttää opettajan omaa työtä ammattiosaamisen näyttöjen suunnittelussa ja arvioinnissa.

Vertaisarvioinnin dialogisuus Vertaisarviointi perustuu avoimeen vuoropuheluun. Hyvä vuorovaikutus on vasta-vuoroista ja kollegiaalista keskustelua. Vertaisarviointi edellyttää, etteivät arvioijat rat-ko ongelmia kumppanien puolesta, vaan auttavat heitä tunnistamaan oman toiminnan parantamiskohteet. Haasteena on, että vertaisarvioijat osaavat antaa palautetta havaitsemistaan kehittä-miskohteista, puutteista tai jopa virheistä.

Ammattiosaamisen näytöt ja työssäoppiminen Vakiintunut vertaisarviointi edellyttää, että koulutuksen järjestäjä on julkilausunut toiminnan kehittämisen ja arvioinnin prosessit, joihin vertaisarvioinnin kokemukset voidaan liittää. Vertaisarviointi tuo hyvin esille ammattiosaamisen näyttöjen sekä työs-säoppimisen vahvuuksia ja kehittämistarpeita.

Ammattiosaamisen näyttöjen kriteerit Vertaisarvioinnissa arvioinnin on oltava kriteeriperusteista. Kriteerit varmistavat arvi-oinnin kohdistumisen olennaisiin asioihin. Kriteerit tekevät arvioinnista yhdenmukai-sen ja avoimen.

Arvioijan eettisyys, oikeudenmukaisuus ja vastuullisuus Vertaisarvioijien omat arvostukset, näkemykset ja jopa ennakkoasenteet saattavat vai-keuttaa arviointikäyntiä ja käynnin aikana tehtäviä haastatteluja. Tämän vuoksi ver-taisarvioijien ja kumppanin valinta tulee tehdä huolellisesti ja arvioijat on valmennet-tava tehtäväänsä. Arvioijille tulisi järjestää myös mahdollisuus jakaa kokemuksiaan luottamuksellisissa palautekeskusteluissa.

Opettajan arviointiosaaminen Parhaimmillaan vertaisarviointi kasvattaa opettajien arviointiosaamista. Arviointiryh-män jäsenenä opettaja saa kokemuksia ulkopuolisesta arvioinnista, arvioijana toimimi-sesta ja palautteen antamisesta. Myös arvioinnin kohteena oleminen ja palautteen vas-taanottaminen vahvistavat opettajan ammatillista osaamista. Suullisen ja kirjallisen pa-lautteen yhteinen käsittely on hyödyllistä koko työyhteisölle.

Tulosten yhteenvetoa

Vertaisarvioinnin kokeilujen tuloksia voi vielä tiivistää seuraavasti:

Vertaisarvioinnista kehitettiin työväline ammattiosaamisen näyttötoiminnan arvioin-tiin

46

Vertaisarviointi toimintamallina ja työvälineenä kuvattiin ja toteutettiin hankkeissa selkeästi: - Vertaisarvioijille järjestettiin koulutuspäivät ja perehdytysmateriaali - Vertaiskäynnin valmistelut käytiin läpi valmentautumispäivän aikana - Vertaisarvioijien roolit ja tehtävät määriteltiin - Vertaiskäynnille tehtiin päiväohjelma, sovittiin arvioijien työnjaosta ja päivän ve-

tovastuusta - Käyntiorganisaatiossa vertaisarvioinnista tiedotettiin eri osapuolille, erityisesti ar-

viointiin osallistuville opettajalle, opiskelijalle ja työelämän edustajalle - Vertaisarviointikäynnistä annettiin kumppanille suullinen ja kirjallinen palaute.

Vertaisarviointikäynnit nostivat esille muun muassa seuraavia tulevaisuuden kehittämis-tarpeita:

Vertaisarviointitietoa tulisi voida käyttää kansallisen oppimistulostiedon rinnalla

Vertaisarvioijakoulutus tulisi vakiinnuttaa valtakunnallisesti

Ammattiosaamisen näyttöjärjestelmään kohdistuvia arviointikriteereitä tulisi edelleen kehittää

Vertaisarvioinnin tuloksia tulisi hyödyntää valtakunnallisesti, ja tiedot tulisi tuottaa sähköiseen muotoon.

Vertaisarvioinnin katsottiin hyödyttävän koulutuksen järjestäjiä, oppilaitoksia ja opettajia seuraavasti:

Ammattiosaamisen näytön merkitys oppimisessa avautuu oppilaitoksen toimijoille ja työelämän edustajille

Ammattiosaamisen näyttöjen arviointiperiaatteisiin kiinnitetään huomiota; tärkeitä ovat muun muassa arvosanan muodostuminen, oikaisuvaatimusten käsittely, arvosa-nan korottaminen, ammattiosaamisen näytön uusiminen sekä suunnitelma ammat-tiosaamisen näyttöjen toteuttamisesta ja arvioinnista

Opiskelija-arvioinnin taidot vahvistuvat

Opetussuunnitelman perusteet avautuvat syvällisemmin

Työssäoppimisen arviointikriteereihin kiinnitetään paremmin huomiota

Ammattiosaamisen näyttöjen dokumentointiin kiinnitetään paremmin huomiota.

5.4 Suosituksia ja näkökulmia tulevaisuuteen

Vertaisarvioinnin tarkoituksena on ollut varmistaa ammattiosaamisen näyttöjen ja arvi-oinnin laatua ja tuottaa palautetta arviointikäytäntöjen kehittämiseksi. Tavoitteena hank-keessa on ollut, että koulutuksen järjestäjät ja oppilaitokset toteuttaisivat tulevaisuudessa keskenään vertaisarviointia ja hyödyntäisivät toisilta opittuja hyviä käytäntöjä ammat-tiosaamisen näyttöjen järjestämisessä ja arvioinnissa. Tarkoituksena on ollut selvittää, mil-lä tavalla vertaisarviointi voitaisiin vakiinnuttaa osaksi näyttötoiminnan kehittämistä ja kansallista oppimistulostiedon tuottamista. Vertaisarvioinnin painopisteen tulisi siirtyä palvelemaan enemmän myös työelämää.

47

Seuraavien suositusten perustana ovat vertaisarvioijien kokemukset ja hankkeessa mukana olleiden projektipäälliköiden ja asiantuntijoiden palautteet vertaisarviointikäynneiltä sekä vertaisarvioinnin kehittämisryhmän pohdinnat. Vertaisarvioinnin käyttäminen ammattiosaamisen näyttöjärjestelmän ja oppimistulosten arvioinnin kehittämisessä.

- Vertaisarvioinnin tulee perustua koulutuksen järjestäjien ja työelämän tarpeisiin ja ammattiosaamisen näyttöjärjestelmän kehittämiseen

- Oppimistulosten kansalliseen arviointiin on hyvä sisällyttää laadullista vertaisarvi-ointitietoa näytöistä

- Koulutuksen järjestäjät päättävät vertaisarvioinnin käytöstä tai sen osuudesta oman toimintansa arvioinnissa

- Mikäli vertaisarvioinnista saatavia tietoja käytetään osana näyttöjärjestelmän laa-dunvarmennusta ja apuna ammattiosaamisen näyttöjen oppimistulostietojen tuot-tamisessa, tulee opetushallinnon vastata sen linjaamisesta, käyttötarkoituksesta ja ohjaamisesta valtakunnallisesti

- Erityistä huomiota on kiinnitettävä vertaisarviointien laadukkaaseen toteuttami-seen; vertaisarvioinnin läpinäkyvyys ja avoimuus tulee säilyttää sekä varmistaa ar-vioinnin ja palautteen kriteeriperusteisuus ja arvioijien kouluttaminen

- Vertaisarvioinnin kehittäminen työvälineeksi vahvistamaan koulutuksen työelä-mäyhteyksiä, ammattiosaamisen näyttöjärjestelmää ja oppimistulosten arviointia

- Koulutuksen työelämäyhteistyössä vahvistetaan vertaisoppimista ja tavoitteellista vuoropuhelua eri toimijoiden kesken

- Vertaisarvioinnin kansallisessa toteutuksessa on tuotava esille ammattiosaamisen näyttöjärjestelmän kehittämistarpeet

- Koulutuksen järjestäjän työelämän kehittämis- ja palvelutehtävää tuetaan ver-taisarvioinnilla

- Kehittämis- ja palvelutehtävän toteuttamiseksi lisätään vertaisarviointia ja ver-taisoppimista tukevaa koulutusta sekä vahvistetaan yhteisellä osaamisella koulu-tuksen paikallista ja alueellista työelämäyhteistyötä

- Työelämän edustajien tulisi osallistua ammattiosaamisen laatuvaatimusten muok-kaamiseen ja kirjoittamiseen

- Työelämäyhteistyön toteutumista tulisi painottaa näyttöjen suunnittelussa ja arvi-oinnissa. Työpaikkaohjaajille tarjottavaa koulutusta tulisi edelleen kehittää ja var-mistaa koulutusten laatu

- Vertaisarviointia tulisi käyttää työelämäyhteistyön ja työelämälle tarjottavan koulu-tuksen seurannan välineenä valtakunnallisesti ja alueellisesti.

Ammatillisen koulutuksen oppimistuloksia ammattiosaamisen näytöistä tulisi seurata si-ten, että koulutuksen järjestäjien ja opetushallinnon yhteistyötä tiivistetään ja ammat-tiosaamisen näytöistä saatavaa palautetietoa hyödynnetään vertaisarvioinnin avulla osana koulutuksen järjestäjän oman toiminnan arviointia

- Vertaisarvioinnin voisi liittää osaksi oppimistulostietojen tuottamista niihin tutkin-toihin, jotka kulloinkin ovat mukana kansallisessa näyttöperusteisessa arvioinnissa

48

- Opetushallitus voisi ylläpitää ”vertaisarviointipankkia”, johon kerättäisiin koulu-tettujen ja kokeneiden vertaisarvioijien tiedot sekä tiedot vertaisarvioinnista kiin-nostuneista koulutuksen järjestäjistä ja oppilaitoksista

- Opetushallituksen tehtävänä olisi koordinoida toiminta ja saattaa eri tahot yhteen sekä koota ”hyvät käytännöt” vertaisarviointikokemusten pohjalta ammattiosaa-misen näyttöjen, työpaikalla tapahtuvan oppimisen ja opiskelijan arvioinnin kehit-tämiseksi

- Vertaisarviointia tulisi laajasti käyttää ammatillisen koulutuksen valtakunnallisten kehittämishankkeiden laadunvarmennuksessa ja samalla tukea hankkeiden tulos-ten levittämistyötä. Vertaisarvioinnin voisi liittää näin osaksi projektia ja sen ul-koista laadunvarmennusta. Vertaisarvioinnin palauteraportit voisivat toimia tällöin projektin seurantaraportteina.

Vertaisarvioinnille on tyypillistä avoin vuoropuhelu ja dialogi arviointiin osallistuvien ta-hojen kanssa. Vertaisarviointi toimiikin oivallisena työvälineenä vaihdettaessa kokemuksia ja siirrettäessä osaamista organisaatiolta ja henkilöltä toiselle. Hyvä vertaisarvioija joutuu arvottamaan toisten työtapoja. Hän tarkastelee myös omia työtapojaan ja peilaa niitä toi-siin. Ammattiosaamisen näytöissä vertaisarviointi avaa mahdollisuuksia kehittää työssä-oppimista ja opiskelijan arviointia. Samalla saadaan tietoa oppimisen tuloksista ja kehittä-mistä kaipaavista osaamisen alueista.

49

6 KEHITTÄMISHANKKEEN TULOKSET

Arviointijärjestelmän kehittämishankkeen (KOPPI) päätavoitteena oli laatia ehdotus kan-sallisesta näyttöperusteisesta oppimistulosten arviointijärjestelmästä sekä sen edellyttämäs-tä laadunvarmennusjärjestelmästä. Tämän lisäksi tavoitteena oli myös laatia ehdotus ja suunnitelma oppilaitosten itsearviointia ja kehittämistyötä tukevasta palaute- ja informaa-tiojärjestelmästä sekä tuottaa raportti 14 perustutkinnon oppimistuloksista. Tässä luvussa on esitelty tiivistetysti ehdotukset kansallisesta arviointi- ja laadunvarmennusjärjestelmästä sekä suunnitelma palaute- ja informaatiojärjestelmästä. Ehdotukset perustuvat arviointi-kokeilujen, laadunvarmennuksen ja vertaisarviointikokeilujen tuloksiin sekä Koppi-hankkeiden toimintaan ja tuotoksiin sekä hankkeen ulkoisen arvioinnin tuloksiin. Luvun lopussa on esitelty Koppi-hankkeessa tuotetut materiaalit ja julkaisut. Oppimistuloksista ja kyselyjen tuloksista on laadittu erillinen raportti. (Arviointikokeilu 2. Raportti oppimistulok-sista ja kyselyn tuloksista. 2004–2007. Moniste 4/2008. Opetushallitus).

6.1 Ehdotus arviointijärjestelmäksi Kehittämistyön ja arviointikokeilujen pohjalta päädyttiin siihen, että kansallinen arviointi-tiedon tuottaminen integroidaan ammatillisten perustutkintojen näyttöihin. Erillisiä tehtä-viä tai näyttöjä ei kansallista arviointitiedon tuottamista varten järjestetä, vaan arviointitie-to tuotetaan suoraan koulutuksen järjestäjän toteuttamista ammattiosaamisen näytöistä. Tietoa kootaan sekä oppimistuloksista että ammattiosaamisen näyttöjen toteuttamisesta. Kansalliset tutkintokohtaiset ammattiosaamisen näyttöaineistot tai tutkinnon perusteet ohjaavat näyttöjen toteuttamista ja korvaavat näin aikaisemmat yhtenevät tehtävät tai ko-keet. Keskeinen arviointia ohjaava periaate on, että oppimistulosten arviointi on tavoitelähtöis-tä ja kriteeriperusteista. Arvioinnin perustana ovat opetussuunnitelman perusteissa (myö-hemmin tutkinnon perusteet) määritetyt tavoitteet. Oppimistulosten arviointi kohdistuu laaja-alaisen ammatillisen osaamisen arviointiin eli toiminnallisen osaamisen, tiedollisen osaamisen, sosiaalisen osaamisen ja reflektiivisen osaamisen arviointiin. Arvioinnin koh-teena on sekä osaaminen että osaamista tuottavat prosessit. Arvioinnin kohteet näytössä ovat kaikissa tutkinnoissa samat ja ne ovat: työprosessin hallinta, työtehtävän hallinta, työn perustana olevan tiedon hallinta, työturvallisuuden hallinta, ydinosaaminen ja yhtei-set painotukset. Näiden arvioinnin kohteiden sisällöt määrittyvät kunkin ammatillisen pe-rustutkinnon opetussuunnitelman perusteiden yleisistä tavoitteista, opintokokonaisuuksi-en tavoitteista ja keskeisistä osaamisalueista. Tutkintokohtaisissa ammattiosaamisen näyt-töaineistoissa on kuvattu opintokokonaisuuksien ammattiosaamisen näytöissä arvioitava osaaminen arviointikohteittain sekä arviointikriteerit kolmelle eri osaamisen tasolle. Vuo-sina 2008–2010 toteutettavan opetussuunnitelmauudistuksen myötä, näytön perusteet tu-levat osaksi tutkinnon perusteita ja näin korvaavat kansalliset näyttöaineistot. Myös arvi-oinnin kohteet ja arvosana-asteikko tulevat opetussuunnitelmauudistuksen myötä muut-tumaan. Ammattiosaamisen näytön arviointi tallennetaan yhtenäisesti kaikissa oppimistulostiedon tuottamisessa mukana olevissa tutkinnoissa. Arviointitieto tallennetaan näytöistä tutkin-noittain, opintokokonaisuuksittain ja arviointikohteittain opiskelija- ja oppilaitoskohtaises-

50

ti. Arviointitieto kootaan ns. seurantamallilla kaikista opiskelijan suorittamista opintoko-konaisuuksien näytöistä. Arviointitietoa kerätään opiskelijoilta koko koulutuksen ajan tut-kinnon suorittamisen loppuun saakka. Näin saadaan kattava kuva kunkin tutkinnon opis-kelijoiden näytöistä, osaamisesta ja valinnoista valtakunnallisella tasolla. Vaihtoehtoisesti kansallinen arviointitieto voidaan koota etukäteen valikoiduista näytöistä. Valinnan perus-teena olisi, että näyttö on riittävän kattava, se on mahdollista tehdä työpaikalla ja siinä ar-vioidaan ammatillisen osaamisen kannalta keskeisiä valmiuksia. Päätös arviointiin otetta-vista näytöistä tehtäisiin yhteistyössä alan asiantuntijoiden kanssa. Tässä vaihtoehdossa on mahdollista joko seurata samoja opiskelijoita koko opintojen ajan tai valita opintojen eri vaiheessa olevia opiskelijoita otokseen, jolloin koko tutkintoa koskevat tulokset on mah-dollista raportoida nopeammin. Sen sijaan tiedon kokoaminen seurantamallilla samojen opiskelijoiden näytöistä koko opintojen ajan kestää noin kolme vuotta. Tämä edellyttää kansallisten ja oppilaitoskohtais-ten tulosten raportointia säännöllisin väliajoin, jotta palautetta voidaan hyödyntää koulu-tuksen kehittämisessä paikallisella ja kansallisella tasolla. Vaikka arviointitieto kerättäisiin-kin kaikista opiskelijan suorittamista näytöistä, voidaan varsinainen tulosten analysointi ja raportointi sekä kansallinen ja oppilaitoskohtainen palaute tehdä vain tietyistä valikoiduis-ta näytöistä. Kansallisen arvioinnin lähtökohtana on, että oppimistulostiedon tuottamisessa ovat mu-kana kaikki opiskelijat ja kaikki koulutuksen järjestäjät, jotka tarjoavat arvioitavaa tutkin-toa opetussuunnitelmaperusteisena. Oppimistulosten lisäksi näytöistä voidaan koota myös muuta tietoa, joka koskee ammattiosaamisen näytöille asetettujen laatuvaatimusten toteu-tumista ja näyttöjärjestelmän toimivuutta.

6.2 Ehdotus laadunvarmennusjärjestelmäksi Arviointikokeilut osoittivat, että luotettavan ja vertailukelpoisen arviointitiedon saaminen edellyttää näyttötoiminnan laadunvarmennusta. Laadunvarmennus edellyttää valintaa si-tovien normien ja suositusten välillä. Kansallisen arvioinnin tulee perustua näyttötoimin-nan yleisiin laatuvaatimuksiin, jotka ovat kansallisen arvioinnin minimilaatuvaatimuksia. Yleiset laatuvaatimukset on johdettu ammattiosaamisen näytöille asetetuista tavoitteista ja näyttöjen toteuttamista ohjaavista säädöksistä ja määräyksistä ja näyttötoiminnalle anne-tuista suosituksista. Laatuvaatimukset ohjaavat näyttöjen suunnittelua, toteuttamista ja ar-viointia ja ne ovat:

Opetussuunnitelmaperusteisuus: Osaamisen, arvioinnin kohteet ja kriteerit vas-taavat opetussuunnitelman perusteita

Työelämälähtöisyys: Näyttöjen suunnittelu, toteuttaminen ja arviointi toteutetaan oppilaitosten ja työpaikkojen yhteistyönä

Tavoitelähtöinen ja kriteeriperusteinen opiskelijan arviointi: Näytön arvioinnille on asetettu ennalta arvioinnin kohteet ja kriteerit, jotka ovat kaikkien osapuolten tiedossa

Laaja-alaisen osaamisen arviointi: Näytöissä tulee arvioida laaja-alaista, toiminnal-lista, tiedollista, sosiaalista ja reflektiivistä osaamista

Arvioinnin ja dokumentoinnin yhdenmukaisuus ja läpinäkyvyys: Osaamisen arvi-oinnin kohteet ja kriteerit ovat yhtenevät kaikissa tutkinnoissa ja näyttöjen arvi-ointi tallennetaan kaikissa tutkinnoissa yhdenmukaisella tavalla.

51

Yleisten laatuvaatimusten lisäksi arviointikokeilujen pohjalta ehdotetaan seuraavia suosi-tuksia kansalliseen arviointiin:

Näytöt toteutetaan mahdollisimman aidoissa työelämän tilanteissa, työpaikalla. Arviointikokeilut osoittivat, että työpaikalla toteutettavat näytöt mahdollistavat oppilaitosnäyttöjä paremmin laaja-alaisen ammatillisen osaamisen näyttämisen

Näytön arviointi toteutetaan yhteisarviointina opettajan, opiskelijan ja työelämän edustajan kanssa. Yhteisarvioinnilla varmistetaan kriteeriperusteisen, luotettavan ja oikeudenmukaisen arvioinnin toteutuminen.

Minimilaatuvaatimusten ja suositusten lisäksi kansallisen arvioinnin laadunvarmennuksek-si ehdotetaan vertaisarviointia sekä arviointikokeiluissa kehitettyjä ja testattuja opettajan, opiskelijan ja työelämän edustajien taustakyselyjä. Kyselyiden avulla seurataan näyttöjär-jestelmälle asetettujen tavoitteiden ja laatuvaatimusten toteutumista sekä näyttöjen käy-tännön toteuttamista. Tieto näyttökäytännöistä auttaa koulutuksen järjestäjiä omien näyt-tötoimintaa koskevien ratkaisujen tekemisessä ja tuo esiin ns. hyviä käytäntöjä. Kyselyn teemat ja painopisteet voivat vaihdella ja ne voidaan valita oppimistulosten seu-rannan tulosten ja esille tuomien kehittämiskohteiden mukaan. Teemoissa voidaan myös painottaa koulutuspoliittisesti merkittäviä asioita (esimerkiksi erityisopiskelijat, pienet alat/ tutkinnot, opiskelijakadosta kärsivät, opintojen keskeyttäminen). Myös työelämäyh-teistyön toteutumista paikallisella tasolla voidaan seurata kyselyiden avulla. Vertaisarvioinnin tavoitteena on varmistaa ammattiosaamisen näyttöjen ja arvioinnin laa-tua ja tuottaa palautetta arviointikäytäntöjen kehittämiseksi. Vertaisarviointi tuo tietoa eri-tyisesti paikalliseen näyttötoiminnan ja työelämäyhteistyön kehittämiseen. Seuraavassa kuviossa on ehdotus kansallisen arvioinnin laadunvarmennusjärjestelmäksi.

Kuvio 8 Ehdotus kansallisen arvioinnin laadunvarmennusjärjestelmäksi

Näyttöjen yleiset laatuvaatimukset arviointikohteet

1 2 3 4 5 6

Näytöille asetetut tavoitteet, säädökset, suositukset

K y s e l y

t

V e r t a i s a r v i o i n t i

Opetussuunnitelmaperusteisuus

Työelämälähtöisyys

Tavoitelähtöinen ja kriteeri-perusteinen arviointi

Laaja-alaisen osaamisen arviointi

Yhteisarviointi

Yhtenäinen dokumentointi

KANSALLISEN NÄYTTÖPERUSTEISEN ARVIOINNIN

LAADUNVARMENNUS

Näyttöjen suunnittelu, toteuttaminen

ja arviointi

Luotettava, vertailu- ja käyttö-kelpoinen kansallinen arviointitieto

52

6.3 Ehdotus oppimistulostiedon palautejärjestelmäksi

Näyttöperusteisen oppimistulosten arviointijärjestelmän kehittämishankkeen (Koppi-hanke) yhtenä tavoitteena oli myös laatia suunnitelma ja ehdotus kansallisesta oppimistu-lostiedon palautejärjestelmästä, jolla tuetaan koulutuksen kehittämistä kansallisella ja kou-lutuksen järjestäjän tasolla. Näyttöperusteiseen oppimistulosten arviointijärjestelmään in-tegroitavan palautejärjestelmän tavoitteena on tuottaa tietoa oppimistuloksista sekä am-mattiosaamisen näyttöjen laatuvaatimusten toteutumisesta. Tämän tiedon avulla voidaan seurata opetussuunnitelman perusteissa asetettujen tavoitteiden toteutumista ja työelämän edellyttämän ammattiosaamisen saavuttamista sekä edistää koulutuksen laadun kehittä-mistä kansallisella ja koulutuksen järjestäjän tasolla. Palautejärjestelmän yhtenä keskeisim-pänä tavoitteena on tukea koulutuksen järjestäjiä oman toiminnan arvioinnissa ja kehittä-misessä. Tämä edellyttää, että näyttöperusteiseen arviointijärjestelmään liitetään sähköinen palautejärjestelmä, joka mahdollistaa nopean ja systemaattisen vertailutiedon saamisen kehittämistyön tueksi. Tavoitteena on, että oppimistulostiedon kerääminen on kiinteä osa koulutuksen järjestäjien toimintaa. Arviointikokeiluissa mukana olleilta oppilaitosten johdolta ja opettajilta pyydettiin palau-tetta oppilaitoskohtaisten palautteiden sisällöstä, käyttökelpoisuudesta, rakenteesta ja ul-koasusta. Lisäksi heiltä tiedusteltiin, millaisista asioista tietoa tulisi kerätä, jotta sitä voisi hyödyntää oppilaitoksen itsearvioinnissa ja muussa kehittämistyössä(ks. loppuraportin liite 10 palautekysely ja yhteenveto kyselyn tuloksista). Palautteissa tuli esille, että oppilaitokset toivovat järjestelmää, joka tuottaa nopeaa ja systemaattista palaute- ja vertailutietoa kehit-tämistyön tueksi. Oppilaitokset toivovat omien tulosten lisäksi kansallista vertailutietoa ensisijaisesti omalta alalta tutkinto- ja opintokokonaisuuskohtaisesti. Tämän lisäksi vertai-lutietoa toivotaan myös muilta aloilta. Varsinaisten oppimistulosten lisäksi tietoa halutaan myös opiskelijoiden sijoittumisesta, koulutuksen läpäisystä, eri oppilaitosten esimerkkejä samaan opintokokonaisuuteen laadituista näyttötehtävistä, niiden suorittamiseen ja seu-rantaan käytetystä ajasta.

6.3.1 Kansallisen seurantatiedon tuottaminen Oppimistulostiedon palautejärjestelmä sisältää tiedot oppimistuloksista ja näyttöjen laatu-vaatimusten toteutumisesta. Oppimistulostiedot sisältävät näyttöjen arvosanatiedot arvi-ointikohteittain, opintokokonaisuuksittain (myöhemmin tutkinnon osittain) ja tutkinnoit-tain. Oppimistulostiedot sisältävät tiedot myös näyttöjen suorituspaikoista ja näytön arvi-ointiin osallistuneista osapuolista. Arviointitieto näytöistä kootaan kaikissa tutkinnoissa yhdenmukaisella tavalla, jolloin yleisten arvioinnin kohteiden ja kriteerien lisäksi myös ar-viointitiedon tallentaminen ovat yhtenevät kaikilla aloilla. Tämä yhdenmukaistaa arviointia ja mahdollistaa vertailutiedon tuottamisen. Kansalliseen seurantaan koulutuksen järjestäjiltä pyydettävät tiedot perustuvat arvioinnista annettuun määräykseen (M 32/011/2005), näyttötodistuksessa vaadittaviin tietoihin sekä näyttötoiminnan yleisiin laatuvaatimuksiin. Kansallista seurantaa varten koulutuksen jär-jestäjän tulee tallentaa opiskelijahallintajärjestelmiin seuraavat opiskelijaa ja ammattiosaa-misen näyttöä koskevat tiedot:

53

1. Koulutuksen järjestäjän nimi, oppilaitoksen nimi ja nro (Tilastokeskuksen numeroin-

ti) 2. Opiskelijan suku- ja kaikki etunimet 3. Opiskelijan henkilökohtainen tunniste (opiskelijahallintojärjestelmissä käytetty ID) 4. Opintojen aloituspäivä tässä oppilaitoksessa (pp.kk.vvvv) 5. Opintojen aloituspäivä tässä tutkinnossa (pp.kk.vvvv) 6. Opiskelijan sukupuoli (1 = mies, 2 = nainen) 7. Perustutkinto (Tilastokeskuksen käyttämä numerointi) 8. Opintokokonaisuuden ammattiosaamisen näyttö: käytetään Opetushallituksen opin-

toluokitusta. Mikäli niitä ei ole oppilaitoksen järjestelmissä käytössä, annetaan täydel-linen opetussuunnitelman perusteissa käytetty opintokokonaisuuden nimi.

9. Ammattiosaamisen näytön arvosanat arviointikohteittain (arvosana-asteikko 1–5) 10. Opintokokonaisuuden ammattiosaamisen näytön arvosana (arvosana-asteikko 1–5) 11. Opintokokonaisuuden näytön arvosanasta päättämisen ajankohta (pp.kk.vvvv) 12. Suoritettiinko näyttö työssäoppimisjakson yhteydessä: kyllä = 1, ei = 13. Ammattiosaamisen näyttöpaikka: 1 = työpaikka, 2 = oppilaitos 14. Organisaation/yrityksen/oppilaitoksen nimi/nimet, jossa /joissa ammattiosaamisen

näyttö on toteutettu. 15. Lyhyt kuvaus opiskelijan suorittamasta ammattiosaamisen näytöstä. Teksti vastaa

näyttötodistuksen kuvausta. (Opiskelijahallintojärjestelmään vietävä kuvaus tai kuva-ukset eroteltuna pilkulla, jos opintokokonaisuuden näyttö muodostuu osanäytöistä.)

16. Arviointikeskusteluun osallistuivat: 1 = opiskelija ja opettaja, 2 = opiskelija ja työelä-män edustaja 3 = opiskelija, opettaja ja työelämän edustaja, 4 = opettaja ja työelämän edustaja, 5 = arviointikeskustelua ei pidetty. (Jos opintokokonaisuuden näyttö muo-dostuu osanäytöistä, valitaan vaihtoehto, jossa ovat kaikki eri vaiheissa mukana olleet osapuolet.)

17. Ammattiosaamisen näytön arvosanasta päätti: 1 = opettaja, 2 = työelämän edustaja, 3 = opettaja ja työelämän edustaja.

18. Tiedot täyttäneen henkilön suku- ja etunimi. 19. Tietojen täyttämisen päivämäärä (pp.kk.vvvv).

Yllä luetelluista tiedoista kohdat 3, 4, 5, 6, 11, 12, 13, 16, 17, 18 ja 19 ovat tietoja, jotka ke-rätään kansallista seuranta-arviointia varten. Muut kohdat perustuvat arvioinnista annet-tuun määräykseen ja näyttötodistuksessa vaadittaviin tietoihin. Näyttöjen oppimistulostietojen lisäksi palautejärjestelmä sisältää tietoja myös näyttöjen laatuvaatimusten toteutumisesta, jota tuotetaan opiskelijan, opettajan ja työelämän edusta-jien taustakyselyillä. Kyselyillä saadaan tietoa mm. näyttöjen suunnittelusta ja toteuttami-sesta, arvioinnin osuvuudesta ja yhdenmukaisuudesta, arviointikäytännöistä, ammat-tiosaamisen näyttöjen integroinnista opetukseen ja opetussuunnitelmiin sekä ammat-tiosaamisen näyttöjen merkityksestä oppimiselle. Eri osapuolten taustakyselyitä testattiin molemmissa arviointikokeiluissa (pilotti I ja II) ja ne osoittautuivat käyttökelpoisiksi väli-neiksi saada hyödyllistä tietoa ammattiosaamisen näyttöjen kehittämiseksi. Myös koulu-tuksen järjestäjien keskinäisellä vertaisarvioinnilla saadaan tietoa näyttöjen laatuvaatimus-ten toteutumisesta. Oppimistulostiedon kokoaminen toteutetaan Opetushallituksen ja koulutuksen järjestäji-en yhteistyönä. Koulutuksen järjestäjä vastaa kansalliseen seurantaan vaadittavien tietojen tallentamisesta opiskelijahallintojärjestelmiin sekä arviointitiedon toimittamisesta Opetus-hallitukseen. Opetushallitus puolestaan vastaa kokonaisuudessaan kansallisen seurantatie-don tuottamisesta, analysoinnista ja raportoinnista.

54

6.3.2 Seurantatiedon analysointi ja raportointi

Oppimistuloksista ja ammattiosaamisen näyttöjen toteuttamisesta kerättävää tietoa voi-daan hyödyntää koulutuksen kehittämisessä kansallisella ja koulutuksen järjestäjän tasolla. Tämä edellyttää koottavan tiedon analysointia ja raportointia. Oppimistuloksista tuotetaan valtakunnallista vertailutietoa. Kansalliset tulokset raportoidaan säännöllisin väliajoin tut-kinnoittain, tutkinnon osittain ja arvioinnin kohteittain, jolloin tutkintojen välinen vertailu on mahdollista. Kansallista arviointitietoa voidaan käyttää kehittävässä merkityksessä, kun koulutuksen järjestäjillä on käytettävissä sekä kansalliset seuranta- ja vertailutiedot että omat oppilaitoskohtaiset tulokset. Näin ollen tiedon tuottamiseen osallistuneille koulu-tuksen järjestäjille annetaan säännöllisin väliajoin palautetta omista tuloksista suhteessa kansalliseen tulokseen. Tällöin oppilaitokset voivat itse tunnistaa omia kehittämiskohtei-taan ja hyödyntää palautetietoa oman toiminnan itsearvioinnissa ja kehittämisessä. Palaute annetaan tutkinnon osittain ja arviointikohteittain sähköisenä tietojärjestelmän kautta, jol-loin koulutuksen järjestäjät ja oppilaitokset voisivat muokata ja analysoida sitä vaivatto-masti omiin tarpeisiin. Oppilaitoskohtaiset palautteet ja kansallinen palaute voidaan antaa joko kaikista näytöistä tai tietyistä valikoiduista näytöistä esimerkiksi sillä perusteella, että näytöt ovat kattavia, ne ovat toteutettu työpaikoilla ja niitä on toteutettu riittävästi ja laajalta koko maassa. Palaut-teen luonne on riippuvainen seurantaan kertyneestä aineistosta ja sen määrästä. Oppilai-toskohtaisia tuloksia ei julkaista kansallisissa raporteissa, vaan mukana olleille koulutuksen järjestäjille toimitetaan erilliset raportit niiden omista tuloksista. Kansallisen seuranta-arvioinnin tuottama tieto on luonteeltaan sekä numeerista että laa-dullista. Kansallinen seuranta ja pidemmän ajan tiedon tuottaminen mahdollistavat kehi-tystrendien seuraamisen, erilaiset syväanalyysit ja teema-arvioinnit aineistosta. Esimerkiksi arvosanojen suhteen parhaimpaan neljännekseen ja huonoimpaan neljännekseen kuuluvi-en oppilaitosten oppimistuloksia ja taustakyselyn tuloksia voidaan selvittää tarkemmin. Samoin merkittävät arvosanapoikkeamat keskiarvoista sekä usein toistuvat ilmiöt ja tren-dit voidaan ottaa tarkasteltavaksi. Syväanalyysia voidaan toteuttaa esimerkiksi tarkastelemalla taustamuuttujia erilaisista nä-kökulmista, vertaisarvioinnilla ja haastatteluluilla. Myös erilaisilla fokusryhmillä, joissa on mukana arvioitavan alan asiantuntijoita (opetuksen ja työelämän edustajia) voidaan tarkas-tella ja analysoida tuloksia. Syväanalyysin tarkoituksena on analysoida, mitkä tekijät ovat yhteydessä tuloksiin ja millaisia näyttötoiminnan kehittämistarpeita nousee esille. Syväana-lyysissä voidaan hyödyntää myös vertaisarvioinnin tuottamaa tietoa. Syväanalyysin avulla voidaan löytää niin sanotut ”hyvät käytännöt” näyttöjen toteuttamisessa ja arvioinnissa. Seuranta-arvioinnin aineisto mahdollistaa myös arviointitutkimuksen, joka voidaan liittää syväanalyyseihin. Tutkimuksen aiheet voivat nousta teema-arviointien pohjalta tai seurat-taessa jonkin tietyn tutkinnon tai vaikkapa osaamisalueen (arvioinnin kohteen) kehitystä. Teema-arviointi ja arviointitutkimus voidaan myös yhdistää toisiinsa. Teema-arviointi voi kohdistua joihinkin arvioinnin kohteisiin, esimerkiksi elinikäisen oppimisen avaintaitoihin tai ammatillisen osaamisen arviointiin. Analysointia varten ja tulosten ymmärtämiseksi tietoa tarvitaan myös olennaisista tausta-tekijöistä ja -muuttujista. Tärkeää on löytää ne taustamuuttujat, jotka saattaisivat selittää eroja arvosanoissa, arviointikäytännöissä ja eri osapuolten kokemuksissa. Taustatietoa tar-vitaan:

55

koulutuksen järjestäjästä ja oppilaitoksesta

ammattiosaamisen näytöstä

opiskelijasta

alueen elinkeinoelämästä ja työpaikoista

Taustatiedoilla voidaan selvittää, miten esimerkiksi opiskelijan lähtötaso, ohjauksen mää-rä, näyttöpaikan mahdollisuudet, ohjaajien ja opettajien koulutus ja perehdyttäminen sekä oppilaitoksen työelämäyhteistyö vaikuttavat arvosanoihin ja osaamiseen. Kansallisella ta-solla onkin ratkaistava, mistä taustamuuttujista tietoa tulisi kerätä. Koulutuksen järjestäjää ja opiskelijaa koskevien taustatietojen kerääminen voidaan liittää syväanalyysien yhteyteen. Näyttöä koskevat taustatiedot (näyttöpaikka, tiedot näytön arvosanasta päättäneestä, arvi-ointikeskusteluun osallistuneista jne.) saadaan suoraan arvioinnin dokumentointilomak-keesta. Myös valmiita tilastoja (esimerkiksi rahoitustiedot ja opiskelijavalintarekisterit (yh-teishaku), Wera) voidaan hyödyntää tulosten analysoinnissa. Palautejärjestelmä mahdollis-taa myös erilaisten indikaattorien, kuten esimerkiksi työelämäyhteistyön laatua kuvaavan indikaattorin kehittämisen.

6.3.3 Seurantatiedon hyödyntäminen ja haasteet Kansallisen seuranta-arvioinnin tuottamaa tietoa voidaan hyödyntää monipuolisesti kou-lutuksen laadun arvioinnissa ja kehittämisessä. Systemaattinen tiedonkeruu ja säännölliset palautteet mahdollistavat seurantatiedon tuottamisen, trendien seuraamisen, esimerkiksi näyttöpaikkojen vaihtelut tutkinnoittain sekä pitkäjänteisen kehittämistyön. Pysyvä kansal-linen palautejärjestelmä tuottaa käyttökelpoisempaa tietoa pitkäjänteisen koulutuspoliitti-sen päätöksenteon ja koulutuksen ohjauksen käyttöön kuin kertaluonteiset arvioinnit. Pa-lautejärjestelmän tuottamaa tietoa voidaan hyödyntää ajankohtaisten arviointiaiheiden määrittämisessä ja kansallisen arviointisuunnitelman laadinnassa. Tietoa voidaan hyödyn-tää myös ammattiosaamisen näyttöjen ja opetussuunnitelman perusteiden kehittämisessä sekä käynnistettäessä erilaisia ammatillisen koulutuksen kehittämishankkeita. Koulutuk-sen järjestäjät voivat hyödyntää palautetietoa muun muassa näyttöjen, opetuksen ja opis-kelijan arvioinnin kehittämisessä sekä yleisemmin oman toiminnan arvioinnissa liittämällä näytöistä ja laadunvarmennuksesta saadun tiedon osaksi omia arviointi- ja seurantajärjes-telmiä. Kansallinen seuranta-arviointi palautejärjestelmineen mahdollistaa myös kansallisen osaa-misrekisterin syntymisen. Osaamisrekisteri sisältäisi niin yksilön todennetun osaamisen kuin kansallista osaamista kuvaavan tietokannan. Rekisteri olisi useiden tahojen hyödyn-nettävissä oleva, sähköinen osaamisen ja opintosuoritusten hallinta- ja arkistointijärjestel-mä, johon on koottu opiskelijan todennetun osaamisen lisäksi opintojen tavoite- ja sisäl-tökuvaukset: opinto- ja tutkintosuoritukset, kompetenssit ja kvalifikaatiot sekä muut tar-vittavat osaamista kuvaavat dokumentit. Kansallista osaamispääomarekisteri -hanketta on luonnosteltu osana tietoyhteiskuntapolitiikkaohjelmaan kuulunutta ”Tietoyhteiskuntakehi-tyksen yhteisten menettelytapojen ja koordinoinnin kehittäminen opetustoimessa” (Ope-tusTIME). Kansallisesta osaamispääomarekisteristä muotoutuu pidemmällä aikavälillä yh-denmukainen kansallinen tietokanta, joka kuvaa suomalaista osaamista. Osaamishistoria mahdollistaa eri opintojen ja tutkintojen tuottaman osaamisen vertailun sekä suomalaisten tutkintojen ja kvalifikaatioiden vertailun muihin EU-alueen tutkintoihin osana eurooppa-laista osaamisen ja tutkintojen viitekehystä (European Qualifications Framework EQF).

56

Näin ollen systemaattisesti tuotettua oppimistulostietoa voidaan käyttää myös koulutusta koskevana indikaattoritietona.

Kansallisen seuranta-arvioinnin yhtenä keskeisimpinä haasteina ovat henkilöpohjaisen tiedonkeruuseen ja tietosuojaan liittyvät asiat. Vaikka tarkoitus ei ole tarkastella yksilöta-son osaamista ja suorituksia, syntyy opiskelijahallintojärjestelmistä kerättävistä tiedoista rekisteri, jonka ylläpitäminen saattaa edellyttää erityislupaa tai jopa säädösmuutoksia. Haasteena on myös kansallisen ja oppilaitoskohtaisen palautteen laadinta ja sen ajankohta: on ratkaistava, milloin ja mistä arviointidatasta palaute laaditaan, mihin tietoja verrataan ja mikä on riittävä tiedon (datan) määrä, jotta voidaan tehdä koko tutkintoa koskevia yleis-tyksiä. Ongelma syntyy siitä, kun koulutuksen järjestäjät toteuttavat näyttöjä omien suun-nitelmien ja aikataulujen mukaan ja tallentavat oppimistulostiedot opiskelijahallintojärjes-telmiinsä eri aikaan. Haasteena on myös opiskelijahallintojärjestelmien yhteensovittami-nen kansallisen seurannan kanssa. Tärkeä on myös huomioida, miten kansallisen seuran-ta-arvioinnin tiedonkeruu yhteen sovitetaan muuhun kansalliseen tietotuotantoon ja ole-massa oleviin rekistereihin. Haasteena on myös, miten paikallisella tasolla toteuttava vertaisarviointi ja sen tuottama arviointitieto saadaan osaksi kansallista arviointia ja raportointia niin, että tietoa voidaan hyödyntää kansallisen tason koulutuksen kehittämisessä. Tällä hetkellä vertaisarviointi palvelee ennen kaikkea koulutuksen järjestäjiä näyttöjen ja arviointikäytäntöjen kehittämi-sessä. Analysoinnin haasteena on myös, miten vertaisarvioinnin tuottama arviointiai-neisto dokumentoidaan, raportoidaan ja yhdistetään oppimistulostietoon. Myös kytkentä kehittämistyöhön on ratkaistava: miten palautejärjestelmän tuottamaa tie-toa voidaan aidosti hyödyntää opetussuunnitelman perusteiden ja yleisesti koulutuksen laadun kehittämisessä. Haasteena on myös, miten syväanalyysin tuottamat hyvät käytän-nöt näyttöjen toteuttamis- ja arviointikäytännöistä dokumentoidaan ja raportoidaan sekä miten palautejärjestelmä saadaan palvelemaan myös työelämän tarpeita. Edellä esitetty ehdotus palautejärjestelmästä on kuvattu alla olevassa kuviossa.

57

Kuvio 9 Ehdotus kansallisen arviointitiedon palautejärjestelmäksi

6.4 Sähköisen ammattiosaamisen näyttöjen oppimistulostiedon raportointi- ja

seurantajärjestelmän (AMOP) toteuttaminen Tässä luvussa kuvataan aikaisempien arviointikokeiluiden sekä keväällä 2007 käynnisty-neen kansallisen oppimistulostiedon tuottamisen kokemusten perusteella verkkopohjaisen ammattiosaamisen näyttöjen oppimistulostiedon raportointi- ja seurantajärjestelmän to-teuttaminen. Järjestelmä, josta käytetään myöhemmin myös työnimeä AMOP-järjestelmä, tulee kattamaan kaikki 53 perustutkintoa vuoteen 2011 mennessä, jolloin uudet tutkinnon perusteet ovat voimassa kaikissa tutkinnoissa. Järjestelmän rakenne luodaan yhteensopi-vaksi uusien tutkinnon perusteiden kanssa. Järjestelmä tuottaa kansalliseen vertailutietoon perustuvia raportteja, joita niin koulutuksen järjestäjät, Opetushallitus ja opetusministeriö voivat seurata ja kehittää ammattiosaamisen näyttöjen ja yleisemmin koulutuksen laatua.

6.4.1 Toimijat ja heidän roolinsa

Tieto koulutuksen järjestäjille ja viranomaisille tarkoitettuun internetissä toimivaan rapor-tointi- ja seurantajärjestelmään tuotetaan suoraan koulutuksen järjestäjien ja oppilaitosten opiskelijahallintojärjestelmistä. Tiedonkulkua voi yksinkertaistetusti kuvata seuraavasti: Oppimistulostieto ja näyttöjen laatuvaatimusten toteutumiseen liitetyt tiedot siirretään koulutuksen järjestäjien opiskelijahallintojärjestelmien kautta Opetushallituksen hallin-noimaan tietokantaan, josta verkkopohjaisen raportointi- ja seurantajärjestelmän kautta tuotetaan raportteja eri tahoille. Ehdotuksessa Opetushallitus toimii ammattiosaamisen näyttöjen arviointi- ja seurantatie-don tuottamisen toimeenpanija, jolloin Opetushallituksen tehtäviin kuuluu käyttäjätun-nuksien hallinnointi, yhteyshenkilönä toimiminen järjestelmätoimittajan ja oppilaitosten

Oppimistulostieto tuote-

taan paikallisesti, kootaan tietokantaan.

Raportointijärjestelmä tuottaa oppimistulostiedon pohjalta raportteja, joita koulutuksen järjestäjät, kolmikantainen toimielin, Opetushallitus ja opetus-ministeriö voivat seurata ja kehittää näyttöjen ja ylei-semmin ammatillisen kou-lutuksen laatua.

Syntyy kansallinen, osaami-sen tietokanta.

58

välillä. Lisäksi Opetushallituksen vastuulle jää mm. koulutuksen järjestäjien ohjeistaminen ja tukipalveluiden tarjoaminen. Opetusministeriöllä on ohjaava ja valvova rooli. Koulutuksen järjestäjät toimivat niin tiedontuottajina kuin raporttien hyödyntäjinä. Lisäksi oppilaitokset toimivat järjestelmän kehittäjinä antamansa palautteen kautta. Koulutuksen järjestäjiltä pyydetään säännöllisesti palautetta järjestelmän tuottamien raporttien hyödyn-nettävyydestä ja järjestelmän toimivuudesta. Järjestelmän käyttäjähallinnassa tulee huo-mioida erilaiset käyttöoikeudet eri toimijoille. Koulutuksen järjestäjän tulee nimetä järjes-telmän yhdyshenkilö, jonka kanssa viranomaistaho asioi. Sen lisäksi koulutuksen järjestä-jällä tulee olla eritasoisia käyttäjäoikeuksia mm. raporttien tarkastelua varten.

6.4.2 Tiedonkeruu ja raportointi

Koulutuksen järjestäjiä velvoitetaan tuottamaan tietoja näytöistä järjestelmään ennalta määriteltyinä aikoina, esimerkiksi puolen vuoden välein. Jaksottaminen on mielekästä, sillä jatkuva tiedon syöttäminen opiskelijahallintojärjestelmistä ulkoiseen tietokantaan vaatii henkilöresursseja ja valvontaa oppilaitoksissa sekä viranomaisen taholta. Lisäksi jatkuva yhteys ulkoiseen tietokantaan vaatii henkilöpohjaisen tiedon siirron yhteydessä paljon jär-jestelmien tietosuojalta. Jaksotettua tiedonsiirtoa tukee myös aineiston vertailupohjan ker-ryttäminen: Oppilaitoksissa opintokokonaisuuksien arvosanatiedot tuotetaan usein luku-kausien lopussa omiin opiskelijahallintojärjestelmiin. Siten vertailutietoa kertyy samana ajanjaksona toteutetuista ammattiosaamisen näytöistä kattavammin kuin satunnaisten tie-donsyöttöjen myötä. Aikataulutus mahdollistaa myös järjestelmän valvonnan ja tukipalve-lujen tarjoamisen. Tarkemmassa toteutussuunnitelmassa tulee huomioida koulutuksen järjestäjiin kohdistu-van muun valtakunnallisen tiedonkeruun yhteensovittaminen (mm. Tilastokeskus, OPH:n indikaattorituotanto, rahoitustiedot). Opiskelijahallintojärjestelmien kehittäjiä kuullaan suunnittelutyön jokaisessa vaiheessa, sil-lä tekninen toteutus vaikuttaa koulutuksen järjestäjien käyttämiin järjestelmiin, yhtenäi-seen termistöön ja sitä myötä myös käytäntöihin. Oppimistulostietojen yhdistelyn ja tiedon kattavan hyödyntämisen mahdollistamiseksi se-kä analyysimenetelmien kannalta tiedonkeruun tulee olla henkilöpohjaista. Henkilöpoh-jainen tiedonkeruu mahdollistaa opintopolkujen seurannan, jolloin myös päällekkäisen koulutuksen seuranta sekä opintojen keskeyttämisen seuranta tulevat mahdollisiksi. Hen-kilöpohjainen seuranta antaa kattavan kuvan kunkin tutkinnon opiskelijoiden näytöistä ja valinnoista kansallisella tasolla.

Järjestelmässä käsitellään henkilötietoja, joten järjestelmän on oltava tietoturvallinen. Henkilötason tietojen näkyvyyttä voidaan rajoittaa erikseen käyttäjäkohtaisesti, käyttäjä-ryhmäkohtaisesti tai vastuualueittain. Siirrettäessä tietoja eri järjestelmien välillä tulee var-mistaa, että tiedot eivät joudu kolmansille osapuolille.

Sähköisestä seuranta- ja raportointijärjestelmästä tietoja tulee voida tarkastella monipuoli-sesti usean eri toimijan näkökulmasta. Opetusministeriön ja Opetushallituksen raportit koskevat koko palauteaineistoa valtakunnallisella tasolla. Vakiomuotoisen, kaikille rapor-tin lukijoille yhteiset raporttimallien tulee pitää sisällään vähintään koulutuksen järjestäjän oppilaitoskohtaiset ja tutkintokohtaiset tulokset suhteessa kansalliseen keskiarvoon (kou-

59

lutuksenjärjestäjittäin, koulutusohjelmittain, perustutkinnoittain, tutkinnon osittain, arvi-oinnin kohteittain ja alueittain). Tietoja tulee voida tarkastella myös manuaalisesti järjestelmän työkalujen avulla ja tuottaa niistä erimuotoisia tulostiedostoja, joita voidaan siirtää järjestelmän ulkopuolelle jatkokä-sittelyä varten. Tuloksia tulee olla mahdollista seurata myös aikasarjoittain. Raporttipohji-en suunnittelu toteutetaan yhteistyöryhmässä, jonka päätettäväksi jää mm. kuinka monen vertailuajanjakson tiedot tarjotaan raporttipohjiin.

6.5 Oppimistulostiedon laadunvarmennuksen sähköinen palautejärjestelmä AMOS ja sen toteuttaminen

Ammatillisen koulutuksen palautejärjestelmä voidaan toteuttaa vuonna 2008 käyttöön otetun aikuiskoulutuksen palautejärjestelmä AIPAL pohjalta. AIPAL-järjestelmän tarkoi-tuksena on seurata sekä näyttötutkintoon valmistautuvan henkilön saaman koulutuksen että varsinaisen näyttötutkinnon suorittamisen laatua. Ammatillisen peruskoulutuksen puolelle sovelluksesta käytetään työnimeä AMOS. AMOS-järjestelmässä palaute on mahdollista kerätä otospohjaisesti ammattiosaamisen näyttöihin osallistuvilta opiskelijoilta, opettajilta ja työelämän edustajilta. Järjestelmä tuot-taa palauteaineiston pohjalta raportteja, joita koulutuksen järjestäjät, Opetushallitus ja opetusministeriö voivat hyödyntää seuratessa ja kehittäessä koulutuksen laatua. Alla on yhteenveto ja kuvio Amos-järjestelmästä osana kansallista seuranta-arviointia (suunnitelma)

AMOS toimii kansallisesti ammattiosaamisen näyttöjen laadunvarmennuksen välinee-

nä

Tuottaa tietoa näytöille asetettujen laatuvaatimusten toteutumisesta

Tuottaa tietoa oppimistulostiedon analysoinnin ja tulosten tulkinnan tueksi

Tarjoaa mahdollisuuden myös muun toiminnan (esim. työssäoppimisen) arvioimiseen

kansallisella ja paikallisella tasolla

AMOS voi syntyä AIPALin sivutuotteena, sillä AIPAL-järjestelmä on mahdollista laa-

jentaa koskemaan myös ammatillisia perustutkintoja

Ei todennäköisesti lanseerata "jokapäiväiseen" käyttöön, sillä ammatillisen peruskou-

lutuksen järjestäjillä on käytössä maksullisia, (yleensä) opiskelijahallintojärjestelmiin lii-

tettyjä palautejärjestelmiä.

Koulutuksen järjestäjille voidaan antaa mahdollisuus AIPALin tavoin sisäiseen käyt-

töön ja lisäkysymyksiin.

60

6.6 Koppi-hankkeessa tuotetut materiaalit ja julkaisut

Koppi-hankkeessa toimi kymmenen valtakunnallista projektia vuosina 2004–2007, joista osa kehitti kansallista arviointijärjestelmää (Sote Järkevä, Konsensus, Arvo ja Arvi) ja osa näyttöjen arviointikäytäntöjä (Riihy, Valmis näyttöön!, Näyttöportaali, Blanco 1-2-3, Näkes ja Amy). Kehittämishankkeen (KOPPI) yleisenä tavoitteena oli näyttöperusteisen arviointijärjestelmän sekä kansallisen arvioinnin edellyttämän laadunvarmennusjärjestel-män kehittäminen, arviointikäytäntöjen kehittäminen, arviointijärjestelmän testaaminen ja oppimistulosten arviointi 14 perustutkinnossa. Näiden lisäksi tavoitteena oli laatia myös suunnitelma oppilaitosten itsearviointia ja kehittämistyötä tukevasta palaute- ja informaa-tiojärjestelmästä. Näiden yleisten tavoitteiden lisäksi projekteilla oli myös omia projekti-kohtaisia tavoitteita, jotka on esitelty liitteessä 3.

Projekteissa tuotettiin materiaalia muun muassa näyttöjen perehdyttämiseen, työkaluja näyttötoiminnan itsearviointiin ja vertaisarviointiin sekä tukimateriaalia ammattiosaamisen näyttöjen oppimistulostietojen analysoimiseen. Eräässä hankkeessa laadittiin myös opas erityistä tukea tarvitsevan opiskelijan ohjaamiseksi näytöissä. Liitteessä 10 on kooste pro-jektien tuotoksista. Osa tuotteista löytyy verkossa osoitteesta http://www.oph.fi/SubPage.asp?path=1,444,27512,77298A. Kirjallisten tuotosten, työkalujen ja muun materiaalin lisäksi Koppi-hankkeessa tuotettiin kehittämishankkeen aikana Opetushallituksen toimesta useita julkaisuja. Lista julkaisuista on liitteessä 11. Kehittämishankkeen ensimmäinen julkaisu “The implications of using skills tests as basis for a national evaluation system in Finland” (Räkköläinen & Ecclestone 2005) il-mestyi vuonna 2005 ja se laadittiin yhteistyössä kansainvälisen asiantuntijan Kahtryn Ec-clestonin kanssa. Julkaisussa tuodaan esille arvioinnin teoreettisia lähtökohtia, esitellään

61

ensimmäisen arviointikokeilun arviointiasetelma ja vertaillaan Suomalaista ja Englantilaista koulutus- ja arviointijärjestelmää. Heti perään ilmestyi julkaisu ”Kansallisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittäminen ammatillisiin perustutkintoihin. Arviointikokeilusta kohti käytäntöä” (Räkköläinen 2005). Julkaisussa valotetaan arviointiuudistuksen lähtökoh-tia ja tuodaan esiin integrointiin liittyviä keskeisiä haasteita, aikaisempi arviointitapa sekä testattavan arviointimallin periaatteet, arviointikokeilun tulokset (pilotti I) ja ehdotuksia kansallisen näyttöperusteisen oppimistulosten arviointijärjestelmän kehittämiseksi. Koppi-hankkeesta laadittiin myös suomenkielinen ja englanninkielinen esite (Ammattiosaamisen näytöillä kansallista arviointitietoa 2/2006). Arviointijärjestelmän kehittämishankkeiden projektipäälliköiden kanssa laadittiin yhteis-työssä ”Projektipäällikön kuusipaikkamalli” – julkaisu (Räkköläinen ym. Projektipäällikön kuusipaikkamalli – Ajatuksia ja kokemuksia projektin ohjaamisesta. 22/2006), jossa on kuvattu käytännön esimerkein kehittämishankkeiden toimintaa; projektien käynnistämistä, johta-mistapaa, projektien ydintehtävän määrittelyä, projektissa tapahtuvaa tiedonkeruuta, pro-jektien tulosten tulkintaa ja arviointia sekä projektien laadunvarmennusta. Julkaisussa teh-dään näkyväksi projektin kulku ja osoitetaan esimerkkien avulla, mitä prosessikeskeinen kehittäminen voi olla ja millaisia vaiheita voi eteen tulla. Kehittämishankkeen aikana tehtiin selvitys myös ammattiosaamisen näyttöjen suunnitte-lusta ja toteuttamisesta vastaavasta toimielimestä (Räkköläinen ym. Selvitys ammattiosaamisen näyttöjen suunnittelusta ja toteuttamisesta vastaavasta toimielimestä. Raportti kyselyn tuloksista. 20/2006). Selvitys toteutettiin kyselyllä, jolla kartoitettiin, miten ja millainen toimielin on asetettu, miten koulutuksen järjestäjät ovat päätyneet tehtyihin ratkaisuihin sekä mitä käy-tännön haasteita on tullut esille toimielimen asettamisvaiheessa ja toiminnan aloittamises-sa. Tarkoituksena oli myös saada ensikäden tietoa koulutuksen järjestäjien näkemyksistä toimielimen tehtävistä, niiden haasteellisuudesta sekä asettamisen vaikutuksista. Kehittämishankeen aikana laadittiin tulosraportit molempien arviointikokeilujen (pilotti I ja pilotti II) oppimistuloksista ja kyselyn tuloksista. Ensimmäisen kokeilun tulokset rapor-toitiin vuonna 2003 (Mäkihalvari & Räkköläinen. Oppimistulosten arviointijärjestelmän kehittä-minen. Arviointikokeilu I 2002–2003). Raportti arviointikokeilun tuloksista. 2003). Toisen arvi-ointikokeilun tuloksista laadittiin väliraportti keväällä 2006 (Räkköläinen & Kilpeläinen. Op-pimistulosten arviointijärjestelmän kehittäminen. Arviointikokeilu II 2004–2007). Välitulosraportti oppimistuloksista ja kyselyn tuloksista 11.9.2006). Koko arviointikokeilun (pilotti II) tulokset oppimistuloksista ja taustakyselyistä julkaistiin keväällä 2008 (Räkköläinen & Kilpeläinen. Oppimistulosten arviointijärjestelmän kehittäminen. Arviointikokeilu II. Raportti oppimistuloksista ja kyselyn tuloksista. 2004–2007. 4/2008).

Hankkeen loppuvaiheessa julkaistiin hankkeen ulkoisen arvioinnin raportti sekä suomeksi että englanniksi (Spangar. KOPPI – maaston raivaamisesta vertaisarviointiin. Ammatillisen osaami-sen kansallisen arviointijärjestelmän rakentaminen ammattiosaamisen näyttöihin perustuen. Arviointi 1/2008). Raportissa on esitetty ulkoisen arvioinnin keskeiset havainnot ja johtopäätökset. Kansallisen arvioinnin lisäksi hankkeesta pyydettiin myös kansainvälinen ulkoinen arvioin-tipalaute, josta laadittiin erillinen raportti (Ecclestone. Clarifying purposes, roles and responsibilities in an evaluation system for learning results in Finnish vocational qualifications: external evaluators’ re-

port.2008). Ulkoisen arvioinnin tulokset esitellään luvussa 7.

Hankkeen loppuvaiheessa laadittiin yhteistyössä arviointijärjestelmän kehittämishankkei-den (Konsensus, Blanco 1-2-3, Arvo ja Sote Järkevä projektit) projektipäälliköiden kanssa jo aiemmin luvussa 5 mainittu vertaisarviointiin liittyvä julkaisu ”Arvioi, opi ja kehity”

62

(Räkköläinen & Stenvall. Arvioi, opi ja kehity. Näyttötoiminnan laadunvarmennusta vertaisarvioinnil-la). Julkaisussa kuvataan näyttötoiminnan vertaisarvioinnin kokeiluja Koppi-projektissa. Julkaisussa tuodaan esiin sekä kokemukset vertaisarvioinnista menetelmänä että vertaisar-vioinnin kautta saatu käsitys näyttötoiminnasta. Yhteenvetona esitetään myös ehdotus vertaisarvioinnin soveltamismahdollisuuksista ja kehittämishaasteista sekä ajatuksia näyttö-toiminnan laadun varmistamisesta.

63

7 ARVIOINTIJÄRJESTELMÄN KEHITTÄMIS- HANKKEEN ULKOINEN ARVIOINTI

7.1 Arvioinnin tavoitteet ja toteuttaminen

Kehittämishankkeen projektisuunnitelmassa asetettiin tavoitteeksi myös, että kansallinen oppimistulosten arviointijärjestelmän toimivuus arvioidaan ulkopuolisen tahon toimesta hankkeen loppuvaiheessa. Tavoitteena oli, että ulkoisen arvioinnin tuloksia voitaisiin hyö-dyntää laadittaessa lopullista ehdotusta kansalliseksi oppimistulosten arviointijärjestelmäk-si. Opetushallitus pyysi tarjousta hankkeen ulkoisesta arvioinnista kuudelta organisaatiolta, josta kolme vastasi tarjouspyyntöön. Ulkoisen arvioinnin toteuttajaksi valittiin Pst Timo Spangar (Spangar Negotiations). Kansallisen ulkoisen arvioinnin lisäksi palautetta kansalli-sesta oppimistulosten arviointijärjestelmästä pyydettiin myös englantilaisilta asiantuntijoil-ta. Näin hankkeesta saatiin sekä kansallinen että kansainvälinen ulkoisen arvioinnin palau-te. Ulkoinen arviointi toteutettiin kevään ja syksyn 2007 aikana yhteistyössä Opetushalli-tuksen ja arviointijärjestelmän kehittämishankkeiden kanssa. Ulkoisen arvioinnin tavoitteena oli tuottaa tietoa Koppi-hankkeen tulosten saavuttamises-ta ja prosessin vaikuttavuudesta sekä arviointikokeilussa testattavan arviointijärjestelmän soveltuvuudesta ammatillisen koulutuksen arviointiin. Lisäksi tavoitteena oli arvioida KOPPI-projektin toteuttamisprosessia sekä projektissa kehitetyn kansallisen näyttöperus-teisen arviointijärjestelmän käyttökelpoisuutta ja hyödyllisyyttä eri osapuolten kannalta. Ulkoisen arvioinnin edetessä arvioinnin pääkysymykseksi muotoutui seuraava kysymys: Mitkä kriittiset tekijät on otettava huomioon - Koppi-projektin kokemusten valossa - kehitettäessä osaamisen näyttöihin perustuvaa kansallista arviointia? Tätä peruskysymystä tarkennettiin kysy-mällä 1) Millainen on hyvä kansallinen ammattiosaamisen näyttöihin perustuva tiedon-tuottamisjärjestelmä? ja 2) Mitä Kopin valossa voidaan sanoa hyvästä järjestelmän kehit-tämisestä? Kopin ulkoisen arvioinnin tavoitteena oli etsiä vastauksia arvioinnille asetettuun tehtävään mahdollisimman kontekstuaalisella tavalla. Tämän vuoksi Kopin arviointi suunniteltiin to-teutettavaksi 7 eri vaiheen kautta (ks. taulukko 4), joille kullekin asetettiin omat tavoitteen-sa, arviointikysymyksensä ja alustava aikataulu. Seitsemän suunniteltua vaihetta koostuivat Koppi-hankkeen tuottaman aineiston sekundaarianalyysista, avaintoimijoiden haastatte-luista, projektitoimijoiden ja projektipäällikön haastatteluista, kolmesta dialogisesta työpa-jasta, tarvittavien lisähaastatteluiden suorittamisesta ja loppuraportin kirjoittamisesta. Työpajojen otsikot olivat ’Koppi kehittämishankkeena’, ’projektitoimijoiden itsearviointi’ ja ’strateginen työpaja. (Spangar 2008.)

64

Ulkoisen arvioinnin vaiheet on kuvattu alla olevassa taulukossa 4.

Taulukko 4 Ulkoisen arvioinnin vaiheet. (Spangar 2008, 38.)

Arvioinnin osat

1. Koppi-hankkeen tuottaman aineiston sekundaarianalyysi

2. Avainhenkilöiden haastattelut: tarkoituksena tuottaa ”moninäkökulmainen”, ulkopuolinen kuva Kopin prosesseista ja tuloksista

3. Koppi-kehittämisprosessina -työpaja: arvioidaan Kopin prosessien vaikuttavuutta

4. Projektitoimijoiden itsearviointi -työpaja: tarkoituksena on tarjota keskeisille projektitoimi-joille mahdollisuus kriittiseen itsearviointiin.

5. Strateginen työpaja: Analysoidaan Kopin työtuloksia koulutuspolitiikan strategian näkö-kulmasta: Opetusministeriö/Opetushallitus, päätöksentekijät, projektin keskeiset stake-holderit ja intressitahot sekä kv-kumppanit

6. Mahdolliset lisähaastattelut

7. Loppuraportin tuottaminen

Kopin ulkoinen arviointi oli vuorovaikutteinen prosessi, jossa erimuotoiset aineistot, ha-vainnot ja evidenssi ”opettivat toisiaan” kumulatiivisena prosessina. Arviointiprosessin ta-voitteena oli kehittää arvioitsijan ymmärrystä Koppi-hankkeesta tavalla, jossa saavutettai-siin eräänlainen saturaatopiste, jossa lisähavaintojen tekeminen ei tuo oleellisesti uutta tie-toa. Tavoitteena oli luoda näin kokonaisymmärrys Koppi-hankkeen sisällöstä ja tavoitteis-ta, projektista kehittämishankkeena ja hankkeen aihepiirille relevantista koulutuspoliittises-ta kontekstista. (Spangar 2008.) Koppi-hankkeen ulkoisen arvioinnin materiaalina olivat Koppi-hankkeessa tuotettu jul-kaistu ja julkaisematon kirjallinen aineisto, haastattelut, kaksi dialogista työpajaa, joihin osallistui kaikkiaan 26 osallistujaa, jotka edustivat koulutusinstituutioita, työmarkkinaosa-puolia, OAJ:ä, Opetushallitusta, opetusministeriötä ja Koppi – projektia. Arviointidialogit toteutettiin mahdollisuuksien mukaan Koppi-projektin tavanomaisten tilaisuuksien, kuten projektipäällikköpalaverien yhteydessä. (Spangar 2008.)

7.2 Tuloksia ulkoisesta arvioinnista

Tässä luvussa esitetään Koppi-hankkeen ulkoisen arvioinnin keskeiset havainnot ja tulok-set, jotka on referoitu Timo Spangarin laatimasta ulkoisen arvioinnin raportista (Spangar, T. KOPPI – maaston raivaamisesta vertaisarviointiin. Ammatillisen osaamisen kansallisen arviointi-järjestelmän rakentaminen ammattiosaamisen näyttöihin perustuen. Arviointi 1/2008). Ulkoisen arvioinnin mukaan Koppi-hankkeen aikana hankitut kokemukset, tietämys ja arviointikokeilut antavat riittävän varmuuden siitä, että kansallinen arviointitieto voidaan koota koulutuksen järjestäjien organisoimista ammattiosaamisen näytöistä. Ulkoisen arvi-oinnin mukaan näytöistä saatava arviointitieto on riittävän luotettavaa (reliaabelia) kansal-lisen päätöksenteon tueksi. Koppi-hankkeen ansioksi ulkoisessa arvioinnissa nähdään se, että hankkeessa on nostettu näkyviin ja pohdittavaksi validiteetin ja reliabiliteetin dilem-

65

ma. Näyttöjen pätevän ja luotettavan arvioinnin ja kansallisen arviointitiedon jännitteinen suhde ei ole kuitenkaan jätettävissä huomiotta. Tämän vuoksi ulkoinen arviointi suositte-lee, että kansallisen arvioinnin sisältöä ja luotettavuutta arvioitaisiin aika ajoin ulkopuolis-ten toimesta. (Spangar 2008.) Ulkoisessa arvioinnissa tuodaan esille, kuinka Koppi-hanke sisällöllisesti liittyy 1990-luvun lopun keskusteluun ammatillisen koulutuksen kehittämisestä työelämälähtöisemmäksi työssä oppimisen ja erityisesti näyttöjen avulla. Ulkoisen arvioinnin mukaan Koppi-hankkeessa nämä sisällölliset lähtökohdat esiintyvät hieman taustalla tai ne oletetaan tun-netuiksi. Tästä johtuen Koppi-hankkeen ”perusidea” on voinut jäädä helposti ulkopuoli-selle hieman jäsentymättömäksi. (Spangar 2008.) Kehittämishankkeena Koppi on rakentunut suhteellisten itsenäisten ala- ja oppilaitoskoh-taisten projektien tukirakenteeksi. Tukea ovat tarjonneet yhteiset koulutustilaisuudet, se-minaarit ja projektipäälliköille suunnattu koulutus- ja konsultaatio-ohjelma Pro4. Keskei-sin tukirakenne on eri osapuolten mukaan ollut projektipäälliköiden kokoukset, joita on pidetty noin kerran kuukaudessa. Se on tarjonnut projektipäälliköille mahdollisuuden vält-tämättömään keskinäiseen reflektointiin ja suunnannut projektin työtä kussakin vaiheessa eteenpäin. Ulkoisen arvioinnin mukaan kehittämishankkeena Koppi on ollut varsin kompleksinen ja se on vaatinut uutta ja innovoivaa työotetta. Tämä on edellyttänyt sitä, että hankkeessa on riittävästi resursoitu toimijoiden keskinäisille oppimistiloille ja -foorumeille. Koppi-hankkeessa on ollut mahdollisuus tälle reflektoinnille erityisesti pro-jektipäällikköpalavereissa. Ulkoisen arvioinnin mukaan jatkossa ja vastaavanlaisissa hank-keissa niihin tulisi panostaa nykyistä enemmän. (Spangar 2008.) Ulkoisen arvioinnin mukaan oppilaitokset ovat lähteneet keskimäärin hyvin mukaan näyt-töjen kehittämiseen ja kansallisen järjestelmän rakentamiseen, joskin osallistuminen on ol-lut epätasaista. Oppilaitosten näkökulmasta huolenaiheita ovat olleet paikallisen ja kansal-lisen näkökulman yhdistäminen, huoli oppilaitosten resursoinnista ja jossain määrin myös siitä, tuleeko kansallisesta arviointijärjestelmästä mekanismi, jolla oppilaitoksia ”rankeera-taan” ja jonka perusteella taloudellisia resursseja jaetaan. Toisaalta on ollut keskustelua sii-tä, voisiko näyttöperusteisuus tulevaisuudessa toimiakin resurssijaon perustana nykyistä järjestelmää paremmin. Oppilaitosten yksi keskeinen huoli näyttää olevan myös siinä, mis-sä määrin työelämä saadaan mukaan kehittämiseen. Hankkeen aikana oppilaitosten val-miudet toteuttaa näyttöjä ovat kehittyneet selvästi. (Spangar 2008.) Ulkoisen arvioinnin raportissa todetaan, että opettajien suhtautuminen näyttöihin vaikut-taa keskimäärin myönteiseltä tai vähintään uudistuksen hyväksyvältä. Keskeinen haaste on opettajien näyttö- ja arviointiosaamisen kehittäminen. Pedagogista keskustelua siitä, mitä ammattiosaamisen näytöt tuovat itse oppimis- ja opettamisprosesseihin, voisi olettaa käy-tävän nykyistä vilkkaamminkin. ”Muutosvastarintaakin” opettajissa on esiintynyt, lähinnä uuden toiminnan resursointiin liittyen. (Spangar 2008.) Raportissa todetaan myös, että opiskelijat ovat osallistuneet kokeiluissa aktiivisesti näyttö-jen arviointiin yhdessä opettajien ja työelämän edustajien kanssa. Opiskelijat kokevat näy-töt mahdollisuuksiksi osoittaa osaamistaan työelämälle, mikä edistää myös kontaktien luomista työelämään. Opiskelijat ja heidän edustajansa suhtautuvat muita toimijoita kriitti-semmin siihen, että näytöt sinänsä lisäisivät opiskelijoiden motivaatiota ja siten estäisivät opintojen keskeyttämistä, mikä on ollut yksi koulutuspoliittinen syy näyttöjärjestelmän ja ylipäätään työelämälähtöisyyden tiivistämiseen. (Spangar 2008.)

66

Ulkoisen arvioinnin yhtenä havaintona oli, että Koppi-hankkeella on ollut suhteellisen paljon yhteyksiä tutkijayhteisöön. Tutkijoita on osallistunut aktiivisesti arviointijärjestel-män kehittämistyöhön asiantuntijoina ja projekti on järjestänyt tutkimusseminaareja. Koppi-hankkeeseen on tehty tai on tekeillä useampiakin opinnäytetöitä. Arviointijärjes-telmän kehittämistyössä kansainvälisellä yhteistyöllä on ollut merkittävä rooli. Erityisen tärkeää on ollut se tuki ja ne kriittiset kommentit, joita projekti on saanut Kathryn Eccles-tonelta Englannista. Sisällöllisesti keskeisin kommentointi on koskenut validiteetin ja re-liabiliteetin dilemmaa, arviointidesignien perusparadigmoja ja koulutuksen arviointijärjes-telmien rakentamista erilaisissa kansallisissa järjestelmissä. Jatkossa vastaavan merkityksen omaavissa kansallisissa kehittämishankkeissa kansainvälisen kumppanuuden soisi olevan vieläkin vahvempaa. Arvioinnin yhteydessä muut projektit, jotka ovat olleet esillä, ovat ol-leet lähinnä muut Opetushallituksen näyttöjen kehittämisprojektit. Kopin suhdetta näihin projekteihin on vaikea luonnehtia, mutta vaikutelmaksi jää, että saman alueen projekteina niiden yhteistyön olisi voinut olettaa olevan tiiviimpääkin. (Spangar 2008.) Ulkoisessa arvioinnissa todetaan, että kansallisen oppimistulosten arviointijärjestelmän kehittäminen on koulutuspoliittisesti erityisen tärkeää sen vuoksi, että nyt tarvitaan arvi-ointijärjestelmää, jonka avulla voidaan nopeasti reagoida työelämän muutoksiin ja muut-tuviin työvoimatarpeisiin. Tässä suhteessa Koppi-hankkeessa tehtyä työtä pidetään koulu-tuspoliittisesti tärkeänä. Sekä elinkeinoelämä että opetusministeriö toivat arvioinnin aika-na esille uuden kansallisen, herkemmin reagoivan arviointijärjestelmän kehittämistarpeen. (Spangar 2008.) Koppi on kehittämisprojektina ollut kaikkiaan uutta käytäntöä innovoiva ammattiosaami-sen näyttöjen ja niihin liitettävän kansallisen arviointijärjestelmän perusteiden rakentami-sen suhteen. Ulkoisen arvioinnin mukaan näytöt ja kansallinen arviointijärjestelmä ovat kehittämishankkeen myötä tulleet huomattavasti konkreettisemmalle tasolle. Koppi-hankkeessa tehty työ on pitkälti ollut ammattiosaamisen näyttöjen eri elementtien ko-koamista yhteen, aiemman osaamisen hyödyntämistä ja erityisesti konkreettisten kehittä-mistoimien ja työvälineiden kehittämistä ja luomista ammattiosaamisen näyttöihin. (Span-gar 2008.) Kansallisen arviointijärjestelmän kehittäminen on samalla tuonut esiin, että kansallisen ar-vioinnin palautejärjestelmä vaatii ympärilleen nyt selkeää sosiaalista ”tulkintajärjestelmää” toimiakseen sille asetettujen tavoitteiden mukaisesti. Tuo tavoite voidaan määritellä sellai-sen kansallisen ammatillisen osaamisen arviointijärjestelmän kehittämiseksi, joka antaa mahdollisimman nopeaa ja reaaliaikaista tietoa työelämäosaamisen kehittymisestä amma-tillisen koulutuksen eri alueilla. (Spangar 2008.) Ulkoisen arvioinnin mukaan arviointijärjestelmään on rakennettava ajanmukainen empii-rinen arvioinnin ja seurannan tietokanta, jotta kansallinen arviointijärjestelmä olisi toimi-va. Jotta tietokannasta saataisiin ulos ’tietämystä ’ ja ’osaamista’, on kansallisen arviointi-järjestelmän eri osien ja eri tasojen välisen vuorovaikutuksen oltava mahdollisimman ”hy-välaatuinen” eli autenttisen dialoginen siten, että arviointijärjestelmän piiriin kuuluvien toimijoiden rikas kokemus ja käytännön viisaus tulevat mahdollisimman kattavasti esille ja huomioon otetuksi. Ulkoisessa arvioinnissa vertaisarviointi nähdään kehittämisaskeleena, joka rikastaa koottavaa informaatiojärjestelmää ja tuo siihen vuorovaikutteisuutta ja in-formaation käytettävyyden edellyttämän tulkintajärjestelmän. Ulkoisen arvioinnin mukaan vertaisarviointi on erityisen hyvä mekanismi, jolla voidaan synnyttää eri toimijoiden jaet-tua ja yhteistä ymmärrystä siitä, mikä on toimivaa ja hyvää käytäntöä ammattiosaamisen arvioinnissa. (Spangar 2008.)

67

Kansainvälisten asiantuntijoiden palaute Hankkeen projektisuunnitelman mukaisesti näyttöperusteisesta arviointijärjestelmästä pyydettiin kansallisen arvioinnin lisäksi myös kansainvälinen ulkoinen arviointipalaute. Pa-lautetta pyydettiin englantilaisilta asiantuntijoilta Gordon Stobartilta (Educational Assess-ment, Institute of Education, University of London), Peter Goffilta, (Independent consultant in voca-tional qualifications), Tom Leneyltä (Qualifications and Curriculum Authority (QCA) ja Paul Newtonilta ((Qualifications and Curriculum Authority (QCA). Ensimmäisen palautteensa he antoivat vuonna 2005 ja toisen hankkeen loppuvaiheessa keväällä 2008. Arviointia varten heille toimitettiin seuraavat Koppi-hankkeessa tuotetut materiaalit:

1) Räkköläinen & Ecclestone: The implications of using skills test as basis for a national evaluation system in Finland (FNBE Evaluation 1/2005)

2) The leaf left of Koppi -project (Report FNBE 14/2006)

3) T. Spangar: The external evaluation of KOPPI -project (FNBE 2008)

4) Ecclestone & Räkköläinen: our memorandum to Ministry of Education (2/2008) (not published)

Seuraavassa esitellään lyhyesti arvioinnin keskeiset havainnot ja tulokset. Myös kansain-välisten arvioijien antamasta palautteesta on laadittu oma raportti (Ecclestone. External eva-luators’ report 2008: Clarifying purposes, roles and responsibilities in an evaluation system for learning results in Finnish vocational qualifications). Ulkoiset arvioijat suhtautuvat myönteisesti näyttöperusteiseen arviointiin ja kansallisen arvioinnin kehittämishankkeen ideaan. Heidän mukaan seuraavaksi on ratkaistava, mikä on uuden näyttöperusteisen arviointijärjestelmän tarkoitus kansallisella ja paikallisella ta-solla:

- Miten arviointitietoa tullaan käyttämään? - Kuka tietoa käyttää, kenelle arviointitieto on tarkoitettu?

Lisäksi on varmistettava, että arviointitieto johtaa kehittämiseen niin paikallisella kuin kansallisellakin tasolla. Arvioijien mukaan järjestelmä, jolla ei ole seurauksia, on hyödytön. Uuden näyttöperusteisen arviointijärjestelmän yksi suuri haaste on siinä, että se kohdistuu eri tasoihin: kansalliseen, alueelliseen, paikalliseen ja koulutuksen järjestäjä- ja oppilaitos-tasoihin. Arvioijien mukaan tällä hetkellä tuotettu arviointitietoa palvelee ennen kaikkea oppilaitoksia ja niiden oman toiminnan arviointia ja kehittämistä. Kansallisella tasolla ar-vioinnin ongelmana nähdään edelleen arviointitiedon luotettavuuteen liittyvät kysymykset. Myös kansainväliset ulkoiset arvioijat pitivät hyvänä, että validiteetti- ja reliabiliteetti-kysymykset ja ongelmat on huomioitu ja niitä on tarkasteltu eri näkökulmista jo kehittä-mishankkeen aikana. Arvioijien mukaan haastavinta on yhdistää nämä eri tasot (kansalli-nen–alueellinen–paikallinen, validiteetti-reliabiliteetti) toimivaksi kokonaisuudeksi. Ar-viointijärjestelmän kehittämisen painopisteen tulisi olla nykyistä enemmän alueellisella ta-solla sisältäen elinkeinoelämän, yritykset, muut organisaatiot ja toimielimen. Arvioijien mukaan työelämän rooli näyttöperusteisessa arviointijärjestelmässä vaikuttaa vielä hieman epäselvältä. Heidän tehtävää näytön arvioinnissa tulisi korostaa ja selkiyttää ja mahdollisesti rajata olennaiseen (esimerkiksi näyttöjen valikointi, vain laajat holistiset näytöt).

68

Myös kolmikantaisen toimielimen tehtävää tulisi vahvistaa ja hyödyntää enemmän kansal-lisen arvioinnin toteuttamisessa ja näyttöjen laadunvarmennuksessa, sillä toimielimellä on paljon valtaa ja vastuuta. Arvioijien mukaan opettajien työmäärän kasvamista ja resursseja koskevaa keskustelua tulee seurata ja opiskelijoiden palautetta näyttöjärjestelmästä tulisi hankkia nykyistä enemmän.

69

8 JOHTOPÄÄTÖKSET JA KEHITTÄMISEHDOTUKSET Kehittämishankkeen kokeilujen ja ulkoisen arvioinnin pohjalta voidaan todeta, että kan-sallinen arviointi voidaan integroida koulutuksen järjestäjän organisoimiin ammattisaami-sen näyttöihin. Näin ollen kansallinen arviointitieto voidaan koota paikallisesti toteutetta-vista näytöistä ja ne voivat korvata aikaisemmat päättökokeet. Integroitava arviointimalli on tarkoituksenmukainen sekä kansallisen arvioinnin että ammattiosaamisen näyttöjen kehittämisen kannalta. Näytöistä saatua arviointitietoa voidaan hyödyntää opetuksen ja koulutuksen kehittämisessä niin paikallisella kuin kansallisellakin tasolla. Arviointikokeilut osoittivat, kuten monet muutkin ammattiosaamisen näyttöjä koskevat selvitykset, että näytöt ovat osuvia (valideja) ja eri osapuolia motivoivia ammatillisen osaamisen arvioinnin välineitä. Näytöt lisäävät arvioinnin osuvuutta, relevanssia ja autent-tisuutta. Aikaisemmassa yhteneviin päättökokeisiin perustuvassa mallissa korostettiin enemmän arviointitiedon reliabiliteettia eli vertailtavuutta, mutta näyttöperusteisessa arvi-oinnissa painottuu enemmän validiteetti. Arvioinnin osuvuus ja autenttisuus lisääntyvät, koska näytöt perustuvat oppilaitosten ja työelämän paikalliselle yhteistyölle ja ne antavat mahdollisuuden yhteisarviointiin. Arvioinnissa korostetaan enemmän joustavuutta ja ammattiosaamisen näyttöjen soveltamista aitoihin työelämän tilanteisiin kuin yhdenmu-kaista toteuttamistapaa. Verrattuna erillisiin päättökokeisiin ammattiosaamisen näyttöihin pohjautuva malli tuo paikalliselta tasolta uudenlaista arviointitietoa oppimisen ja opetuk-sen laadusta. (Räkköläinen 2005.)

Kansallisen arvioinnin kannalta ammattiosaamisen näyttöjen ongelmat liittyvät nimen-omaan arvioinnin reliabiliteettiin. Näytöt on suunniteltu lisäämään ennen kaikkea arvioin-nin osuvuutta ja relevanssia, eikä niinkään ole korostettu niiden yhdenmukaisuutta ja tois-tettavuutta. Toisaalta liiallisen yhdenmukaistamisen (reliabiliteetti) vaarana on näyttöjen ja opetuksen kaventuminen; yhdenmukaisuuden korostaminen voi kaventaa näyttöjä yksit-täisiksi tehtäviksi ja testeiksi, jolloin ne eivät enää ole niin osuvia ammatillisen osaamiseen ”mittareita”. Samalla kansallisen vertailun ja ammattiosaamisen näyttöjen vertailtavuuden korostaminen voivat vaarantaa näyttöjen alkuperäisen tavoitteen. Näin ollen on löydettävä tasapaino reliabiliteetti- ja validiteettivaatimusten välillä, sillä arviointitiedon luonteeseen vaikuttaa, miten painotetaan arvioinnin osuvuutta (validiteettia) sekä vertailtavuutta ja johdonmukaisuutta (reliabiliteettia). (Räkköläinen & Ecclestone 2005.)

Arviointikokeilut osoittivat, että luotettavan ja vertailukelpoisen arviointitiedon saaminen edellyttää näyttötoiminnan laadunvarmennusta, sillä näyttöjen organisointi- ja arviointi-käytännöt vaihtelevat paljon tutkinnoittain, opintokokonaisuuksittain ja oppilaitoksittain. Laadunvarmennus edellyttää valintaa sitovien normien ja suositusten välillä. On määritet-tävä arvioinnin minimivaatimukset. Tällöin on kysymys myös linjanvedosta sääntelyn ja paikallisen joustavuuden välillä. Kansallisen arvioinnin tulee perustua näyttötoiminnan yleisiin laatuvaatimuksiin, jotka ovat kansallisen arvioinnin minimilaatuvaatimuksia. Tar-vetta laadunvarmistamiselle on olemassa jo opiskelijoiden oikeudenmukaisen arvioinnin takaamiseksi (esimerkiksi näyttötodistukset) ja opiskelija-arvioinnin laadun kehittämiseksi. Jotta kansallisella arviointijärjestelmällä olisi vaikutusta ja merkitystä, sen tuottamaa tietoa pitäisi voida hyödyntää koulutuksen kehittämisessä ja ohjauksessa niin paikallisella kuin kansallisella tasolla. Järjestelmän pitäisi tuottaa tietoa opetussuunnitelman perusteiden ta-voitteiden toteutumisesta, osaamisen tasosta sekä siitä, miten osaaminen vastaa työelämän tarpeita ja antaa valmiuksia jatko-opintoihin. Sen tulisi myös varmistaa koulutuksellisen ta-

70

sa-arvon toteutumista ja parantaa koulutuksen laatua ja oppimistuloksia. Tällä hetkellä näyttöperusteinen arviointijärjestelmä palvelee erityisesti paikallista tasoa, koulutuksen jär-jestäjiä ja oppilaitoksia, jotka voivat hyödyntää arviointitietoa muun muassa opetussuunni-telman, työssäoppimisen, näyttöjen, opinto-ohjauksen, opetusmenetelmien ja työelämäyh-teyksien kehittämisessä. Kansallisella tasolla arviointitietoa voidaan hyödyntää ennen kaik-kea näyttötoiminnan ja opiskelijan arvioinnin kehittämisessä mutta myös opetussuunni-telman perusteiden kehittämisessä.

Kansallista arviointitietoa voidaan käyttää kehittävässä merkityksessä, jos koulutuksen jär-jestäjillä ja oppilaitoksilla on käytettävissä sekä kansalliset seuranta- ja vertailutiedot että omat tulokset. Tämä edellyttää, että tiedon tuottamiseen osallistuneille koulutuksen järjes-täjille annetaan säännöllisin väliajoin palautetta omista tuloksista suhteessa kansalliseen tu-lokseen. Tällöin oppilaitokset voivat itse tunnistaa omia kehittämiskohteitaan ja hyödyntää palautetietoa oman toiminnan itsearvioinnissa ja kehittämisessä. Tavoitteena on, että op-pimistulostiedon kerääminen on kiinteä osa koulutuksen järjestäjän toimintaa. Näyttöpe-rusteiseen arviointijärjestelmään tullaankin lähitulevaisuudessa liittämään sähköinen palau-te- ja raportointijärjestelmä, josta tietoa voidaan tarkastella monipuolisesti usean eri toimi-jan näkökulmasta. Ulkoisen arvioinnin mukaan näyttöperusteiseen arviointijärjestelmään on rakennettava numeerisen tiedon lisäksi ajanmukainen empiirinen arvioinnin ja seurannan tietokanta, jotta kansallinen arviointijärjestelmä olisi toimiva. Ulkoisessa arvioinnissa vertaisarviointi nähdään kehittämisaskeleena, joka rikastaa koottavaa informaatiojärjestelmää ja tuo siihen vuorovaikutteisuutta ja informaation käytettävyyden edellyttämän tulkintajärjestelmän. Ulkoisen arvioinnin mukaan vertaisarvioinnilla voidaan synnyttää eri toimijoiden jaettua ja yhteistä ymmärrystä siitä, mikä on toimivaa ja hyvää käytäntöä ammattiosaamisen arvioin-nissa. Tavoitteena onkin, että vertaisarvioinnilla olisi keskeinen rooli näyttöperusteisen ar-vioinnin laadunvarmennuksessa. Vertaisarvioinnilla voidaan varmistaa näyttöjen ja arvi-oinnin laatua ja tuottaa palautetta arviointikäytäntöjen kehittämiseksi. Arviointikokeilujen arvosanojen perusteella opiskelijat hallitsevat hyvin käytännön amma-tillisen osaamisen. Molemmissa arviointikokeiluissa opiskelijoille annetut arvosanat olivat hyviä ja koko arviointiaineistossa yleisin arvosana oli H4. Ulkoinen arviointi ja arviointi-kokeilut osoittivat, ettei pelkän näytöistä saadun arviointitiedon pohjalta voida tehdä ko-vin pitkälle meneviä johtopäätöksiä koulutuksen tilasta kansallisella tasolla, sillä järjestel-mään liittyy vielä hyvin paljon luotettavuusongelmia. Ylipäätään arviointitiedon käyttäjän tulee tietää ja ymmärtää arviointitiedon luonteeseen ja luotettavuuteen vaikuttavat tekijät ja oltava näin huolellinen sen käytössä. Tarpeen onkin, että kansallisen arvioinnin sisältöä ja luotettavuutta arvioitaisiin aika ajoin ulkopuolisen tahon toimesta, kuten hankkeen ul-koisessa arviointipalautteessa suositellaan. Arviointikokeilut osoittivat, että näyttöjen arvosanoissa on eroja oppilaitosten välillä. Ero-jen syitä on vaikea määrittää, mutta ne saattanevat johtua muun muassa oppilaitosten eri-laisista arviointikulttuureista, arvioijan arviointiosaamisesta tai todellisista eroista opiskeli-joiden osaamisessa. Jatkossa tärkeää onkin löytää ne näyttöperusteisen arvioinnin kannalta relevantit taustamuuttujat, jotka selittäisivät eroja arvosanoissa. Toisaalta näyttö on autent-tinen arviointimenetelmä, jossa korostuu enemmän validiteetti kuin reliabiliteetti. Näin ol-len lisätieto oppilaitoksesta ja opiskelijasta eivät välttämättä tuo lisäarvoa tulosten tulkin-taan ja ymmärtämiseen vaan erot arvosanoissa syntyvät itse arviointilanteesta (kriteerien tulkinta) ja näyttöpaikasta. Arviointikokeilut osoittivat, että näytöissä on mahdollista arvioida laaja-alaista ammatillis-ta osaamista, etenkin työpaikalla toteutettavissa, riittävän laajojen opintokokonaisuuksien

71

(usein pitkäkestoisissa) näytöissä. Laajuudeltaan suppeissa opintokokonaisuuksissa ei kui-tenkaan ole mielekästä pyrkiä arvioimaan kaikkia yleisiä arvioinnin kohteita. Kaikille aloil-le yhteisen ydinosaamisen arviointi sopii useimpiin ammatillisen osaamisen näyttöihin. Sen sijaan yhteisten painotusten arvioinnin tulisi olla systemaattisempaa ja arvioitavan osaamisen sisältöjä tulisi avata opetussuunnitelman perusteissa enemmän, jotta kansallisen vertailutiedon kokoaminen olisi niistä mahdollista. Myös ydinosaamisten sisältöjä tulisi avata enemmän opetussuunnitelman perusteissa, jotta niistä voisi saada luotettavaa arvi-ointitietoa.

Arviointikokeilujen tulosten analysointi ja raportointi vahvisti, että kaikille aloille yhteiset yleiset arvioinnin kohteet ja yhtenäinen näytön arvosanan dokumentaatiolomakkeen käyt-tö mahdollistavat tutkintojen välisen vertailun. Yhtenäinen dokumentaatio mahdollistaa myös tulosten tarkastelun ja vertailun opintokokonaisuuksittain, mikä tukee oppilaitoksia erityisesti opetuksen ja opetussuunnitelman kehittämisessä. Nykyiset opetussuunnitelman perusteet eivät vielä tue riittävästi näyttöperusteista arvioin-tia, joten arviointiin vaikuttaa erityisesti, miten näytöt on liitetty osaksi koulutuksen järjes-täjän omaa opetussuunnitelmaa. Tällä hetkellä opetussuunnitelmat eivät myöskään anna mahdollisuutta seurata opiskelijan osaamisen kehittymistä opintojen edetessä (transfer). Kehittymisen seuraaminen on mahdollista vain hyvin yleisellä tasolla yleisten arviointi-kohteiden avulla ja silloinkin johtopäätösten tekeminen oppimisen siirtovaikutuksesta on epävarmaa, koska opetussuunnitelman perusteita ei ole rakennettu tämän ajattelun mukai-sesti. Jatkossa tarpeen on myös pohtia, millaista osaamista ammattiosaamisen näytöissä on ylipäätään mahdollista näyttää ja arvioida. Kehittämishankkeen arviointikokeiluissa tuli esille, että näytöissä painottuu toiminnallisen ja sosiaalisen osaamisen arviointi, ts. se osaaminen, joka on helpoimmin havaittavissa. Sen sijaan reflektiivinen ja tiedollinen osaaminen saattavat jäädä niiden teoreettisen luonteen vuoksi vähemmälle huomiolle. Jatkossa haasteeksi nousee, miten ammattiosaamisen näytöt ja siihen integroitu kansalli-nen arviointi voidaan toteuttaa mahdollisimman laadukkaasti kuormittamatta liikaa opet-tajia ja etenkin työpaikkoja. Arviointijärjestelmän kehittämishankkeiden keskeisimpiä ha-vaintoja oli, että näytöt tulee integroida työpaikkojen normaaliin työtoimintaan ja työteh-täviin. Erikseen järjestettyihin tilanteisiin ei ole rahaa eikä aikaa. Ulkoisen arvioinnin mu-kaan työelämän edustajien tehtävää näytön arvioinnissa tulisi korostaa ja selkiyttää entises-tään ja mahdollisesti rajata olennaiseen esimerkiksi osallistumalla vain laajojen holististen näyttöjen arviointiin. Samoin kolmikantaisen toimielimen tehtävää tulisi vahvistaa ja hyö-dyntää enemmän kansallisen arvioinnin toteuttamisessa ja näyttöjen laadunvarmennukses-sa. Myös opettajien työmäärän kasvamista ja resursseja koskevaa keskustelua tulee seurata ja opiskelijoiden palautetta näyttöjärjestelmästä tulisi hankkia nykyistä enemmän. Kehit-tämishankkeessa näyttöjen keskeisimmäksi kehittämistarpeeksi eri osapuolet mainitsivat arviointikriteerien selkiyttämisen ja yksinkertaistamisen.

Kansallisen arvioinnin kannalta jatkossa on tärkeää ratkaista, mikä on näyttöperusteisen arvioinnin tarkoitus paikallisella ja erityisesti kansallisella tasolla ja miten järjestelmän tuot-tamaa tietoa voidaan käyttää eri tarkoitukseen eri tasoilla (kansallinen, alueellinen ja pai-kallinen). Järjestelmän jatkokehittämisen kannalta olennaisin kysymys on, miten arviointi-tietoa halutaan käyttää kansallisella tasolla. Arviointikokeilu osoitti, että syntyy jännitteitä käytettäessä ammattiosaamisen näyttöjä eri tarkoituksissa. Ammattiosaamisen näyttöihin ei ole syytä liittää liian monia tarkoituksia, jotta ne todella voivat toimia oppimisen kehit-tämisen välineinä menettämättä autenttisuuttaan. Toisaalta integroimalla oppimistulosten arvioinnin edellyttämä laadunvarmistus osaksi ammattiosaamisen näyttöjä, on mahdollista kehittää ammatillisiin perustutkintoihin sisäänrakennettu laadunvarmennusmekanismi, jo-

72

ka on kokonaistaloudellisesti edullinen ja jossa on mahdollisimman vähän päällekkäisyyk-siä ja joka antaa riittävän ajankohtaista tietoa sekä paikallisen että kansallisen tason kehit-tämistyölle. Jatkossa pohdittavaksi tulevat myös arvioinnin osuvuuden ja vertailtavuuden välisen jännitteen lisäksi myös erilaiset arviointitiedon julkisuutta koskevat eettiset periaat-teet ja kysymykset arvioinnin oikeudenmukaisuudesta. (Räkköläinen 2005; Ecclestone 2008.)

Parhaimmillaan toteutettuna näytöt siis mahdollistavat laaja-alaisen osaamisen arvioinnin, edistävät oppilaitoksen ja työelämän välistä yhteistyötä, lisäävät koulutuksen työelämävas-taavuutta, yhtenäistävät opiskelijan arviointia sekä tuottavat tietoa koulutuksen ja opetuk-sen kehittämiseen. Jatkossa kehittämishaasteeksi nouseekin arviointikriteerien selkiyttämi-nen ja yksinkertaistaminen, näyttöihin ja niiden arviointiin liittyvän koulutuksen ja pereh-dytyksen lisääminen, oppilaitosten ja työpaikkojen välisen yhteistyön vahvistaminen näy-tön suunnittelussa ja arvioinnissa. Koulutuksen järjestäjän on myös varmistettava, että näytöt on integroitu omiin linjauksiin ja opetussuunnitelmiin. Kaikki nämä ovat osaltaan varmistamassa kansallisen arviointitiedon luotettavuutta ja vertailtavuutta.

Taulukossa 5 on yhteenvetona näyttöperusteisen arvioinnin vahvuudet ja ongelmakohdat erityisesti kansallisen arvioinnin osuvuuden ja vertailtavuuden kannalta. Yhteenveto pe-rustuu arviointikokeilujen tuloksiin, projektien tuotoksiin, vertaisarvioinnin tuloksiin ja kokemuksiin, projektin ulkoisen arvioinnin palautteisiin sekä Mari Räkköläisen ja Kathryn Ecclestonin pohdintoihin työskentelyjaksoilla ja niiden raportteihin.

Taulukko 5 Näyttöperusteisen arvioinnin vahvuudet ja ongelmakohdat kansallisen arvioinnin kannalta

Vahvuuksia

– Näytöt lisäävät arvioinnin osuvuutta, mer-kitystä ja autenttisuutta (luotettavuus, aito-us)

– Näytöissä on mahdollista arvioida laaja-alaista ammatillista osaamista

– Näytöt kehittävät opiskelijan arviointia ja mahdollistavat ammatillisen osaamisen yh-teisarvioinnin

– Näytöt kehittävät opiskelijan itsearviointi-taitoja ja näin tukee elinikäisen oppimisen valmiuksien kehittymistä (oppimaan op-piminen, ongelmanratkaisutaidot jne.)

– Näytöt kehittävät opettajien ja työelämän edustajien arviointiosaamista, erityisesti kriteeriperusteisen arvioinnin osaamista

– Näytöt tekevät arvioinnin läpinäkyväksi, kun arvioinnin kohteet ja kriteerit ovat en-nalta tiedossa

– Näytöt tuottavat nopeaa palautetietoa ope-tuksen sekä ohjaus- ja tukitoimien kehit-tämiseen

– Näytöt lisäävät oppilaitosten ja työpaikko-jen paikallista yhteistyötä

– Näyttöperusteinen arviointi koetaan hyö-dylliseksi ja motivoivaksi, mikä edistää kaikkien osapuolten oppimista.

Ongelmakohtia

– Näytöt eivät suoraan tuota vertailukel-poista tietoa kansallisella tasolla

– Näytöt on suunniteltu ennen kaikkea li-säämään arvioinnin osuvuutta eikä yh-denmukaisuutta

– Yhdenmukaistamisen vaarana on am-mattiosaamisen näyttöjen ja opetuksen kaventuminen

– Näyttöjen organisointi ja arviointikäy-tännöt sekä arvioitava osaaminen vaihte-levat paljon

– Arvioinnin kohteita ja kriteereitä tulki-taan arvioijasta riippuen hyvin eri tavoin

– Näytöistä saadun tiedon pohjalta ei voi-da kansallisella tasolla tehdä kovin pit-källe meneviä johtopäätöksiä koulutuk-sen ja opetuksen tilasta

– Arviointitiedon käyttäjän tulee tietää ja ymmärtää arviointitiedon luonteeseen ja luotettavuuteen vaikuttavat tekijät.

73

9 LOPUKSI Kansallista näyttöperusteista oppimistulosten arviointijärjestelmää kehitettiin Opetushalli-tuksessa vuosina 2002–2008. Kehittämishankkeessa selvitettiin, voidaanko kansallinen ar-viointitieto koota suoraan koulutuksen järjestäjän organisoimista ammattiosaamisen näy-töistä. Hankkeessa toteutettiin kaksi laajaa arviointikokeilua, joissa näyttöperusteista arvi-ointijärjestelmää testattiin käytännössä. Kokeiluissa arviointitieto saatiin suoraan kokei-luun osallistuneiden koulutuksen järjestäjän toteuttamista näytöistä. Arviointikokeilun pohjalta voidaan todeta, että kansallinen arviointi on mahdollista liittää ammattiosaamisen näyttöihin. Näytöistä saatua arviointitietoa voidaan hyödyntää opetuk-sen ja koulutuksen kehittämisessä erityisesti koulutuksen järjestäjän tasolla mutta myös kansallisella tasolla. Arviointikokeilut osoittivat kuitenkin, että luotettavan ja vertailukel-poisen kansallisen arviointitiedon saaminen edellyttää näyttötoiminnan laadunvarmennus-ta. Kansallisen arvioinnin tulee perustua näyttötoiminnan yleisiin laatuvaatimuksiin, jotka ovat kansallisen arvioinnin minimilaatuvaatimuksia. Laatuvaatimusten lisäksi kansallisen arvioinnin ja näyttöjen laatua voidaan varmistaa ja kehittää muun muassa vertaisarvioin-nilla. Kansallisen arvioinnin ja näyttöjen yhteensovittamisella on paljon myönteisiä vaikutuksia koulutuksen ja arvioinnin laadun kehittämiseen. Suurimmat ongelmat kansallisen arvioin-nin kannalta liittyvät arviointitiedon luotettavuuteen, erityisesti arviointien vertailukelpoi-suuteen. Ongelmat liittyvät siihen, että näyttöjä käytetään eri tarkoituksessa kansallisella ja paikallisella tasolla. Myös eri osapuolten intressit ja odotukset eroavat toisistaan. Jatkossa onkin ratkaistava, mikä on uuden näyttöperusteisen arviointijärjestelmän tarkoitus kansal-lisella tasolla. Tähän liittyviä keskeisiä kysymyksiä ovat: Miten ja mihin arviointitietoa tul-laan käyttämään? Kansallista arviointitietoa voidaan käyttää kehittävässä merkityksessä, jos koulutuksen jär-jestäjillä ja oppilaitoksilla on käytettävissä palautetietoa omista ja kansallisista tuloksista. Tällöin oppilaitokset voivat itse tunnistaa omia kehittämiskohteitaan ja hyödyntää palaute-tietoa oman toiminnan itsearvioinnissa ja kehittämisessä. Seuraavaksi näyttöperusteisen arviointijärjestelmän kehittämistyön painopisteenä onkin kehittää sähköinen palaute- ja raportointijärjestelmä kansallisen arvioinnin ja koulutuksen järjestäjän itsearvioinnin tuek-si. Koppi-hankkeen pohjalta käynnistettiin Opetushallituksessa vuoden 2007 alussa kansalli-nen oppimistulostiedon tuottaminen ja seuranta, jossa arviointitieto kootaan suoraan ammattiosaamisen näytöistä (Opetusministeriön päätös (3/502/07). Oppimistulostiedot tuotetaan sosiaali- ja terveysalan, hotelli- ja ravintola-alan, kone- ja metallialan sekä logis-tiikan perustutkintojen kaikista opiskelijoiden suorittamista ammattiosaamisen näytöistä tutkintojen suorittamisen loppuun saakka. Oppimistulostietojen tuottamisen ensimmäisen vaiheen tuloksista laadittiin väliraportti (näyttötietoa ammattiosaamisesta I) keväällä 2008. Koko tutkintoa koskevat tulokset raportoidaan syksyllä 2009. Syksyllä 2008 käynnistettiin seuranta-arvioinnit metsäalan ja rakennusalan perustutkin-noissa. Näiden tutkintojen näytöt toteutetaan ja arvioidaan elokuusta 2008 voimaan tul-leiden tarkistettujen opetussuunnitelman perusteiden eli ammatillisten perustutkintojen

74

perusteiden mukaan. Vuonna 2009 seuranta-arviointi laajenee kolmella uudella perustut-kinnolla. Tavoitteena on, että kansallinen seuranta-arviointi kattaa kaikki ammatilliset pe-rustutkinnot vuonna 2011, jolloin kaikissa ammatillisissa perustutkinnoissa on käytössä uudet tutkinnon perusteet. Opetushallitus tuottaa vuosittain kansallisen raportin, jossa arvioidaan ammattiosaamisen näyttöjen kehittymistä ja oppimistuloksia. Ammattiosaamisen näyttöjen toteutumista ar-vioidaan kokonaisuudessaan vuonna 2009.

75

LIITTEET

76

77

LIITE 1 Arviointijärjestelmän kehittämishankkeet ja niiden tavoitteet Arviointijärjestelmän kehittäminen 2004–2007

Projektin nimi

Toteuttaja Aika Vastuu-henkilö

Tutkinnot Tavoitteet

Konsensus AEL Oy 1.9.2004–31.12.2007

Petri Kallionpää

Autoalan pt, kone- ja metallialan pt, logistiikan pt, pape-riteollisuuden pt, puualan pt, suun-nitteluassistentin pt, sähköalan pt, talotekniikan pt

Kehittää näyttöperus-teista arviointijärjes-telmää

Perehdyttää eri osa-puolia käyttämään ai-neistoja ja niissä olevia arviointikriteereitä

Kouluttaa oppilaitos-ten henkilöstöä oppi-laitoksen itsearviointi-työhön opiskelija-arvioinnin ja näyttö-toiminnan kehittämi-seen

Sote Järkevä

Oulun seudun koulutus-kunta-yhtymä

19.4.2004– 31.12.2007

Erja Kotimäki

Sosiaali- ja terveys-alan pt

Kehittää edelleen ar-viointijärjestelmää jo aiemmin kokeilussa mukana olevissa oppi-laitoksissa ja tuottaa arviointitietoa oppi-mistuloksista

Laajentaa kokeilua yhteistyöoppilaitoksiin sekä tukea ammat-tiosaamisen näyttöjen käyttöönottamista niissä oppilaitoksissa, joissa niitä ei ole vielä toteutettu

Arvo Turun ammatti-opisto-säätiö

1.8.2004– 31.10.2007

Kirsti Salo *Verhoilualan pt *Pintakäsittelyalan pt *Veneenrakennuk-sen pt

Kehittää oppimistu-losten arviointijärjes-telmä verhoilu- ja ve-neenrakennusaloille sekä maalaus- ja pinta-käsittelyalalle

Arvi Koulutus-keskus Tavastia

1.8.2004– 31.7.2007

Pauli Koivusaari

*Rakennusalan pt *Maanmittausalan pt

Kehittää maanmittaus- ja rakennusalan am-mattiosaamisen näyt-töjä ja arviointia siten, että kerättyä arviointi-tietoa voidaan käyttää kansallisessa arvioin-nissa

78

LIITE 2 Arviointikäytäntöjen kehittämishankkeet ja niiden tavoitteet

Arviointikäytäntöjen kehittäminen 2005–2007

Projektin nimi

Toteuttaja Aika Vastuu-henkilö

Tutkinnot Tavoitteet

RIIHY – Näytöistä työ-elämään

Riihimäen kaupunki/ Riihimäen kauppaop-pilaitos

1.3.2005–31.12.2007

Satu Penttala

Liiketalouden pt, tie-tojenkäsittelyn pt, autoalan pt, kone- ja metallialan pt, logis-tiikan pt, laborato-rioalan pt, sähköalan pt, talotekniikan pt, rakennusalan pt, av-viestinnän pt, puu-tarhatalouden pt, luonto- ja ympäris-töalan pt, metsäalan pt, maatalousalan pt, kotitalous- ja kulut-tajapalvelujen pt, ca-tering-alan pt, hotel-li- ja ravintola-alan pt, sosiaali- ja terve-ysalan pt

Ammattiosaamisen näyt-töjen nivominen osaksi opsia

Ammattiosaamisen näyt-töjen toteuttaminen työs-säoppi-misjaksolla kan-sallisia aineistoja hyödyn-täen

Alueen toimielimen pe-rustaminen ja toiminta-mallin luominen

Tiivis yhteistyömalli alu-een työpaikkojen kanssa

Valmis näyttöön!

Invalidisää-tiö/ Kes-kuspuiston ammat-tiopisto

1.3.2005–30.6.2007

Miika Keijonen

Kone- ja metallialan pt, sähköalan pt, pin-takäsittelyn pt

Erityisopiskelijoiden ammattiosaamisen näyt-töjen kehittäminen yh-teistyössä työelämän kanssa

Opiskelijan arviointikäy-täntöjen kehittäminen

Ammattiosaamisen näyt-töjen nivominen osaksi opsia

Itsearvioinnin hyödyntä-minen toiminnan kehit-tämisessä ja arvioimisessa

Kansallisen ammat-tiosaamisen näyttöaineis-ton soveltuvuuden kar-toittaminen erityisoppilai-toksessa

Kolmikantayhteistyön kehittäminen (toimielin)

Testata kansallisen kyse-lylomakkeen soveltuvuut-ta erityisopiskelijoilla

79

Näyttö-portaali- Hyvät näyttö-käytännöt

Keski-Pohjan-maan kou-lutus-kunta-yhtymä

1.1.2005–31.12.2007

Tuija Koukkari

Puutarhatalouden pt, metsäalan pt, luon-to- ja ympäristöalan pt, sosiaali- ja terve-ys-alan pt, hiusalan pt, kauneudenhoito-alan pt, matkailualan pt, catering-alan pt, hotelli- ja ravintola-alan pt, kotitalous- ja kuluttajapalvelujen pt, puhdistuspalvelu-jen pt, talotekniikan pt, autoalan pt, logis-tiikan pt, sähköalan pt, rakennusalan pt, puualan pt, pintakä-sittelyn pt, kemian-tekniikan pt, labora-torioalan pt, elintar-vikealan pt, maatalo-usalan pt, nuoriso- ja vapaa-ajanohjauk-sen pt, käsi- ja taide-teollisuusalan pt, au-diovisuaalisen vies-tinnän pt, liiketalou-den pt, tietojenkäsit-telyn pt, vaatetusalan pt, kone- ja metalli-alan pt

Suorittaa aiempiin valta-kunnallisiin ESR-am-mattiosaamisen näyttöpi-lottikokeiluihin, oppilai-toskokeiluihin sekä Ope-tushallituksen materiaa-leihin perustuva nuorten ammattiosaamisen näyt-töjen hyvien käytänteiden etsiminen bench-marking-menetelmällä

Benchmarkingin ja käy-tännön ammattiosaami-sen näyttökokeilujen avulla löytyvät hyvät käy-tänteet laitetaan Interne-tiin Ammattiosaamisen näyttöportaalin muotoon

Blanco 1-2-3

AEL Oy 1.4.2005–31.12.2007

Kari Suutarinen Ari Ojala

Autoalan pt, kone- ja metallialan pt, logis-tiikan pt, paperiteol-lisuuden pt, puualan pt, suunnitteluassis-tentin pt, sähköalan pt, talotekniikan pt, kemiantekniikan pt, laboratorioalan pt, elintarvikealan pt, maanmittausalan pt, pintakäsittelyalan pt, rakennusalan pt, tur-vallisuusalan pt

Saada ammattiosaamisen näytöt osaksi koulutuk-sen järjestäjän opetus-suunnitelmaa

Suunnitella, toteuttaa ja arvioida ammattiosaami-sen näyttöjä yhteistyössä työelämän kanssa hyö-dyntämällä kansallisia ammattiosaamisen näyt-töaineistoja

Eri osapuolet koulutetaan käyttämään kansallisia ammattiosaamisen näyt-töaineistoja ja niissä opin-tokokonaisuuksittain il-maistuja arviointikohteita ja arviointikriteerejä

Kouluttaa oppilaitosten henkilöstöä siten, että he

80

osaavat käyttää näytöistä saatua tietoa oppilaitok-sen itsearvioinnissa, opis-kelija-arvioinnin ja am-mattiosaamisen näyttö-toimintansa kehittämises-sä

Ammattiosaamisen näyt-töperusteisen kansallisen oppimistulosten arvioin-timallin testaaminen

Näkes – Näyttöjen arviointi-järjestelmän kehittämi-nen Sata-kunnassa

Rauman kaupunki/ Rauman ammatti-opisto

1.3.2005–31.12.2007

Satu Salo Riitta Kaunisto

Sosiaali- ja terveys-alan pt, hiusalan pt, kauneudenhoitoalan pt, liiketalouden pt, tietojenkäsittelyn pt, hotelli- ja ravintola-alan pt, catering-alan pt, matkailualan pt, vaatetusalan pt, ko-ne- ja metallialan pt, rakennusalan pt, au-toalan pt, logistiikan pt, paperiteollisuu-den pt, sähköalan pt, painoviestinnän pt, kuvallisen ilmaisun pt, audiovisuaalisen viestinnän pt, käsi- ja taideteollisuusalan pt

Ammattiosaamisen näyt-töjen liittäminen osaksi opsia

Hyödyntää ja testata kan-sallisia ammattiosaamisen näyttöaineistoja

Kehittää opiskelijan arvi-ointia ja arvioinnin do-kumentointia

Työstää alueellisesti yh-denmukaista ohjausmate-riaalia opiskelijoille, opet-tajille ja työpaikkaohjaajil-le

Suunnitella opiskelijoiden tuki- ja ohjaustoimintaa sekä parantaa opetusjär-jestelyjä

Toimielinten perustami-nen ja optimaalisen toi-mintamallin löytäminen

Tuottaa oppimistuloksia paikallisella tasolla

Amy Kotkan-Haminan seudun koulutus kuntayhty-mä

1.4.2005–31.7.2007

Sari Häkkinen

Kone- ja metallialan pt, autoalan pt, säh-köalan pt, rakennus-alan pt, pintakäsitte-lyalan pt, taloteknii-kan pt, puualan pt, paperiteollisuuden pt, liiketalouden pt, catering-alan pt, elin-tarvikealan pt, hotel-li- ja ravintola-alan pt, kotitalous- ja ku-luttajapalvelujen pt, sosiaali- ja terveys-alan pt, hiusalan pt, musiikkialan pt

Ammattiosaamisen näyt-töjen nivominen osaksi opsia

Kehittää työelämälähtöi-siä oppimisen arviointi-menetelmiä

Testata ammattiosaami-sen näyttöperusteista kansallista oppimistulos-ten arviointimallia

81

LIITE 3 Arviointijärjestelmän ja arviointikäytäntöjen kehittämisprojektit KOPPI –HANKE (ESR)

Koppi-hanke sisältää yhteensä 10 valtakunnallista projektia, joista neljä on keskittynyt ke-hittämään arviointijärjestelmää ja uusia arviointikäytäntöjä. Koppi-hankkeen koordinoin-nista vastaa Opetushallitus yhteistyössä ammatillisten oppilaitosten kanssa. Hankkeessa on mukana noin 50 ammatillisen koulutuksen järjestäjää ja noin 60 ammatillista oppilai-tosta. Arviointijärjestelmää ja arviointikäytäntöjä kehitetään 36 ammatillisessa perustut-kinnossa. Kehittämisprojektit on kuvattu ohessa olevassa kuviossa.

Kuvio Arviointijärjestelmän ja arviointikäytäntöjen kehittämisprojektit

KANSALLISEN ARVIOINTIJÄRJESTELMÄN KEHITTÄMISPROJEKTIT

Kansallista ammattiosaamisen näyttöperusteista oppimistulosten arviointijärjestelmää ke-hitetään neljässä projektissa, joiden käytännön toteuttamisesta vastaavat oppilaitokset. Projektit ajoittuvat vuosille 2004–2007 ja niissä on mukana 14 perustutkintoa, noin 23 koulutuksen järjestäjää ja 29 oppilaitosta.

Oppilaitosten koordinoimat projektit ovat: SOTE–JÄRKEVÄ -projekti (Oulun seudun ammattiopisto), KONSENSUS (AEL Oy), ARVO (Turun ammattiopistosäätiö), ARVI (Koulutuskeskus Tavastia).

NÄYTTÖJEN KEHITTÄMINEN

AMMATTIOSAAMISEN NÄYTTÖPERUSTEINEN ARVIOINTI

Kansallisen arviointijärjestelmän kehittämisprojekti

SOTE JÄRKEVÄ projekti

KONSENSUS

ARVO

ARVI

Arviointikäytäntöjen kehittämisprojekti

RIIHY – Näytöistä työelämään

Valmis näyttöön!

NÄYTTÖPORTAALI – Hyvät näyttö-käytännöt

BLANCO 1-2-3

NÄKES – Näyttöjen arviointijärjestelmän kehittäminen Satakunnassa

Amy

”KOPPI”-projekti

82

Arviointijärjestelmän kehittämisprojektien tavoitteena on:

I Ammattiosaamisen näyttöperusteisen arviointijärjestelmän kehittäminen

Selvitetään, miten kansalliset ammattiosaamisen näyttöaineistot toimivat kansallisessa arvioinnissa

Luodaan kansallisen arvioinnin edellyttämä laadunvarmennusjärjestelmä

Suunnitellaan oppilaitosten itsearviointia tukeva palaute- ja informaatiojärjestelmä

Laaditaan ehdotus kansalliseksi oppimistulosten arviointijärjestelmäksi ammatillisissa perustutkinnoissa

II Arviointijärjestelmän testaaminen ja oppimistulosten arviointi valituilla aloilla

Oppimistulosten kokoaminen ja analysointi 14 perustutkinnosta

Laaditaan raportti oppimistuloksista

Tuotetaan analysoitua materiaalia oppimistulosten arvioinnin kehittämiseksi ja am-mattiosaamisen näyttöjärjestelmään integroimiseksi

KOULUTUKSEN JÄRJESTÄJÄN ARVIOINTIKÄYTÄNTÖJÄ KEHITTÄVÄT PROJEKTIT

Koulutuksen järjestäjän arviointikäytäntöjen kehittämisprojektien (6 kpl) avulla tuetaan ammattiosaamisen ammattiosaamisen näyttöjen sisällyttämistä ammatillisiin perustutkin-toihin sekä kansallista oppimistulosten arviointijärjestelmän kehittämistyötä.

Koulutuksen järjestäjän arviointikäytäntöjen kehittämisprojekteissa on mukana noin 27 koulutuksen järjestäjää, 35 ammatillista oppilaitosta ja 34 perustutkintoa. Oppilaitosten koordinoimat projektit ovat: Riihy – Näytöistä työelämään (Riihimäen kauppaoppilaitos), Valmis näyttöön! (Keskuspuiston ammattiopisto), Näyttöportaali – Hyvät näyttökäytän-nöt (Keski-Pohjanmaan koulutuskuntayhtymä), Blanco 1-2-3 (AEL) Näkes – Ammatti-osaamisen näyttöjen arviointijärjestelmän kehittäminen Satakunnassa (Rauman ammat-tiopisto) Amy (Kotkan ammatillinen koulutuskeskus). Arviointijärjestelmän ja arviointi-käytäntöjen kehittämisprojektit on kuvattu ohessa olevassa kuviossa.

Koulutuksen järjestäjän arviointikäytäntöjen kehittämisprojektien tavoitteena on:

• Liittää ammattiosaamisen näytöt osaksi koulutuksen järjestäjän opetussuunnitelmaa seudullisessa yhteistyössä työelämän ja muiden koulutuksen järjestäjien kanssa

• Hyödyntää kansallisia ammattiosaamisen näyttöaineistoja ammattiosaamisen ammat-tiosaamisen näyttöjen suunnittelussa, toteutuksessa ja arvioinnissa

• Kehittää arviointikäytäntöjä

• Tuottaa oppimistulokset paikallisella tasolla

• Testata ammattiosaamisen näyttöperusteista kansallista oppimistulosten arviointimal-lia

• Kouluttaa ja perehdyttää (koulutuksen järjestäjän edustajat,) opettajat, opiskelijat ja työelämän edustajat omassa projektissaan ammattiosaamisen näyttöperusteiseen ja kansalliseen arviointiin

• Hyödyntää ammattiosaamisen näytöistä saatua palautetta itsearvioinnissa ja toimin-nan kehittämisessä

• Levittää projektin tulokset ja kokemukset.

83

LIITE 4 Kooste Koppi-hankkeen tapahtumista ja tilaisuuksista vuosina 2002–2008 KOOSTE KOPPI-HANKKEEN TAPAHTUMISTA JA TILAISUUKSISTA VUOSINA 2002–2008

Integraatiotyöryhmän kokoukset

• 19.11.2001

• 25.1.2002

• 2.5.2002

• 6.9.2002

• 18.11.2002

• 13.3.2003

• 3.9.2003

Standardityöryhmän (laadunvarmennusjärjestelmän) kokoukset

• 29.5.2002

• 28.8.2002

• 28.11.2002

• 4.4.2003

Arviointijärjestelmän kehittämishankkeiden projektipäällikköpalaverit

• 7.6.2004

• 7.9.2004

• 29.11.2004

• 28.2.2005

• 14.4.2005

• 5.9.2005

• 14.12.2005

• 2.3.2006

• 22.–23.5.2006

• 28.–29.8.2006

• 10.10.2006

• 1.12.2006

• 22.1.2007

• 2.3.2007

• 3.9.2007

• 26.9.2007

• 9.11.2007

84

Koulutuksen järjestäjän arviointikäytäntöjen kehittämishankkeiden

projektipäällikköpalaverit

• 19.10.2005

• 15.2.2006

• 21.9.2006

• 28.2.2007

• 31.10.2007

Kathryn Ecclestonin työskentelyjaksot

• Huhtikuu 15.–19.2002 (Kathryn Ecclestone Suomessa)

• Kesäkuussa 17.–19.2002 (Kathryn Ecclestone Suomessa)

• Marraskuu 4.–8.11.2002 (Kathryn Ecclestone Suomessa)

• Helmikuu 5.–7.2003 (Mari Räkköläinen and Paula Mäkihalvari Englannissa)

• Joulukuu 1. – 5.12.2003 (Kathryn Ecclestone Suomessa)

• Kesäkuu 14.–18.6.2004 (Kathryn Ecclestone Suomessa)

• Marraskuu 8.–12.11.2004 (Kathryn Ecclestone Suomessa)

• Helmikuu 13.–20.2.2005 (Mari Räkköläinen and Paula Mäkihalvari Englannissa)

• Toukokuu 23–28.5.2005 (Kathryn Ecclestone Suomessa)

• Helmikuu 4.-9.2.2006 (Kathryn Ecclestone Suomessa)

• Kesä-heinäkuu 30.6–4.7.2006 (Kathryn Ecclestone Suomessa)

• Joulukuu 12.–16.12.2007 (Kathryn Ecclestone Suomessa)

• Helmikuu 4.-8.2.2008 (Kathryn Ecclestone Suomessa)

• Huhtikuu 22.–26.4.2008 (Mari Räkköläinen and Paula Kilpeläinen Englannissa)

Laatukoulutus

• 27.9.2004

• 5.11.2004

• 30.11.2004

Koulutuksen järjestäjän arviointikäytäntöjen kehittämishankkeiden koulutuspäivät

• 30.11–1.12.2005

• 3.-4.4.2006

• 8.–9.11.2006

Osaaminen, arviointi ja työelämä -seminaari

• 8.2.2006

85

ARVIOINTI TÄNÄÄN JA HUOMENNA - Ammatillisen koulutuksen arvioinnin kehittämisseminaari

• 5.2.2008

Projektihenkilöstön koulutus- ja konsultaatio-ohjelma (PRO4)

• 13.1.2005

• 18.2.2005

• 14.3.2005

• 3.–4.5.2005

• 6.6.2005

• 6.9.2005

• 14.2.2005

Vertaisarvioinnin kehittäminen

• 17.5.2005 Vertaisarviointikokeilu I (Vertaisarviointikäynti oppilaitokseen)

• 29.11.2005 Vertaisarviointikokeilu II (Vertaisarviointikäynti oppilaitokseen)

• 13.3.2006 Vertaisarvioinnin kehittämispäivä

• 4.–5.6.2007 Vertaisarvioinnin työseminaari

• 21.–22.8.2007 Vertaisarvioinnin koulutuspäivät

• 17.9.2007 Vertaisarvioinnin kehittämistyöryhmän kokous

• 6.11.2007 Vertaisarvioinnin kehittämistyöryhmän kokous

• 13.12.2007 Vertaisarvioinnin kehittämistyöryhmän kokous

• 14.12.2007 Vertaisarvioinnin julkaisupalaveri

• 6.2.2008 Vertaisarvioinnin kehittämistyöryhmän kokous

KOPPI-hankkeen ulkoinen arviointi

• 16.3.2007 Ulkoisen arvioinnin foorumi

• 20.–21.3.2007 Ulkoisen arvioinnin työpaja ja sisäiset kehittämistyöpäivät

• 15.5.2007 Ulkoisen arvioinnin työseminaari

• 12.12.2007 KOPPI-PROJEKTIN LOPUN ALKU – Ulkoisen arvioinnin tuloksista kansallisen arvioinnin tulevaisuuteen -seminaari

NÄYTÖISTÄ OPPIMISEEN -Koppi-hankkeen loppuseminaari • 21.4.2008

86

LIITE 5 Koppi-hankkeen palautekysely KOPPI-HANKKEEN PALAUTEKYSELY Hyvät projektipäälliköt! Arvioi sanallisesti keväästä 2007 lähtien Koppi-projektin tarjoamaa ohjausta ja koulutusta, projektin johtamista, tiedottamista ja yhteistyötä sekä projektien yhteisten tuotosten työstämistä tuomalle esiin niiden vahvuuksia ja ongelmakohtia arviointikäytäntöjen kehittämistyössä. Tuokaa esille myös kehittä-misehdotuksia. Hyödynnämme palautettanne toimintamme kehittämisessä. Liitteenä on muistin virkistämiseksi ”Koppi-hankkeen” tapahtumat keväällä ja alkusyksyllä 2007. Lähettäkää arviointinne projektisuunnittelija Laura Jauholalle (laura.jauhola@oph.fi) 1.10.2007 mennessä, kiitos. I PROJEKTIN OHJAUS JA JOHTAMINEN

Projektipäällikön, -suunnittelijan ja sihteerin toiminta

Projektipäällikköpalaveri (28.2.)

Kontaktit projektien ohjausryhmiin, perehdytys, tavoitteiden asettaminen, tuotteiden ja tuotos-ten koostaminen

VAHVUUDET

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSIA

87

II PROJEKTIN TARJOAMA KOULUTUS

VAHVUUDET

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSIA

III TIEDOTTAMINEN

Yhteydenpito projekteihin, projektipäälliköihin

Yhteistyö opetushallituksen kanssa,

Projektin tarjoaman materiaalin riittävyys, selkeys, tarkoituksenmukaisuus jne.

Varsinaiseen kansallisen oppimistulostiedon tuottamiseen liittyvä tiedottaminen

Projektien keskinäinen yhteydenpito

VAHVUUDET

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSIA

88

IV PROJEKTIEN TUOTOSTEN TYÖSTÄMINEN

Laadulliset raportit, niiden ohjaus ja käsittely

Projektien omat tuotokset, tuotteiden ja tuotosten levittämisen suunnittelu

Kopin tuotokset ja niiden käsittely

Ulkoisen arvioinnin toteuttaminen

VAHVUUDET

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSIA

MUU PALAUTE JA KEHITTÄMISEHDOTUKSIA JATKOON (esimerkiksi loppuvuoden 2007 ohjelmaan, ohjaukseen, koulutukseen, tiedottamiseen, palavereihin ja julkaisuihin, loppu-raporttiin, laadullisten raporttien käsittelyyn, päätösseminaariin, ulkoisen arvioinnin palaut-teen käsittelyyn, vertaisarvioinnin jatkokehittämiseen, Kopin arviointiseminaariin keväälle 2008). Huom. Koppi-projekti jatkuu 4/2008 saakka.

KIITOS PALAUTTEESTASI!

89

LIITE 6 Kansallisen arvioinnin ja näyttöjen yhteensovittamisen ”kriittiset pisteet” Laadunvarmennusjärjestelmän kehittämispalaveri 29.5.2002 / Mari Räkköläinen

KRIITTISET KOHDAT KANSALLISEN ARVIOINNIN KANNALTA Yhteenvetoa Erja Kotimäen, Juha-Ville Mäkisen ja Pertti Suursalmen alustusten pohjalta 1. NÄYTTÖAINEISTO

• Sisältö, rajaus, taso

• Laadunvarmennus

• Käyttö pakollista/vapaaehtoista?

• Oppilaitoksen omat aineistot

• Alakohtaiset erot

On ratkaistava, miten paljon näyttöaineistojen rakennetta ja sisältöä on rajattava ja oh-jeistettava kansallista oppimistulosten arviointia varten. On myös päätettävä, onko kansallisten aineistojen käyttö pakollista silloin, kun ala on arvioinnin kohteena ja mil-lä ehdoin koulutuksen järjestäjän omia aineistoja voi käyttää. Otetaanko aineistoissa huomioon alakohtaiset erityisvaatimukset vai laaditaanko aineistot niin yleisellä tasol-la, etteivät alakohtaiset erot tällä tasolla vaikuta aineistojen sisältöön?

2. ARVIOINNIN KOHDE (OSAAMINEN)

• Kansallinen oppimistulos/paikallinen kiinnostus

• Prosessiarviointi (siirtovaikutus)/suoritusarviointi

• Olennainen osaaminen

• Teoreettinen osaaminen – miten näytetään? Osaaminen on määriteltävä konkreettisella tasolla, jotta näyttöjen tuottamasta tiedosta on hyötyä. Yhtä tärkeää on arvioinnin kohteen valinta eli löytää se osaamisalue, joka kuvaa alan olennaista ammattitaitovaatimusta ja joka vastaa opetussuunnitelman pe-rusteiden vaatimuksia. Osaaminen kehittyy koko koulutuksen ajan, joten arvioinnissa olisi ainakin opiskelijan ja oppilaitoksenkin kannalta mielekästä saada esiin tämä siir-tovaikutus. Työelämän kannalta ehkä arvokkainta on tieto siitä, mikä on lopputulos eli mitä opiskelija osaa, kun hän siirtyy työelämään. Toisaalta kansallisen arvioinnin (ja näyttötodistuksenkin) kannalta on pohdittava, voiko jostakin osaamisalueesta tehdä johtopäätöksiä vain yhden näytön perusteella. Osaamisalueen määrittämiseen liittyy myös kysymys siitä, millaista osaamista on mahdollista näytöissä osoittaa ja mitata: näytetäänkö vain puhtaasti ammatillisia (teknisiä) valmiuksia vai onko mahdollista saada mukaan myös ydinosaamisalueita tai miten osoitetaan(ko?) työtoiminnan taus-talla oleva teoreettinen osaaminen. Tällä halutaan varmistaa myös, ettei näytössä ole kysymys vain sattumasta. Ongelma vaikuttaa olevan myös se, että arvioinnin kohteita on erittäin runsaasti ja jokaisessa näytössä testataan erilaista osaamista – prosessimai-suus ei juurikaan tule esille. Keskeisen osaamisen määrittämiseksi on katsottava koko ops läpi ja tarkasteltava opsia myös kokonaisuutena.

90

3. ARVIOINTIKRITEERIT

• Yleinen kansallinen taso/paikallinen taso

• Yhtenevät/vaihtelevat kriteerit ja arviointiasteikot

• Yleiset/konkreettiset kriteerit

Jotta näytöt olisivat yhteismitallisia, arviointiasteikot eivät voi vaihdella eri puolilla maata. Aikaisemmat kansalliset arvioinnit ovat osoittaneet, että kriteereitä tulkitaan hyvin eri tavoin, joten arvioitsijasta johtuvat erot voivat olla merkittäviä.

4. NÄYTTÖPAIKKA (-YMPÄRISTÖ)

• Työpaikka/oppilaitos/muut mahdollisuudet

• Vapaasti valittavissa vai määritelläänkö näyttöaineistossa?

Mielenkiintoinen kysymys on, vaikuttaako näyttöympäristö siihen millaisia oppimistu-loksia saadaan. On päätettävä, otetaanko näyttöaineistoissa tai silloin, kun kerätään kansallista arviointitietoa, kantaa siihen, mikä voi olla näyttöpaikka (työpaikka, oppilai-tos tai laboratoriotilanne). Paikalliset olosuhteet voivat olla sellaiset, ettei tarjolla ole työpaikkoja, joissa olennaisen osaamisen näyttäminen on mahdollista. Toisaalta vaa-rana voi olla, että oppilaitos näyttöpaikkana ohjaa näyttämään vain sitä mitä osataan ja mitä on opetettu.

5. NÄYTTÖ

• Vaihtelu/yhdenmukaisuus paikallisella tasolla

• Lukumäärä – määritetäänkö?

• Laajuus – otetaanko kantaa? – Näyttötodistus

• TYÖSSÄOPPIMINEN JA NÄYTTÖ

Onko kansallisten oppimistulosten arvioinnin kannalta määriteltävä paikallisesti toteu-tettavien näyttöjen määrä ja näyttöjen laajuus? Tähän liittyy myös kysymys siitä, miten näytöt ja työssäoppimisjaksot yhdistetään. Voiko työssäoppimisjakso = näyttö? Mitä vaikuttaa arviointiin se, näytetäänkö osaaminen kertaluontoisesti yhdessä näytössä vai esimerkiksi koko työssäoppimisjakson ajalla? Arvioidaanko työssäoppiminen ja näyttö erikseen (ja eri kriteerein)? Miten näyttötodistuksen arvosana silloin määräytyy? Tä-män ongelman ratkaisuun vaikuttaa erityisesti, miten näyttö määritellään.

6. ARVIOINTIKÄYTÄNTÖ

• Kuka arvioi?

• Milloin arvioidaan?

• Yhteys työssäoppimiseen

• DOKUMENTOINTI

Arviointikäytännöt vaikuttavat siihen, millaista arviointitietoa saadaan kansallista arvi-ointia varten. Arviointikäytännöt vaihtelevat paikallisesti: osa oppilaitoksista noudat-taa kolmikantaperiaatetta ihan käytännön tasolla ja osa katsoo kolmikantaperiaatteen toteutuvan, kun työelämä on osallistunut näyttöjen suunnitteluun. Ns. kolmikantape-riaatetta tulkitaan eri tavoin ja onkin sen vuoksi kansallista arviointia varten määritet-tävä, mitä tällä termillä tarkoitetaan ja miten sitä on sovellettava arviointikäytännöissä. Osassa oppilaitoksista oma opettaja ei toimi näyttöjen vastaanottajana, mutta osa ei tee eroa tämän kysymyksen suhteen. Arviointikäytännöt vaihtelevat myös sen mu-kaan, onko kysymyksessä erillinen näyttö vai työssäoppimisjaksoon liittyvä näyttö;

91

onko työssäoppimisjakson ohjaaja myös näytön vastaanottaja? Arviointikäytäntöön liittyy olennaisesti arvioinnin dokumentointi. Arvioitsijoiden määrä on myös kustan-nuskysymys.

7. OPETUSSUUNNITELMAT

• Työelämälähtöisyys

• Ajantasaisuus

• Opetussuunnitelman tavoitteet<–> arvioinnin kohteet ja kriteerit paikallisella tasolla

• Oppimisprosessin (transfer-ilmiö) opetussuunnitelmissa? (oppimisnäkemys)

Näytöissä on tarkoitus osoittaa opintokokonaisuuden keskeinen osaaminen, joka joh-detaan näyttöaineistoihin opetussuunnitelmista. Laadunvarmennukseen liittyviä ky-symyksiä ovat: onko näyttöaineistoihin valittu keskeinen osaaminen ja vastaako se opetussuunnitelman tavoitteita? Toisaalta voidaan myös arvioida, vastaavatko opetus-suunnitelmat työelämän muutoksia ja alan keskeisiä ammattitaitovaatimuksia. Ovatko opsit siis ajan tasalla? Onko opseihin ylipäätänsä rakennettu sisään prosessimaisuus eli se että osaaminen kehittyy opiskelun kuluessa? Millainen oppimisnäkemys opetus-suunnitelmissa on?

8. KOULUTUS

• Arvioitsijoiden koulutus

• Auditoijien koulutus

Laadunvarmennuksessa huomioidaan, miten arvioitsijat ja mahdolliset ulkopuoliset auditoijat on koulutettu tehtäväänsä. Koulutus lisää arvioinnin luotettavuutta

9. KÄSITEMÄÄRITTELY

• Yhteinen kieli

• Termit

Sekä näyttöjärjestelmän ja oppimistulosten arviointijärjestelmän kehittämistyö että laadunvarmennus oppimistulosten arviointia varten edellyttävät keskeisten käsitteiden määrittelyä.

92

LIITE 7 Eri osapuolten taustakyselyt

OPETUSHALLITUSUTBILDNINGSSTYRELSEN

KANSALLINEN NÄYTTÖPERUSTEINEN

OPPIMISTULOSTEN ARVIOINTIKOKEILU

2004-2007

TAUSTATIEDOT

Opiskelijan nimi (jonka näyttöä vastauksesi koskee)

2. Olen osallistunut tämän näytön toteutuksen suunnitteluun

OPETTAJAN KYSELY

Oppilaitos

Tutkinto, johon näyttö sisältyy

Minkä opintokokonaisuuden näyttöä vastauksesi koskee?

Näyttöpaikan nimi Näytön arviointipäivä

Valitse väittämistä asteikolla 1-5 tai vastausvaihtoehdoista se, joka parhaiten vastaa mielipidettäsi ko. asiasta.Kirjoita perustelut erikseen pyydettäviin kohtiin.

I NÄYTÖN TOTEUTTAMINEN

1 2 3 4 5

3. Suunnittelin näyttöä yhdessä opettajakollegoiden kanssa

4. Suunnittelin näyttöä yhdessä työelämän kanssa

5. Suunnittelin näyttöä yhdessä opiskelijan kanssa

6. Sain näytön toteuttamiseksi ohjeita

7. Näytön tavoitteet olivat selkeät

8. Käytin kansallista näyttöaineistoa näytön suunnittelussa jatoteutuksessa

9. Kansallisesta näyttöaineistosta oli hyötyä näytöntoteuttamisessa

10. Ohjasin opiskelijaa näytön suunnittelussa

11. Ohjasin opiskelijaa näytön aikana

12. Perehdytin työelämän edustajan näytön tavoitteisiin ja sisältöön

13. Toteutettiinko näyttö työssäoppimisjakson yhteydessä?

Huom! Mikäli vastasit Ei, siirry suoraan kohtaan 15.

1. Näyttö oli (tarvittaessa voit valita useamman vaihtoehdon)

Työskentelyä työpaikalla

Käytännön työtehtäviä oppilaitoksessa

Portfolio, projektityö tms.

Kirjallinen koe

Suullinen koe

Jokin muu, mikä? ______________________________

Mustatkaa soikio näin (ei rastiteta):

Kyllä Ei

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

93

15. Näyttöpaikka vastasi aitoa työelämän tilannetta

II NÄYTÖN ARVIOINTI

16. Näyttöpaikka oli sopiva opintokokonaisuuden tavoitteisiin

17. Näytössä oli mahdollista hyödyntää opintokokonaisuudenopetuksessa käsiteltyjä asioita

18. Näyttö vastasi työelämässä vaadittavaa osaamista

19. Näytössä oli mahdollista osoittaa laaja-alaista ammatillistaosaamista

20. Näytössä oli mahdollista osoittaa ja arvioida

20.1 työmenetelmien, -välineiden ja materiaalien käyttötaitoja

20.2 työprosessin suunnittelu-, toteuttamis- ja arviointitaitoja

20.3 työssä tarvittavan teoriatiedon hallintaa ja sen soveltamis- kykyä

20.4 kykyä noudattaa työturvallisuusohjeita ja -määräyksiä

21. Näytössä oli mahdollista osoittaa ja (arvioida)

21.1 vuorovaikutus- ja viestintätaitoja

21.2 ryhmässä työskentelyn taitoja

21.3 kykyä ratkaista ongelmia ja tehdä valintoja

21.4 kykyä huomioida toisia

21.5 kykyä arvioida omaa työtään ja itseään

22. Tiesin näytön arviointikohteet ennen näyttöä

23. Tiesin näytön arviointikriteerit ennen näyttöä

24. Näytön arviointikriteerit olivat selkeät ja ymmärrettävät

25. Näytön arviointikriteerit olivat käyttökelpoiset näytönarviointitilanteessa

26. Opiskelijalle näytöstä annettu arvosana oli mielestäni oikeuden-mukainen

27. Opiskelijan itsearviointi otettiin huomioon arvosanaamuodostettaessa

28. Näytön arvosanan muodostaminen oli helppoa

29. Koin, että minulla oli riittävä ammattitaito tämän näytön arviointiin

Perustele vastauksesi

1 2 3 4 5

31. Näytön arvosanaa voidaan verrata toisten opiskelijoidenvastaaviin arvosanoihin

30. Näyttö vastasi vaativuudeltaan muille saman ryhmän opiskelijoillejärjestettyjä näyttöjä

32. Näytön ja muun arvioinnin yhteensovitaminen onnistuu tässäopintokokonaisuudessa

33. Tämä näyttö riittää opintokokonaisuuden keskeisen osaamisenarviointiin

2

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

1 2 3 4 5

14. Näytössä pystyi hyödyntämään työssäoppimisjaksollaopittuja asioita

1 2 3 4 5

94

35. Luotettavan arvioinnin tekeminen opintokokonaisuudesta edellyttäämyös muuta arviointia tämän näytön lisäksi

Jos vastasit kyllä, mitä muuta esim.

36. Osallistuitko näytön arviointikeskusteluun

37. Näytön arviointikeskusteluun osallistuivat (valitse vain yksi vaihtoehto)

Huom! Vastaa kysymyksiin 38-40 vain siinä tapauksessa, mikäli työelämän

edustaja osallistui näytön arviointiin. Muutoin siirry kohtaan 41.

38. Työelämän edustajan asiantuntemus sopi tämän näytönarviointiin

39. Työelämän edustajan arviointi oli luotettavaa

40. Työelämän edustaja arvioi näyttöä arviointikriteereidenmukaisesti

41. Näytön arviointi yhdessä opiskelijan, opettajan ja työelämänedustajan kanssa on mielestäni tarpeellista

Perustele vastauksesi

34. Millainen näyttö oli vaikeusasteeltaan?

3

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

1 2 3 4 5

42. Opintokokonaisuuden näyttöarvosanan dokumentointilomake oli käyttökelpoinen näytön arvioinnissa

1 2 3 4 5

43. Näyttö dokumentoitiin opintokokonaisuuksittain

Liian helppo

Sopiva

Liian vaikea

Kyllä Ei

Kyllä En

Opiskelija ja opettaja

Opiskelija ja työelämän edustaja

Opiskelija, opettaja ja työelämän edustaja

Opettaja ja työelämän edustaja

Arviointikeskustelua ei pidetty

Kyllä Ei

44. Näyttö dokumentoitiin arviointikohteittain

Kyllä Ei

95

51. Näyttö edisti opiskelijan työelämäyhteyksiä

52. Näyttö edisti oppilaitoksen ja työelämän välistä yhteistyötä

53. Näyttö oli hyödyllinen oman työni kannalta

54. Näyttö antoi eväitä opetustyöni kehittämiseen

55. Minulle oli varattu resursseja tämän näytön toteuttamiseen

*********************************************************************************************************************************

57. Miten kehittäisit näyttöjen suunnittelua, toteuttamista ja arviointia?

KIITOS VASTAUKSESTASI!

III NÄYTÖN VAIKUTTAVUUS

47. Sain tietoa näytön avulla opiskelijan vahvuuksista ja kehittämis-tarpeista

48. Näyttö edisti opiskelijan ammatillista kasvua

49. Näyttö lisäsi opiskelijan sitoutumista opiskeltavaan alaan

50. Näyttö motivoi opiskelijaa oppimimaan uusia asioita

4

45. On hyvä, että näytöstä tulee arvosana myös näyttötodistukseen

46. Näyttö on liitetty osaksi oppilaitoksemme omaan opetussuunnitelemaan

56. Minulla on aikaisempaa kokemusta ammattiosaamisen näytönarvioinnista

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

1 2 3 4 5

Kyllä Ei

Kyllä Ei

96

OPETUSHALLITUSUTBILDNINGSSTYRELSEN

KANSALLINEN NÄYTTÖPERUSTEINEN

OPPIMISTULOSTEN ARVIOINTIKOKEILU

2004-2007

TAUSTATIEDOT

Opiskelijan nimi (jonka näyttöä vastauksesi koskee)

2. Osallistuin tämän näytön toteutuksen suunnitteluun

TYÖELÄMÄN EDUSTAJANKYSELY

Oppilaitos

Tutkinto, johon näyttö sisältyy

Minkä opintokokonaisuuden näyttöä vastauksesi koskee?

Näyttöpaikan nimi Näytön arviointipäivä

Valitse väittämistä asteikolla 1-5 tai vastausvaihtoehdoista se, joka parhaiten vastaa mielipidettäsi ko. asiasta.Kirjoita perustelut erikseen pyydettäviin kohtiin.

I NÄYTÖN TOTEUTTAMINEN

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

3. Sain näyton toteuttamiseksi ohjeita

5. Näytön tavoitteet olivat selkeät

4. Minut perehdytettiin näytön tavoitteisiin ja sisältöön

6. Minut perehdytettiin näytön arviointiin

7. Ohjasin opiskelijaa näytön suunnittelussa

8. Ohjasin opiskelijaa näytön aikana

1. Näyttö oli (tarvittaessa voit valita useamman vaihtoehdon)

Mustatkaa soikio näin (ei rastiteta):

Työskentelyä työpaikalla

Käytännön työtehtäviä oppilaitoksessa

Portfolio, projektityö tms.

Kirjallinen koe

Suullinen koe

Jokin muu, mikä? ______________________________

Huom! Mikäli vastasit Ei, siirry suoraan kohtaan 11.

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

1 2 3 4 5

10. Näytössä pystyi hyödyntämään työssäoppimisjaksolla opittujaasioita

1 2 3 4 5

9. Toteutettiinko näyttö työssäoppimisjakson yhteydessä?

Kyllä Ei

97

15. Näytössä oli mahdollista osoittaa ja arvioida

15.1 työmenetelmien, -välineiden ja materiaalien käyttötaitoja

15.2 työprosessin suunnittelu-, toteuttamis- ja arviointitaitoja

15.3 työssä tarvittavan teoriatiedon hallintaa ja sen soveltamis- kykyä

15.4 kykyä noudattaa työturvallisuusohjeita ja -määräyksiä

16. Näytössä oli mahdollista osoittaa ja arvioida

16.1 vuorovaikutus- ja viestintätaitoja

16.2 ryhmässä työskentelyn taitoja

16.3 kykyä ratkaista ongelmia ja tehdä valintoja

16.4 kykyä huomioida toisia

16.5 kykyä arvioida omaa työtään ja itseään

17. Tiesin etukäteen millaista osaamista näytössä arvioidaan

18. Tiesin näytön arviointikriteerit ennen näyttöä

19. Näytön arviointikriteerit olivat selkeät ja ymmärrettävät

20. Näytön arviointikriteerit olivat käyttökelpoiset näytönarviointitilanteessa

22. Näytöstä opiskelijalle annettu arvosana oli mielestänioikeudenmukainen

21. Näytön arvosanan muodostaminen oli helppoa

23. Näytön arvosanaa voidaan verrata toisten opiskelijoidenvastaaviin arvosanoihin

Perustele vastauksesi

1 2 3 4 5

24. Koin, että minulla oli riittävä ammattitaito tämän näytön arviointiin

25. Näytön arviointi yhdessä opiskelijan, opettajan ja työelämänedustajan kanssa on mielestäni tarpeellista

2

14. Näytössä oli mahdollista osoittaa laaja-alaista ammatillistaosaamista

Perustele vastauksesi

26. On hyvä, että näytöstä tulee arvosana myös näyttötodistukseen

13. Näyttö vastasi työelämässä vaadittavaa osaamista

11. Näyttöpaikka vastasi aitoa työelämän tilannetta

II NÄYTÖN ARVIOINTI

12. Näyttöpaikka oli sopiva opintokokonaisuuden tavoitteidenkannalta

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

1 2 3 4 5

Kyllä Ei

98

27. Osallistuisitko näytön arviointikeskusteluun?

28. Näytön arviointikeskusteluun osallistuivat (valitse yksi vaihtoehdoista)

3

29. Millainen näyttö oli vaikeusasteeltaan

III NÄYTÖN VAIKUTTAVUUS

34. Näyttö edisti opiskelijan työelämäyhteyksiä

35. Näyttö oli hyödyllinen oman työni kannalta

36. Näyttö oli hyödyllinen myös työyhteisön kannalta

37. Näyttö antoi eväitä oman työni kehittämiseen

38. Näyton toteutus oli mahdollista työtehtävieni ohessa

**********************************************************************************************************************************

41. Miten kehittäisit näyttöjen suunnittelua, toteuttamista ja arviointia?

30. Sain tietoa näytön avulla opiskelijan vahvuuksista ja kehittämis-tarpeista

31. Näyttö motivoi opiskelijaa oppimaan uusia asioita

32. Näyttö edisti opiskelijan ammatillista kasvua

33 Näyttö lisäsi opiskelijan sitoutumista opiskeltavaan ammattiin

39. Näyttö edisti oppilaitoksen ja työelämän välistä yhteistyötä

KIITOS VASTAUKSESTASI!

40. Minulla on aikaisempaa kokemusta ammattiosaamisen (nuorten)näytön arvioinnista

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

1 2 3 4 5

Kyllä En

Opiskelija ja opettaja

Opiskelija ja työelämän edustaja

Opiskelija, opettaja ja työelämän edustaja

Opettaja ja työelämän edustaja

Arviointikeskustelua ei pidetty

Liian helppo

Sopiva

Liian vaikea

Kyllä Ei

99

OPETUSHALLITUSUTBILDNINGSSTYRELSEN

KANSALLINEN NÄYTTÖPERUSTEINEN

OPPIMISTULOSTEN ARVIOINTIKOKEILU

2004-2007

TAUSTATIEDOT

Nimi

2. Osallistuin tämän näytön toteutuksen suunnitteluun

OPISKELIJAN KYSELY

Oppilaitos

Perustutkinto, johon näyttö sisältyy

Minkä opintokokonaisuuden näyttöä vastauksesi koskee?

Näyttöpaikan nimi Näytön arviointipäivä

Valitse väittämistä asteikolla 1-5 tai vastausvaihtoehdoista se, joka parhaiten vastaa mielipidettäsi ko. asiasta.Kirjoita perustelut erikseen pyydettäviin kohtiin.

I NÄYTÖN TOTEUTTAMINEN

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

3. Sain näytöstä ohjeita

4. Näytön tavoitteet olivat selkeät

5. Teitkö näytön työssäoppimisjakson yhteydessä?

Huom! Mikäli vastasit En, siirry suoraan kohtaan 7.

6. Pystyin näytössä hyödyntämään työssäoppimisjaksollaoppimiani asioita

1 2 3 4 5

1. Näyttö oli (tarvittaessa voit valita useamman vaihtoehdon)

Mustatkaa soikio näin (ei rastiteta):

7. Työelämän edustaja ohjasi minua näytön toteutuksensuunnittelussa

8. Työelämän edustaja ohjasi minua näytön aikana

9. Opettaja ohjasi minua näytön toteutuksen suunnittelussa

10. Opettaja ohjasi minua näytön aikana

Työskentelyä työpaikalla

Käytännön työtehtäviä oppilaitoksessa

Portfolio, projektityö tms.

Kirjallinen koe

Suullinen koe

Jokin muu, mikä? ______________________________

Kyllä En

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

100

13. Näytössä oli mahdollista hyödyntää opetuksessa käsiteltyjäasioita

14. Näyttö vastasi työelämässä vaadittavaa osaamista

15. Näytössä oli mahdollista osoittaa laaja-alaista ammatillistaosaamista

16. Näytössä oli mahdollista osoittaa ja arvioida

16.1 työmenetelmien, -välineiden ja materiaalien käyttötaitoja

16.2 työprosessin suunnittelu-, toteuttamis- ja arviointitaitoja

16.3 työssä tarvittavan teoriatiedon hallintaa ja se soveltamis- kykyä

16.4 kykyä noudattaa työturvallisuusohjeita ja -määräyksiä

17. Näytössä oli mahdollista osoittaa ja (arvioida)

17.1 vuorovaikutus- ja viestintätaitoja

17.2 ryhmässä työskentelyn taitoja

17.3 kykyä ratkaista ongelmia ja tehdä valintoja

17.4 kykyä huomioida toisia

17.5 kykyä arvioida omaa työtään ja itseään

18. Tiesin etukäteen, millaista osaamista näytössä arvioidaan

19. Tiesin näytön arviointikriteerit ennen näyttöä

20. Näytön arviointikriteerit olivat selkeät ja ymmärrettävät

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

2

22. Teitkö näytön jälkeen itsearvoinnin?

1 2 3 4 5

21. Näytön arviointikeskusteluun osallistuivat (valitse vain yksi vaihtoehdoista)

23. Itsearviointini otettiin huomioon näytön arvioinnissa

25. Näytöstä minulle annettu arvosana oli mielestäni oikeuden-mukainen

26. Minulle järjestetty näyttö vastasi vaativuudeltaan muille samanryhmän opiskelijoille järjestettyjä näyttöjä

27. Minulta vaadittiin näytössä enemmän suorituksia kuin muiltasaman ryhmän opiskelijoilta

Huom! Mikäli vastasit En, siirry suoraan kohtaan 24.

24. Näytön arvosanan muodostaminen oli helppoa

1 2 3 4 5

II NÄYTÖN ARVIOINTI

11. Näyttöpaikka vastasi aitoa työelämän tilannetta

12. Näyttöpaikka oli sopiva opintokokonaisuuden tavoitteidenkannalta

Opiskelija ja opettaja

Opiskelija ja työelämän edustaja

Opiskelija, opettaja ja työelämän edustaja

Opettaja ja työelämän edustaja

Arviointikeskustelua ei pidetty

Kyllä En

101

31. Tämä näyttö on mielestäni riittävä koko opintokokonaisuudenarviointiin

3

Perustele vastauksesi

III NÄYTÖN VAIKUTTAVUUS

33. Sain tietoa näytön avulla omista vahvuuksistani ja kehittämis-tarpeistani

34. Opin näytössä uusia asioita

35. Näyttö oli tarpeellinen

36. Arviointikeskustelu oli hyödyllinen oppimistilanne

37. Näyttö lisäsi kiinnostustani valitsemaani alaan

38. Näyttö edisti omia työelämäyhteyksiäni

39. Minulla on aikaisempaa kokemusta näytön suorituksesta

29. Näytön arviointi yhdessä opiskelijan, opettajan ja työelämänedustajan kanssa on mielestäni tarpeellista

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

1 2 3 4 5

30. Millainen näyttö oli vaikeusasteeltaan?

32. On hyvä, että näytöstä tulee arvosana näyttötodistukseen

1 = ei ollenkaan, 2 = heikosti, 3 = kohtalaisesti, 4 = hyvin/paljon, 5 = erittäin hyvin/paljon

1 2 3 4 5

Perustele vastauksesi

28. Näytön arvosanaani voidaan verrata toisten opiskelijoidenvastaaviin arvosanoihin

Perustele vastauksesi

Liian helppo

Sopiva

Liian vaikea

Kyllä Ei

Kyllä Ei

102

**********************************************************************************************************************************

40. Miten kehittäisit näyttöjen suunnittelua, toteuttamista ja arviointia?

KIITOS VASTAUKSESTASI!

4

103

LIITE 8 Esimerkki oppilaitoskohtaisesta palauteraportista

KANSALLISEN NÄYTTÖPERUSTEISEN OPPIMISTULOSTEN ARVIOINTIJÄRJESTELMÄN KEHITTÄMINEN AMMATILLISIIN PERUSTUTKINTOIHIN

ARVIOINTIKOKEILU 2004–2007

(PILOTTI II)

VÄLITULOKSET OPPIMISTULOKSISTA JA KYSELYN TULOKSISTA

Pikapalaute oppilaitokselle oppimistuloksista ja kyselylomakkeen tuloksista

Opetushallitus 2006

104

SISÄLTÖ

1 JOHDANTO ............................................................................................................... 105

2 OPPILAITOSKOHTAINEN VERTAILU KANSALLISEEN TULOKSEEN ....... 107

3 KYSELYN OPPILAITOSKOHTAISET TULOKSET ............................................. 109

105

1 JOHDANTO Opetushallituksessa on meneillään näyttöperusteisen oppimistulosten arviointijärjestel-män kehittämishanke ”Koppi” (ESR) ja siihen liittyvä arviointikokeilu (Pilotti II), joka to-teutetaan yhteistyössä arviointijärjestelmän kehittämisprojektien ja niiden yhteistyöoppilai-tosten kanssa. Arviointikokeilussa on mukana 23 koulutuksen järjestäjää ja 29 oppilaitosta ja se kattaa 14 ammatillista perustutkintoa. Arviointikokeilu alkoi syksyllä 2004 ja se päät-tyy keväällä 2007. Arviointikokeilu (Pilotti II) on jatkoa vuosina 2002–2003 toteutetulle ensimmäiselle arviointikokeilulle (Pilotti I). Arviointikokeilussa oppimistulosten arviointitieto kootaan suoraan koulutuksen järjestä-jän organisoimista ammattiosaamisen näytöistä. Näyttöjen suunnittelussa ja arvioinnissa käytetään kansallisia näyttöaineistoja. Kansallista arviointitietoa tuotetaan näytöistä opin-tokokonaisuuksittain ja arviointikohteittain ja arviointi kirjataan yhtenäiselle opintokoko-naisuuden näyttöarvosanan dokumentointilomakkeelle. Arviointikokeilun yhteydessä toteutetaan myös näyttöjen suunnittelua, toteuttamista ja ar-viointia koskevat opettajan, opiskelijan ja työelämän edustajan kyselyt. Kyselyt ovat osa kansallisen oppimistulosten arvioinnin edellyttämää laadunvarmistusta, jolla halutaan seu-rata laatuvaatimusten toteutumista ja näyttöjärjestelmän toimivuutta. Kyselyjen avulla saadaan tietoa mm. näyttöjen suunnittelusta ja toteuttamisesta, arvioinnin osuvuudesta ja yhdenmukaisuudesta, arviointikäytännöistä (yhteis-/itsearviointi), näyttöjen integroinnista opetukseen ja opetussuunnitelmiin sekä näyttöjen merkityksestä oppimiselle. Arviointikokeilusta laadittiin keväällä 2006 välitulosraportti, joka sisältää oppimistulokset sekä kyselyn tulokset syksyn 2004, vuoden 2005 ja kevään 2006 aikana toteutetuista näy-töistä. Yksittäistä tutkintoa koskevat lopulliset oppimistulokset (14 perustutkintoa) rapor-toidaan arviointikokeilun päätteeksi syksyllä 2007. Välitulokset kattavat 14 perustutkintoa, 24 oppilaitosta ja 20 koulutuksen järjestäjää. Arviointitietoa saatiin 1 206 näytöstä, 942 opiskelijalta. Kyselyn välituloksissa on mukana 603 opiskelijan, 689 opettajan ja 316 työ-elämän edustajan kyselylomaketta. Arviointikokeilussa mukana oleville oppilaitoksille toimitetaan tässä taulukkoina tiedot välituloksista ns. pikapalaute, joka sisältää oppilaitoskohtaiset tulokset op-pimistuloksista ja kyselyn tuloksista syksyn 2004, vuoden 2005 ja kevään 2006 (5.5.2006 mennessä toteutetut näytöt) aikana toteutetuista näytöistä. Oppimistulok-set on esitelty keskiarvoina arviointikohteittain sekä opintokokonaisuuden näytön arvosa-nan keskiarvoina ko. oppilaitoksessa. Oppilaitoskohtaisen tuloksen lisäksi esitellään myös sosiaali-, terveys- ja liikunta-alan sekä tekniikan ja liikenteen alan tulokset keskiarvoina se-kä kansallinen vertailukeskiarvo, joihin oppilaitos voi verrata omaa tulostaan. Kyselyn tu-lokset on esitelty vastaajittain keskiarvoina sekä kaikilla aloilla että oppilaitostasolla. Välitulokset kattavat kaksi koulutusalaa: sosiaali-, terveys- ja liikunta-alan sekä tekniikan ja liikenteen alan. Sosiaali-, terveys- ja liikunta-ala kattaa kaiken kaikkiaan viisi perustutkin-toa, joista näissä välituloksissa on mukana ainoastaan sosiaali- ja terveysalan perustutkin-to. Tekniikan ja liikenteen ala sisältää kaiken kaikkiaan 26 perustutkintoa, joista näissä vä-lituloksissa on mukana 13 perustutkintoa. Tekniikan ja liikenteen alan tuloksiin on yhdis-tetty talotekniikan, rakennusalan, pintakäsittelyalan, puualan, logistiikan, kone- ja metalli-alan, sähköalan, suunnitteluassistentin, veneenrakennuksen, verhoilualan, maanmittaus-

106

alan, paperiteollisuuden ja autoalan perustutkintojen tulokset. Kansallisessa vertailu-keskiarvossa ovat mukana kaikkien arviointikokeilussa mukana olevien tutkinto-jen ja oppilaitosten tulokset.

107

2 OPPILAITOSKOHTAINEN VERTAILU KANSALLISEEN TULOKSEEN Taulukossa 1 on kuvattu esimerkkioppilaitoksen oppimistulokset keskiarvoina arvi-ointikohteittain. Oppilaitoskohtaisen tuloksen lisäksi taulukossa on esitelty myös sosiaali-, terveys- ja liikunta-alan sekä tekniikan ja liikenteen alan tulokset keskiarvoina sekä kansal-linen vertailukeskiarvo, joihin oppilaitos voi verrata omaa tulostaan. Välitulokset kattavat kaksi koulutusalaa: sosiaali-, terveys- ja liikunta-alan sekä tekniikan ja liikenteen alan. Sosiaali-, terveys- ja liikunta-ala sisältää kaiken kaikkiaan viisi perustutkin-toa, joista näissä välituloksissa on mukana ainoastaan sosiaali- ja terveysalan perustutkinto ja seitsemän oppilaitosta. Tekniikan ja liikenteen ala sisältää kaiken kaikkiaan 26 perustut-kintoa, joista näissä välituloksissa on mukana 13 perustutkintoa ja 16 oppilaitosta. Teknii-kan ja liikenteen alan tuloksiin on yhdistetty talotekniikan, rakennusalan, pintakäsittely-alan, puualan, logistiikan, kone- ja metallialan, sähköalan, suunnitteluassistentin, veneen-rakennuksen, verhoilualan, maanmittausalan, paperiteollisuuden ja autoalan perustutkin-tojen tulokset. Kansallisessa vertailukeskiarvossa ovat mukana kaikkien arviointi-kokeilussa mukana olevien tutkintojen ja oppilaitosten oppimistulokset. Esimerkkioppilaitoksen oppimistulokset on laskettu sosiaali- ja terveysalan perus-tutkinnon kasvun tukeminen ja ohjaus – opintokokonaisuuden näytöistä. Oppilai-toskohtaiset tulokset kattavat 45 näytön tulokset.

108

Taulukko 1 Esimerkkioppilaitoksen, sosiaali-, terveys- ja liikunta-alan ja tekniikan ja liikenteen alan oppimis-tulokset keskiarvoina arviointikohteittain sekä kansallinen vertailukeskiarvo

(Huom! taulukossa oleva N -rivi kertoo näyttöjen lukumäärän, jossa ko. arvioinnin kohdetta on arvioitu)

Työ-tehtävien hallinta

Työ-prosessin hallinta

Työn perustana

olevan tiedon

hallinta

Työ-turval-lisuu-den

hallinta

Ydin-osaami-

nen

Yhteiset paino-tukset

Opinto-kokonai-suuden näytön

arvosana

Oulaisten terveydenhuol-to-oppilaitos

Keskiarvo 4,00 3,73 3,67 4,02 4,00 ei arvioitu 3,87

Keskihajonta 0,879 0,939 0,929 1,011 0,853 0,869

N 45 45 45 45 45 45

Sosiaali- terve-ys- ja liikunta-ala

Keskiarvo 3,88 3,73 3,64 3,90 3,88 3,76 3,84

Keskihajonta 0,915 0,955 0,882 0,939 0,931 0,975 0,874

N 342 344 344 344 344 216 353

Tekniikan ja liikenteen ala

Keskiarvo 3,21 3,29 3,05 3,69 3,31 3,30 3,30

Keskihajonta 0,994 1,025 1,031 0,971 1,005 1,035 0,923

N 797 759 799 816 598 543 848

Kansallinen vertailukeski- arvo

Keskiarvo 3,42 3,43 3,23 3,76 3,53 3,44 3,46

Keskihajonta 1,017 1,024 1,024 0,966 1,016 1,039 0,941

N 1 139 1 103 1 143 1 160 942 759 1 201

0

1

2

3

4

5

1 2 3 4 5 6 7

Arvioinnin kohteet

Arv

osan

a

Esimerkkioppilaitos

Sosiaali-, terveys- ja

liikunta-ala

Tekniikan ja

liikenteen ala

Kansallinen

vertailukeskiarvo

1. Työtehtävien hallinta 5. Ydinosaaminen 2. Työprosessin hallinta 6. Yhteiset painotukset 3. Työn perustana olevan tiedon hallinta 7. Opintokokonaisuuden näytön arvosana 4. Työturvallisuuden hallinta

Esimerkkioppilaitoksen oppimistulokset ylittivät koulutusalakohtaisen ja kansallisen ver-tailukeskiarvon kaikilla arviointikohteilla tarkasteltuna. Myös opintokokonaisuuden näy-tön arvosanan keskiarvo ylittää sekä koulutusalakohtaisen että kansallisen vertailukeskiar-von.

109

3 KYSELYN OPPILAITOSKOHTAISET TULOKSET

Ohessa ovat esimerkkioppilaitoksen tulokset kokeilussa kerätystä kyselystä työelämän edustajan, opettajan ja opiskelijan arvioimana. Tulokset on esitetty keskiarvona väittämit-täin. Oppilaitoksen tuloksen vieressä on kansallinen vertailukeskiarvo, joka sisältää kaikki-en arviointikokeilussa mukana olevien tutkintojen ja oppilaitosten tulokset. Oppilaitoksesta palautui 42 opiskelijan kyselylomaketta, 42 opettajan kyselyloma-ketta ja 16 työelämän edustajan kyselylomaketta. Kansallisessa vertailukeskiarvossa on mukana 603 opiskelijan, 689 opettajan ja 316 työelämän edustajan kyselylomaketta. Väittämät on arvioitu asteikolla 1–5, siten, että 1 = ei lainkaan, 2 = vähän, 3 = kohtalai-sesti, 4 = paljon, 5 = erittäin paljon/hyvin.

Huom. Tyhjät laatikot kertovat, että ko. asiaa ei ole kysytty ko. vastaajaryhmältä

Taulukko 2 Näytön toteuttaminen työelämän edustajan, opettajan ja opiskelijan arvioimana

TYÖELÄMÄN EDUSTAJA

OPETTAJA OPISKELIJA

Oppilai. Ka.

Kansal. Ka.

Oppilai. Ka.

Kansal. Ka.

Oppilai. Ka.

Kansal. Ka.

Olen osallistunut tämän näytön toteutuksen suunnitteluun 2,93 3,21 4,69 4,1 4,31 3,27

Suunnittelin näyttöä yhdessä opettajakollegoi-den kanssa 4,38 3,18

Suunnittelin näyttöä yhdessä työelämän kanssa 3,55 2,66

Suunnittelin näyttöä yhdessä opiskelijan kanssa 4,17 2,83

Sain näytön toteuttamiseksi ohjeita 3,33 3,37 3,40 3,56 3,86 3,63

Näytön tavoitteet olivat selkeät 3,63 3,85 4,38 3,96 3,76 3,84

Käytin kansallisia näyttöaineistoja näytön suunnittelussa ja toteuttamisessa 4,69 3,82

Näyttöaineistosta oli hyötyä näytön toteutta-misessa 4,69 3,76

Ohjasin opiskelijaa näytön suunnittelussa 3,07 2,81 4,36 2,70

Ohjasin opiskelijaa näytön aikana 3,47 2,98 2,10 2,42

Perehdytin työelämän edustajan näytön tavoit-teisiin ja sisältöön/Minut perehdytettiin näy-tön tavoitteisiin ja sisältöön 3,33 3,50 3,69 2,98

Näytössä pystyi hyödyntämään työssäoppimis-jaksolla opittuja asioita 4,20 4,31 4,69 4,20 4,63 4,09

110

Taulukko 3 Näytön arviointi työelämän edustajan, opettajan ja opiskelijan arvioimana

TYÖELÄMÄN EDUSTAJA

OPETTAJA OPISKELIJA

Oppilai. Ka.

Kansal. Ka.

Oppilai. Ka.

Kansal. Ka.

Oppilai Ka.

Kansal Ka.

Näyttöpaikka vastasi aitoa työelämän tilannetta 4,75 4,48 4,69 3,82 4,79 3,95

Näyttöpaikka oli sopiva opintokokonaisuuden tavoitteiden kannalta 4,56 4,29 4,57 4,18 4,14 3,92

Näytössä oli mahdollista hyödyntää opetuk-sessa käsiteltyjä asioita 4,60 4,31 3,98 3,97

Näyttö vastasi työelämässä vaadittavaa osaa-mista 4,19 4,18 4,69 4,25 4,31 3,96

Näytössä oli mahdollista osoittaa laaja-alaista ammatillista osaamista 4,19 3,81 4,62 3,56 3,81 3,53

Näytössä oli mahdollista arvioida työmenetel-mien, -välineiden ja materiaalien käyttötaitoja 3,87 3,92 4,64 4,06 3,98 3,74

Työprosessin suunnittelu-, toteuttamis- ja arviointitaitoja 3,80 3,99 4,50 3,98 3,93 3,65

Työssä tarvittavan teoriatiedon hallintaa ja sen soveltamiskykyä 3,47 3,98 4,31 4,03 3,78 3,60

Kykyä noudattaa työturvallisuusohjeita ja -määräyksiä 3,93 4,04 4,40 4,14 3,98 3,72

Vuorovaikutus- ja viestintätaitoja 4,50 4,13 4,69 3,34 4,62 3,59

Ryhmässä työskentelyn taitoja 4,44 4,11 4,45 3,40 4,07 3,30

Kykyä ratkaista ongelmia ja tehdä valintoja 4,19 4,10 4,48 3,98 3,95 3,63

Kykyä huomioida toisia 4,50 4,23 4,57 3,76 4,64 3,61

Kykyä arvioida omaa työtään ja itseään 4,38 4,18 4,67 4,37 4,43 4,0

Tiesin etukäteen, millaista osaamista näytössä arvioidaan 3,93 4,01 4,69 4,57 3,76 3,61

Tiesin näytön arviointikriteerit ennen näyttöä 4,06 4,11 4,69 4,63 4,33 3,58

Näytön arviointikriteerit olivat selkeät ja ym-märrettävät 3,75 3,53 4,31 3,76 3,33 3,34

Opiskelijan itsearviointini otettiin huomioon näytön arvioinnissa 4,33 3,98 4,32 3,62

Näytön arvosanan muodostaminen oli helppoa 3,44 3,60 4,38 3,85 3,45 3,39

Näytöstä opiskelijalle annettu arvosana oli mielestäni oikeudenmukainen 4,25 4,40 4,67 4,27 4,40 4,09

Opiskelijalle järjestetty näyttö vastasi vaati-vuudeltaan muille saman ryhmän opiskelijoille järjestettyjä näyttöjä 4,60 4,34 3,98 3,94

Näytön arvosanaa voidaan verrata toisten opiskelijoiden vastaaviin arvosanoihin 3,56 3,67 4,02 4,13 2,83 3,32

Näytön arviointi yhdessä opiskelijan, opettajan ja työelämän kanssa on tarpeellista 4,75 4,64 5,00 4,33 4,62 4,04

Koin, että minulla oli riittävä ammattitaito tämän näytön arviointiin 4,06 4,33

111

Taulukko 4 Näytön vaikuttavuus työelämän edustajan, opettajan ja opiskelijan arvioimana

TYÖELÄMÄN EDUSTAJA

OPETTAJA OPISKELIJA

Oppilai. Ka.

Kansal. Ka.

Oppilai. Ka.

Kansal. Ka.

Oppilai. Ka.

Kansal Ka.

Sain tietoa näytön avulla opiskelijan vahvuuk-sista ja kehittämistarpeista 3,81 3,72 4,57 3,95 3,83 3,65

Opin näytössä uusia asioita 3,60 3,15

Näyttö oli tarpeellinen 3,88 3,52

Näyttö edisti opiskelijan ammatillista kasvua 4,00 3,94 4,48 3,97

Näyttö lisäsi opiskelijan sitoutumista opiskelta-vaan alaan 3,79 3,75 4,48 3,92 3,17 3,08

Näyttö motivoi opiskelijaa oppimaan uusia asioita 4,00 3,87 4,45 3,72

Näyttö edisti opiskelijan työelämäyhteyksiä 3,87 3,66 4,26 2,78 3,38 2,79

Näyttö edisti oppilaitoksen ja työelämän välistä yhteistyötä 3,63 3,47 4,29 2,79

Näyttö oli hyödyllinen oman työni kannalta 3,75 3,34 4,29 3,60

Näyttö antoi eväitä oman työni kehittämiseen 3,50 3,29 4,17 3,36

Minulla oli varattu aikaa tämän näytön toteut-tamiseen / Näyttö oli mahdollista toteuttaa työtehtävieni ohessa 3,75 3,77 3,90 2,90

Minulla on aikaisempaa kokemusta ammat-tiosaamisen näytön arvioinnista / Minulla on aikaisempaa kokemusta näytön suorituksesta 4,57 3,39 2,36 2,45

112

LIITE 9 Palaute arviointikokeilun ja palauteraporttien hyödyllisyydestä KANSALLINEN OPPIMISTULOSTEN ARVIOINTIKOKEILU PALAUTE RAPORTEISTA JA ARVIOINTIKOKEILUSTA

Arvoisa rehtori/arviointikokeilun yhdyshenkilö

Oppilaitoksenne on ollut mukana ammatillisen koulutuksen oppimistulosten arviointijärjestelmän kehittämistyössä ja olette nyt saaneet arviointikokeiluun liittyen oppilaitoskohtaisen auditointira-portin, näyttöaineistojen palauteraportit sekä pikapalautteen oppimistuloksista ja näyttöjen yhtey-dessä toteutetusta kyselystä. Pyydämme Teitä nyt antamaan vuorostanne palautetta meille oheisen arviointilomakkeiston avulla sekä palauteraporteista että koko arviointikokeilusta. Pyydämme teitä vastaamaan henkilökohtaisesti lomakkeisiin. Palaute käsitellään ehdottoman luottamuksellisesti ja sitä hyödynnetään yleisellä tasolla järjestelmän kehittämistyössä niin, ettei yksittäisen henkilön vas-taus ole tunnistettavissa.

Tulemme haastattelemaan ja tapaamaan Teitä henkilökohtaisesti oppilaitokseenne koskien arvi-ointi- ja palautejärjestelmän kehittämistä. Otamme yhteyttä käyntien ajankohtien sopimiseksi lo-kakuun aikana. Pyydämme ystävällisesti vastaamaan lomakkeeseen joko sähköisesti tai palauttamaan se postitse 24.10.2003 mennessä Opetushallitukseen Paula Mäkihalvarille sähköpostiosoitteeseen paula. maki halvari @oph.fi tai postiosoitteeseen Opetushallitus PL 380, (Hakaniemenkatu 2), 00531 Helsinki Kiitos hyvästä yhteistyöstä. Mari Räkköläinen Erikoissuunnittelija Opetushallitus PL 380 (Hakaniemenkatu 2)00531 HELSINKI Puhelin (09) 7747 7293, gsm 040 8375409 Telefax (09) 7747 7117 E-mail: mari.rakkolainen@oph.fi

113

PALAUTELOMAKKEET RAPORTEISTA JA ARVIOINTI-KOKEILUSTA I PALAUTERAPORTTIEN SISÄLTÖ Valitkaa ruksaamalla (X) mielipidettänne ja kokemustanne parhaiten kuvaava vaihtoehto / symboli ja kirjoittakaa perustelunne kommentit -sarakkeeseen

Kommentit

Selkeys ja ymmärrettävyys

Hyödyllisyys ja käyttökelpoisuus

Luotettavuus

Osuvuus (onko arvioitu olennaisia asioita)

Asiantuntijoiden käyttö auditoinnissa (valinta, asiantuntemus, yhteistyö)

114

II PALAUTERAPORTTIEN ULKOASU Valitkaa ruksaamalla (X) mielipidettänne ja kokemustanne parhaiten kuvaava vaihtoehto / symboli ja kirjoittakaa perustelunne kommentit -sarakkeeseen

Kommentit

Luettavuus ja selkeys

Tulosten raportointitapa (taulukot, kuviot, teksti)

Raportin kieli

III PALAUTE ARVIOINTIKOKEILUSTA Valitkaa ruksaamalla (X) mielipidettänne ja

kokemustanne parhaiten kuvaava vaihtoehto / symboli ja kirjoittakaa perustelunne kommentit -sarakkeeseen

Kokeilun ohjaus (ohjeet, informaatio, tiedotus, perehdyttäminen)

Arviointikokeilun aikataulu

Yhteistyö Opetushallituksen kanssa

115

Ulkoisten auditoijien pätevyys ja uskotta-vuus

Yleisarvio arviointikokeilusta

Miten hyödynnätte palauteraporttien tuloksia?

Muu palautteesi ja kehittämisideat arviointijärjestelmän kehittämiseen jatkossa:

116

NÄYTTÖAINEISTOPALAUTE Valitkaa ruksaamalla (X) mielipidettänne ja

kokemustanne parhaiten kuvaava vaihtoehto / symboli ja kirjoittakaa perustelunne kommentit -sarakkeeseen

Kommentit

Selkeys ja ymmärrettävyys

Hyödyllisyys ja käyttökelpoisuus

Luotettavuus

Osuvuus (onko arvioitu olennaisia asioita)

Asiantuntijoiden käyttö auditoinnissa (valinta, asiantuntemus, yhteistyö)

117

Miten hyödynnätte palauteraporttien tuloksia näyttöjen ja näyttöaineistojen kehittämistyössä?

Muu palautteesi näyttöaineistopalautteesta:

118

ARVIOINTIKOKEILU JA ULKOINEN LAADUNVARMENNUS

REHTOREIDEN, OPETTAJIEN JA NÄYTTÖAINEISTOJEN

KEHITTÄJIEN KOKEMANA

Taustaa: Jokainen arviointikokeiluun osallistunut oppilaitos oli mukana ulkoisessa laadun-varmennuksessa, johon sisältyi mm. koulutuksen järjestäjän opetussuunnitelman ja muun kirjallisen materiaalin sekä näyttöaineistojen arviointi. Tämän lisäksi tehtiin auditointikäyn-tejä näyttö- ja arviointitilaisuuksiin sekä haastateltiin opettajaa, opiskelijaa ja työpaikkaoh-jaajaa. Kaikista näistä edellä mainituista toimenpiteistä oppilaitos sai oppilaitoskohtaisen raportin. Oppimistulokset koottiin oppilaitosten toteuttamista näytöistä. Näyttöjen yhtey-dessä tehtiin myös kysely opiskelijoille, opettajille ja työelämän edustajille. Oppilaitokset saivat pikapalauteraportin oppimistuloksista ja kyselystä. Arviointikokeilun jälkeen ke-räsimme kokeilussa mukana olleilta opettajilta, rehtoreilta ja aineistojen kehittäjiltä palau-tetta arviointikokeilusta ja sen yhteydessä toteutusta ulkoisesta laadunvarmennuksesta.

Ohessa on tuloksia siitä, missä oppilaitos (koulutuksen järjestäjä) aikoo hyödyntää oppi-mistuloksista ja laadunvarmennuksesta saatua palautetta.

I REHTORIT

• Olemme poimineet keskeiset kehittämishaasteet palautteiden pohjalta

• Resursseja on kohdennettu raporteissa esiin nousseisiin asioihin

• Raportteja on hyödynnetty oppilaitoksemme strategisessa suunnittelussa; tiimien toi-mintaan liittyvissä toimintasuunnitelmissa

• Raporteissa esiin nousseita kehittämishaasteita tullaan hyödyntämään myös henkilös-tön kehittämissuunnitelmissa

• Opetussuunnitelman kehittämisessä

• Työssäoppimisen ja näyttöjen kehittämisessä

• Oppilaitoksemme laatujärjestelmän kehittämiseen saamme tästä kokeilusta vinkkejä, tuloksia ym. aineistoa

• Oppilaitoksena koemme olevamme etuoikeutetussa asemassa saadessamme olla mu-kana tässä prosessissa. Tämä työ on avartanut ja kasvattanut meitä hyvin monella eri tavalla

• Oppilaitos pystyy niiden avulla huomioimaan olennaiset kehittämiskohteet toiminnas-saan

• Oppilaitokselle erittäin hyödyllinen palaute toiminnasta. Arviointikokeilu on koettu hyödylliseksi ja mielekkääksi

• Tulemme ottamaan palautteen mukaisesti käytäntömalleja myös muiden alojen näyt-töjä ja niiden arviointimalleja kehitettäessä

• Palautteen mukaisesti tulemme kiinnittämään huomiota niihin kohtiin, joissa nähtiin parannettavaa

• OPSeja tullaan tarkastamaan raportissa esitetyllä tavalla

• Voi hyödyntää näyttöjen jatkokehittelyssä

• Kehityskeskusteluissa otamme huomioon

• OPSien, näyttöjen kehittämisessä on jo otettu huomioon ja edelleen hyödynnetään

• Antaa hallinnolliselle rehtorille aiheen keskusteluun alan edustajien kesken

• Kehityskeskustelussa ja OPSin laadinnassa.

119

II OPETTAJAT/KOKEILUN YHDYSHENKILÖT/

AINEISTOJEN KEHITTÄJÄT

• Palaute käytiin pääpiirteissään läpi tiimikokouksessa ja sitä hyödynnetään mm. OPS:n edelleen työstämisessä

• Oppilaitospalaute: Keskusteltiin ja aiotaan käyttää hyödyksi OPS-työssä (esimerkiksi sisällöt, arviointikriteerit jne.)

• Palaute arviointikeskusteluista: henkilökohtainen hyöty ainakin suuri; aika tarkkaan mietin omaa roolia sekä opiskelijan ja työelämänedustajan roolia arviointikeskustelus-sa. Konsensuksen tekeminen arvioinnista oli se juttu, jonka käytön oivalsin tässä ko-keilussa

• Oppilaitoskohtaisesta opetussuunnitelmasta saatu palaute oli hyödyllistä oppilaitoksen kehittämistyön kannalta

• Palautteen pohjalta on lähdetty kehittämään oppilaitoksen opetussuunnitelmaa ja ar-viointikäytänteitä

• Hyödynnämme ulkoista laadunvarmennusta arviointikokeilussa kehittäessämme ope-tussuunnitelmiamme ja näyttöjen käyttöönotossamme

• Otetaan opiksi ja kehitetään toimintaamme

• Palaute oli mielestäni hyvin hyödyllistä ja sen perusteella voi kehittää aineistoa helpos-ti.

YHTEENVETO REHTOREIDEN JA OPETTAJIEN PALAUTTEISTA: Auditointipalautteita aiotaan hyödyntää mm:

• Oppilaitoksen strategisessa suunnittelussa • Henkilöstön kehittämissuunnitelmassa

• Oppilaitoksen laatujärjestelmän kehittämisessä

• Opetussuunnitelman laadinnassa ja kehittämisessä (tämä eniten mainittu)

• Työssäoppimisen ja näyttöjen kehittämisessä

• Palautteen avulla oppilaitos pystyy huomioimaan olennaiset kehittämiskohteet toi-minnassaan

• Henkilöstönkehityskeskusteluissa

• Arviointikäytäntöjen kehittämisessä.

120

LIITE 10 Palautekysely ja yhteenveto kyselyn tuloksista 31.10.2006/Paula Kilpeläinen Kysely lähetettiin 21 pikapalauteraportin saaneen oppilaitoksen rehtorille. Vastauksia saatiin 12.

YHTEENVETO REHTOREIDEN VASTAUKSISTA I PIKAPALAUTERAPORTIN SISÄLTÖ (esimerkiksi arviointitiedon hyödyllisyys, osuvuus, luotettavuus, mielenkiintoisuus, laadukkuus, relevanttisuus)

VAHVUUDET

• Pikapalautteesta tulee esille se, miten oppilaitoksen opetus vastaa työelämälähtöi-syyteen ja työelämässä tarvittavaan osaamiseen. Oppilaitos saa tietoa oman koulu-kohtaisen opetussuunnitelmansa toimivuudesta arjen työtilanteissa

• Konkreettinen, napakka tieto oppilaitoksen oppimistuloksista, jota voi suhteuttaa kansalliseen tasoon

• Mielenkiintoinen, luotettava, valtakunnallinen vertailutieto, tietoa oppimistuloksis-ta ja näyttöjen järjestämisen onnistumisista opettajan, opiskelijan ja työnantajan näkökulmista

• Palautteen saaminen on ehdottoman tärkeää. Arviointitieto oli osittain odotettua, joten se ei yllättänyt. Palaute on sikäli luotettavaa, koska osallistujat ovat todennä-köisesti vastanneet rehellisesti. Palaute tuli suoraan henkilökohtaisesti rehtorille, mikä lisäsi mielenkiintoa palautetta kohtaan

• Johdanto kuvaa osuvasti, mistä tässä pikapalauteraportissa on kysymys. Graafises-ta esityksestä nopeasti yleiskuva ammattiosaamisen näyttöjen tuloksista. Pikapa-laute oli tarpeen sinänsä mielenkiintoista saada

• Hyvä pohja mitata ja verrata ao. asioita valtakunnallisesti, saada tietoa, miten muualla

• Saatu arviointitieto on hyödyllistä omien koulutusalojen itsearviointien toteutta-misessa. Sosiaali- ja terveysalalla työelämässä toteutetut näytöt. Luotettavuutta li-sää se, että on käytetty kansallisia näyttöaineistoja

• Pikapalauteraportti oli selkeää luettavaa. Ei liian laaja, siitä sai kohtuullisen katta-van kuvan lyhyessä ajassa

• Kuvaus antoi nopean tiedon oman oppilaitoksen sijoittumisesta valtakunnallisella tasolla. Keskihajonta oli hyvä lisä tulosten arvioimisessa

• Pikapalauteraportti tuo julki nekin tavoitteet, joista ei ole sovittu oppilaitosten koordinoimissa hankesopimuksissa

• Mielenkiintoista tietoa näyttöjen toteutuksesta ja osaamisen tasosta. Eniten huo-miotani herätti oppilaitoskohtaiset tulokset, joissa on vertailtu opettajan ja opiske-lijan näkemyksiä näyttöjen toteutuksesta.

121

ONGELMAKOHDAT

• Palaute tulisi saada ennen seuraavan ryhmän aloitusta, jolloin sitä voitaisiin reaaliaikai-sesti hyödyntää ja tehdä muutoksia koulukohtaiseen opetussuunnitelmaan

• Pikapalautteen perusteella on aika rohkeata tehdä mittavia korjausliikkeitä toiminnan suhteen. Tämä sen vuoksi, että sen informaatio on kuitenkin varsin irtonainen. Mutta kyllä se antaa perustellun syyn aloittaa pohdinnan, mitä pikapalautteen takana on. Näin silloin, kun arvot ovat alle vertailuryhmän

• Puuttuu vertailutiedot yksittäisiin oppilaitoksiin, joka tekee vertailun kehittämisen vai-keaksi tämän raportin avulla. Epäselväksi jää, mistä käydään katsomassa mallia hyväs-tä esimerkistä

• Arvioitavat ovat tuossa vaiheessa ns. erikoisryhmä, joten tulokset voivat olla positiivi-sempia kuin ao. näytöt ovat arkipäivää

• Ovatko eri puolilla Suomea erilaisissa työpaikoissa tai suoritusympäristöissä ja eri teh-tävissä osoitettujen (samaa osaamista mittaavien) näyttöjen tulokset kansallisesti ver-tailukelpoisia? Sosiaali-, terveys- ja liikunta-alan ammattiosaamisen näytöt kertovat en-sikertaisen kokeilun (ei pilotointikokemusta) yhden tutkinnon osan (KTO) pienellä näytteellä (N 22), joten tulosta ei voi yleistää

• Yksittäistä perustutkintoa verrataan koko tekniikan ja liikenteen alaan tai jopa hyvin erilaiseen alaan esim. sosiaali-, terveys- ja liikunta-alaan

• Ongelmana erityisesti arviointitiedon luotettavuus. Arvioijien arviointiosaaminen on merkityksellinen asia; Onko osattu arvioida arviointikriteerien mukaan; oletettavaa on, että arvioijien skaala tiukentuu, mitä parempi arviointiosaaminen heillä on. Tulosten vertailtavuus ongelmallista, koska kansallista kalibrointia ei ole tehty. Samojen koulu-tusalojen arviointitulosten luotettavuus paranee arviointikokemuksen lisääntyessä, jos tehdään yhteistyötä, mutta miten varmistetaan se, että eri koulutusaloilla H3 on H3? Koulutuksen vaikuttavuuden arviointi ongelmallista; mittarit?

• Mielestäni raportissa ei ollut ongelmakohtia

• Tulosten reliaabelius ja validius ovat kyseenalaisia, koska ei ollut mitään vakiointia ar-vioitsijoiden käyttämälle asteikolle

• Julkaistun tiedon validiteetti. Voi olla suorastaan vaarallista julkaista tietoja, joiden vertailukelpoisuudelle ei ole vielä saatu mitään perusteluja

• En osaa sanoa varsinaisia ongelmakohtia, selkeä lyhyt yhteenveto asioista.

KEHITTÄMISEHDOTUKSET

• Palaute nopeammin oppilaitoksille ja avointen kysymysten palaute tulisi saada myös oppilaitoksille nopeammin, jotta siihen voitaisiin reagoida

• Jos pikapalautetta seuraa sitä täydentävä laajemmin asioita valaiseva selvitys, niin ei pikapalautetta sinällään tarvitse muuttaa. Se antaa etukäteistiedon siitä, miten maa makaa

• Oppilaitoskohtaiset tulokset nähtäville vertailukehittämistä varten

• Näyttöaineistoissa opintokokonaisuuksittain ja arviointikohteittain esitettyjä arviointi-kriteerejä pitäisi selkeyttää. Tulevissa tutkinnon perusteissa tulisi pyrkiä yleisesti esitet-tyihin laadullisiin arviointikriteereihin. Tämä selkeyttäisi arviointitilannetta ja parantai-si arvioinnin luotettavuutta ja vertailukelpoisuutta. Haasteena työelämäohjaajien pe-rehdyttäminen ja koulutus ammattiosaamisen näyttöihin ja yleisesti arviointiin

• Vertailu pitäisi tehdä perustutkinnoittain valtakunnallisesti, tai sitten koko aloittain esimerkiksi koko tekniikan ja liikenteen osalta

122

• Näyttöjen painopiste enemmän työelämään; vain erityisen perustellusti oppilaitosnäy-töt. Opintokokonaisuudet työelämän toimintakokonaisuuksiksi tutkintokohtaisiin opetussuunnitelmiin. Eri koulutusalojen vertailussa ei ole huomioitu alojen (sosiaali- ja terveysala/ tekniikka ja liikenne ) erilaista taustaa ja toimintakulttuuria. Esimerkiksi koulutusalakohtaiset erot näyttöjen suunnittelussa alakohtaisia

• Tällainen palaute olisi hyvä saada säännöllisin väliajoin, mielellään vuosittain tai aina-kin joka toinen vuosi

• Raportoinnissa, pikapalautteissa yms. tulisi julkaista ainoastaan tutkittua tietoa, kuten esimerkiksi sitä, miltä osin näyttötutkinnoista annetut arviot ovat alakohtaisesti ver-tailtavissa ja miltä osin järjestetyt näyttötilanteet kattavat määrättyjen opintokokonai-suuksien valtakunnalliset tavoitteet

• Oppilaitoskohtaiset tulokset esille vertailukehittämistä varten

• Toivottavasti jatkosakin saadaan vastaava info, josta voi todeta miten asioissa on edet-ty.

II PIKAPALAUTERAPORTIN KÄYTTÖKELPOISUUS (esimerkiksi tietojen hyödyntäminen opetuksen kehittämisessä ja muussa kehittämistyössä)

VAHVUUDET

• Pikapalauteraportti tuo tiedon siitä, miten oppilaitoksen antama opetus vastaa työelä-mäosaamista ja työelämän tarpeita

• Antaahan se selkeästi syyn tarkastella tulosten valossa opetusta siinä valossa, että mitä meidän tulisi tehdä, jotta oltaisiin ainakin keskivertoisia

• Näkee, missä on onnistuttu eri tahojen mielestä ja mitä asioita on opittu. Tämän pe-rusteella voidaan miettiä jatkotoimia

• Raportista sai selville alueet, joihin on erityisesti panostettava. Hyödynnämme palau-tetta kehittämistyössä. Laitoin heti luettuani palautteen jakoon opettajille ja koulutuk-sen kehittämisestä vastuussa oleville, jotta asiat huomioidaan mahdollisimman pian

• Antaa koulutuksenjärjestäjän tasolla paikallisesti melko luotettavaa tietoa. Tällöin alu-eelliset työelämän erot eivät vaikuta tuloksiin (alakohtaiset kylläkin). Työelämän edus-tajien, opettajien ja opiskelijoiden samoihin kysymyksiin antamien vastausten vertailu on merkittävä esimerkiksi työssäoppimisen ja yhteistyön edelleen kehittämiseksi. An-taa vihjeitä ammattiosaamisen näyttöjen/opetussuunnitelman/opetuksen kehittämi-seksi arviointikohteittain esim. jos jonkin arviointikohteen saama tulos on alle kansal-lisen keskiarvon

• Saatua tietoa voidaan hyödyntää hyvin opetuksessa, työssäoppimisen ja ammatti-osaamisen näyttöjen kehittämisessä. Lisäksi se lisää työpaikkaohjaajien mukaan tuloa vielä entisestään ja heidän rooliaan ao. asioiden kehittämisessä. Samoin käy myös opiskelijoiden osallistumisen

• Raportin tuloksissa esiin nostetut asiat ovat tärkeitä huomioida oman alan kehittämis-työssä. Näytöt lisäävät opiskelijoiden motivaatiota oman osaamisensa kehittämiseen

• Selkeä esitystapa helpottaa raportin käsittelyä esim. henkilökunnan kokouksessa, jossa mietitään kehittämisehdotuksia

• Vertailutieto valtakunnallisella tasolla antaa suuntaa oman oppilaitoksen toiminnasta ja kehittämishaasteista

• Eri osapuolille tehtyjen kyselyjen perusteella on mahdollista löytää kehittämiskohteita oppilaitoksen näyttökäytänteisiin

123

• Näkee, missä on onnistuttu eri tahojen mielestä ja mitä asioita on opittu. Tämän pe-rusteella voidaan miettiä jatkotoimia

• Kyselyn oppilaitoskohtaiset tulokset antavat näkemyksen opiskelijoiden ohjaamisen tärkeydestä. Kun opettaja on sisäistänyt asian, se ei ole samoin opiskelijan kohdalla.

ONGELMAKOHDAT

• Viive ja se, että oppilaitokset eivät pysty hyvin nopeasti reagoimaan, mikäli palaute tuo paljon muutoksia oppilaitoksen oppisisältöihin

• Kysymykseen miksi asiat ovat näin, ei vastausta näin pelkistyneestä selvityksestä löy-dy. Riskinä on, että syy on itse selvityksessä eikä selvitettävässä itsessään

• Vertailutiedot yksittäisistä oppilaitoksista puuttuvat. Tämän pohjalta ei tiedä, mistä oppilaitoksesta pitäisi hakea neuvoa

• Joissakin vastauksissa oli vaikeuksia tulkita, mitä pitää kehittää, koska vastaajien vas-taukset olivat hyvin erilaisia, hajontaa

• Vaatii jatkuvaa palautteen keräämistä ja lähettämistä, joka työllistää lisää

• Varsinaisesti opetuksen sisällön muuttamistarpeista ei saada palautetta. Palautetta saa-daan vain toiminnan painottamistarpeista teoriaa tai suoritukseen ja (arviointikohtei-den kesken)

• Tuleeko tietoa liikaa ja liian monesta paikasta. Tällä hetkellä oppilaitoksissa suorite-taan myös itse hyvin paljon erilaisen palautteen keräämistä ja kyselyjä. Mikä rooli tällä raportilla on, selviää kun oppilaitokset rakentavat omaa järjestelmäänsä. On myös vaarana, että työpaikkaohjaajat ja yritykset kyllästyvät erilaisiin kyselyihin. On tiedettä-vä millainen, milloin ja keneltä tällä kyselyllä kysytään

• Vaikka opiskelijat saivat heikoimmat arvosanat työn perustana olevan tiedon ja työ-tehtävien hallinnasta; voi olla, että arvioinnin osuvuus ei ole ollut kohdallaan. Voi olla, että ammattiosaamisen näytöt suuntaavat liikaa opetusta. Opettaja voi ehkä tiedosta-mattaankin korostaa liikaa näytön osuutta. Raportissa ei mainita näytössä hylätyistä yms. Raportti voisi olla myös sähköisessä muodossa, helpottaisi asian käsittelyä

• Julkaistuihin tietoihin ei voi vedota edes yksittäisen opintokokonaisuuden näyttö-suunnittelun kehittämisessä kun ei ole tiedossa missä opintovaiheessa ja miten katta-vasti verrokkina olevat näytöt on järjestetty

• Vertailutiedot yksittäisistä oppilaitoksista puuttuvat. Tämän pohjalta ei tiedä, mistä oppilaitoksesta pitäisi hakea neuvoa

• En näe erityisiä ongelmakohtia.

KEHITTÄMISEHDOTUKSET

• Tiedonkeruulomakkeen kehittäminen vastaamaan työpaikkaohjaajien kiireistä työtah-tia eli selkeät ohjeet ja yksinkertaiset kysymykset. Samaa asiaa ei tarvitse kysyä montaa kertaa

• Oppilaitoskohtaiset tiedot lisätään raporttiin (esimerkiksi summakeskiarvo)

• Arviointitulosten jakautumien eri arviointikohteiden välillä kertoo vain opetuksen painotustarpeesta niiden välillä (ei sisällöistä). Kyselyiden palaute kertoo enemmän ammattiosaamisen näyttöjen järjestämistilanteesta. Toisaalta kyselyitä on jatkossa ras-kas järjestää / tehdä. Jos tehdään, tarvittaisiin opetusjärjestelyiden tueksi palautetta myös varsinaisesta osaamisesta ja tekemisestä eikä vain järjestelyistä

124

• Vertaa aikuisten näytöt. Hylättyjä tai alle H3:n arvosanoja tulee vuodessa koko valta-kunnassa yleensä vain muutamia; onko mitään mieltä käyttää paljon resursseja arvo-sanojen antoon, jos ne eivät oikeasti anna kuvaa osaamisesta. Hyväksytty / hylätty????

• Raportti lähetettäisiin ao. oppilaitoksiin sekä kirjallisena että sähköisessä muodossa.

• Raportissa tulisi tuottaa tietoa, joka voisi toimia pohjana oppilaitoksissa noudatettavi-en näyttökäytänteiden yhdenmukaistamiselle, kuten esimerkiksi opintovaiheen vaiku-tus osaamisvaatimuksiin

• Oppilaitoskohtaiset tiedot lisätään raporttiin (esimerkiksi summakeskiarvot)

• Laajempi otanta, että meidän kohdalla saadaan myös työelämän edustajien lausunnot mukaan. Tässä asiassa on myös meillä tekemistä jatkossa.

III PIKAPALAUTERAPORTIN ULKOASU (esimerkiksi luettavuus, selkeys, ymmärrettävyys, tulosten raportointitapa, taulukot, kuviot, teksti)

VAHVUUDET

• Värilliset kuviot tukevat luettavuutta ja olennaisen tiedon esilletuontia

• Selkeä

• Tasokkaasti tehty

• Vahvuutena olivat vertailut muihin aloihin ja valtakunnallinen vertailu

• Pikaraportti on lyhyt ja kuvaava

• Kattavasti kysymyksiä, ehkä liikaakin

• Hyvät graafiset esitykset. Hyvät vertailtavat koodit

• Selkeys, ei liian paljon sivuja, helppo luettava.

• Raportti oli luettava

• Selkeä ja havainnollinen

• Luettavuus on mielestäni hyvällä tasolla. Lyhyt, selkeä esitys.

ONGELMAKOHDAT

• Taulukoita on paljon ja niistä voisi tehdä tilastollisia muuttujia, jotka konkretisoivat oppilaitoksen tilannetta verrattuna muihin saman alan tai kaikkien alojen tietoihin

• Lakoninen

• Ei ole

• Ulkoasu voisi olla enempi raporttimainen. Palaute jää helposti paperikasan alle, koska siinä ei ollut mitään huomiota herättävää ulkoasussa. Joitakin taulukoita oli vaikeuksia tulkita, miten asia on, mutta asiat kyllä selkenivät, kun keskittyi niihin.

• Liian paljon kysymyksiä

• Itse raportti ei edistä koulutuksen kehittämistä, ilman koulutuksen järjestäjän omaa kehittämistyötä

• Myös sähköinen versio olisi tervetullut lisä

• Ei ongelmaa

• Ei ole

• En osaa mainita ongelmakohtia.

125

KEHITTÄMISEHDOTUKSET

• Verrattavuutta lisää

• Säilytä selkeys samalla, kun lisäät lihaa luitten päälle

• Ei ole

• Selkeämmin esille oman oppilaitoksen tulokset ja kehittämiskohteet

• Vähemmän kysymyksiä

• Hyvien käytäntöjen jakaminen eri koulutusalojen välillä

• Ei merkittävää kehittämistarvetta

• Ei ole

• Laajempi otanta, jotta luotettavuus on parempi.

Miten aiotte hyödyntää pikapalautteen tuloksia?

• Työelämäyhteistyöhön liittyen ja opiskelijoiden ohjaukseen liittyen kehitetään käytän-töjä ja selkiytetään ohjeistusta

• Käsittelemme asioita johtotiimissä ja kehitämme opiskelijoiden ohjausta ammat-tiosaamisen näyttöihin liittyvissä asioissa

• Opetustoiminnan kehittämisessä ja strategisessa suunnittelutyössä

• Näyttöjen kehittämisessä ja arvioinnin kehittämisessä

• Saatua tietoa voidaan hyödyntää hyvin opetuksessa, työssäoppimisen ja ammat-tiosaamisen näyttöjen kehittämisessä

• Antaa vihjeitä ammattiosaamisen näyttöjen/opetussuunnitelman/opetuksen kehittä-miseksi arviointikohteittain esimerkiksi jos jonkin arviointikohteen saama tulos on alle kansallisen keskiarvon

• Eri osapuolille tehtyjen kyselyjen perusteella on mahdollista löytää kehittämiskohteita oppilaitoksen näyttökäytänteisiin

• Pikapalaute tuodaan julki oppilaitoksen opettajille ja koulutusalavastaava analysoi nii-den hyödyntämistä 8.–9.11. Raumalla

• Johtoryhmätyöskentelyssä ja kehittämistoiminnassa tämä muodostaa tärkeän osan tarvitsemaamme arviointitietoa.

• Käsitellään opettajien kanssa pikapalaute ja tehdään johtopäätökset toimenpiteistä

• Tulokset käydään eri aloilla ja kiinnitetään huomioita tuloksiin ja mietitään kehittä-miskohteita. Lisäksi palauteraportti käsitellään työssäoppimis- ja laaturyhmässä.

• Raportti jaettu alan opettajille ja koulutusalojen johdolle. Sovittu palautekeskustelu-päiväraportin tuloksista. Koulutusalojen vertailutulokset käsitellään sen jälkeen Salpa-uksen suunnitteluryhmässä

• Käsittelemme tuloksia opettajakunnan kokouksessa ja osastokokouksissa. Johtoryhmä laatii suunnitelman miten parantaminen tarpeellisissa asioissa tehdään

• Asiat tullaan ottamaan esille projektien ja oppilaitosten välissä yhteistyökokouksissa

• Käsitellään opettajien kanssa pikapalaute ja tehdään johtopäätöksiä toimenpiteistä.

Millaisista asioista tietoa tulisi kerätä, jotta sitä voisi hyödyntää oppilaitoksen itsearviointi- ja muussa kehittämistyössä?

• Pitkittäisotantaa, jolloin saisi yhden ryhmän kaikkien ammattiosaamisen näyttöjen pa-lautteen hyödynnettäväksi

• Selittävien tekijöiden kytkeminen itse mittaustulokseen olisi arvokasta

126

• Opiskelijoiden sijoittuminen, koulutuksen läpäisy, opiskelijoiden läsnäolo, oppimistu-lokset"

• Ammattiosaamisen näyttöjen vaikutus arviointikäytäntöihin konkreettisesti

• Kaikenlaista vertailutietoa tarvitaan

• Kansallisten näyttöaineistojen hyödynnettävyys ja asiakaslähtöisyys? Esimerkiksi kau-pan ja hallinnon kansallinen näyttöaineisto. Kansallisten näyttöaineistojen laadulliset erot (työelämän kieli? )"

• Opetussuunnitelman kokonaisuus tulisi arvioida raportissa kuvatulla tavalla. Näin tuli-si tietoa koko koulutusta ja opetussuunnitelmaa koskevista asioista. Toiminnan koko-naisvaltainen kehittäminen helpottuisi, kun tulisi vertailutietoa koko perustutkinnosta

• Ainoastaan sellaista tietoa, joilla on todellista vertailukelpoisuutta, kuten eri oppilaitos-ten esimerkkejä samaan opintokokonaisuuteen laadituista näyttötehtävistä, niiden suorittamiseen varattu aika, seurantaan käytetty aika jne.

• Ammattiosaamisen näyttöjen taustoista, ympäristöt ja työtehtävien kuvaukset auttaisi-vat suunnittelutyössä. Työssäoppimispaikkojen laadun varmistaminen on tärkeä osa oppilaitoksen toimintaa. Laadukas työssäoppimispaikka varmistaa hyvät näytöt ja opiskelijan arviointi on tätä taustaa vasten objektiivisempi.

Muuta palautetta

• Viime aikoina arviointineuvosto, lääninhallitus sekä muut tahot ovat työllistäneet op-pilaitosjohtoa erilaisilla kyselyillä runsaasti ja usein vastaaja ei saa palautetta kyselyistä ja näin pysty kehittämään omaa toimintaansa

• Kiitos! Jatkakaa tätä hyvää työtä!

• Kiitos tästä tutkimuksesta ja hyvää jatkoa

• Kiitos hyvästä raportista. Tässä vaiheessa saatu tieto auttaa meitä kaikkia eteenpäin ammattiosaamisen näyttöjen käyttöönotossa.

YHTEENVETO

• Raporttia pidetään pääosin luotettavana, hyödyllisenä, selkeänä, napakkana (ei liian pitkä), ja kuvaavana. Värilliset kuviot ja taulukot tukevat luettavuutta

• Erityisesti kyselyjen oppilaitoskohtaiset tulokset suhteutettuna kansalliseen keskiarvo-tulokseen koetaan hyödyllisinä ja käyttökelpoisina.

Palautteista nousi esille….

• Oppilaitokset kaipaavat nopeaa ja systemaattista palautetietoa kehittämistyön pohjaksi

• Epäillään tulosten luotettavuutta ja sitä kautta vertailtavuutta, koska arviointiosaami-nen vaihtelee yksilöittäinen

• Täytyy olla varovainen tehdessä vertailuja eri aloihin

• Kaivataan vertailutietoa perustutkinnoittain

• Tarvitaan myös analysoitua tietoa tulosten syistä (mitkä tekijät ovat tulosten takana)

• Pikapalautteet tulisi saada myös sähköisessä muodossa

• Mietittävä tarkkaan, mistä palautetta kerätään ja mikä on todella hyödyllistä. (muuten hukutaan tiedon määrään).

127

Palautetta aiotaan hyödyntää:

• Opiskelijoiden ohjauksen ja ohjeistuksen kehittämisessä

• Näyttöjen ja työssä oppimisen kehittämisessä

• Opetussuunnitelman, opetuksen ja arvioinnin kehittämisessä (palaute antaa mahdolli-suuden kehittää opetusta ja näyttöjä arviointikohteittain, koska tulokset on esitetty ar-viointikohteittain).

Palautetta tulisi kerätä:

• Opiskelijoiden sijoittumisesta, koulutuksen läpäisystä ja oppimistuloksista

• Kansallisten näyttöaineistojen hyödynnettävyydestä ja asiakaslähtöisyydestä

• Eri oppilaitosten esimerkkejä samaan opintokokonaisuuteen laadituista näyttötehtä-vistä, niiden suorittamiseen ja seurantaan käytetty aika jne.

• Näyttöympäristöistä ja työtehtävien kuvauksista.

128

Liite Palautekysely

Sivu 1/1 1

Kirjaa pikapalauteraportin sisällön keskeiset vahvuudet, ongelmakohdat ja kehittämisehdotukset alla oleviin laatikoihin I PIKAPALAUTERAPORTIN SISÄLTÖ (esim. arviointitiedon hyödyllisyys, osuvuus, luotettavuus, mielenkiintoisuus, laadukkuus, rele-vanttisuus) VAHVUUDET

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSET

Kirjaa pikapalauteraportin käyttökelpoisuuden keskeiset vahvuudet, ongelmakohdat ja kehittämisehdotukset alla oleviin laatikoihin II PIKAPALAUTERAPORTIN KÄYTTÖKELPOISUUS (esim. tietojen hyödyntäminen opetuksen kehittämisessä ja muussa kehittämis-työssä) VAHVUUDET

129

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSET

Kirjaa pikapalauteraportin ulkoasun keskeiset vahvuudet, ongelmakohdat ja kehittämisehdotukset alla oleviin laatikoihin III PIKAPALAUTERAPORTIN ULKOASU (esim. luettavuus, selkeys, ymmärrettävyys, tulosten raportointitapa, taulukot, kuviot, teksti) VAHVUUDET

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSET

130

Miten aiotte hyödyntää pikapalautteen tuloksia?

Millaisista asioista tietoa tulisi kerätä, jotta sitä voisi hyödyntää oppilaitoksen itsearviointi- ja muussa kehittämistyössä?

Muuta palautetta

Lopetus

131

LIITE 11 Arvioinnin kohteet ja kriteerit vertaisarviointikäynnillä

KANSALLISEN NÄYTTÖPERUSTEISEN OPPIMISTULOSTEN ARVIOINTIJÄRJESTELMÄN KEHITTÄMINEN

2004–2007

”ARVIOINTITYÖKALU” SOTE JÄRKEVÄ -PROJEKTIN NÄYTTÖTOIMINNAN VERTAISARVIOINTIKOKEILUSSA

ARVIOINNIN KOHTEET JA KRITEERIT VERTAISARVIOINTIKÄYNNILLÄ

AMMATTIOSAAMISEN NÄYTTÖJEN SUUNNITTELU JA TOTEUTTAMINEN, ARVIOINTI SEKÄ VAIKUTTAVUUS

Päivämäärä: Oppilaitos: Näyttöpaikka: Arvioija:

132

Sote Järkevä -projektin koordinointitiimi: Erja Kotimäki, Päivi Kukkonen, Annukka Kur-ki, Teija Lehtiniemi, Tuija Puutio ja Minna Vesaaja. Pohjana on käytetty Opetushallituk-sen KOPPI-projektin vertaisarviointikokeilussa käytettyä työvälinettä.

ARVIOINTITYÖKALUN TARKOITUS JA RAKENNE

Tällä työkalulla arvioidaan koulutuksen järjestäjän toteuttamien ammattiosaamisen näyttö-jen suunnittelua, toteuttamista, niiden arviointikäytäntöjä ja näyttöjen vaikuttavuutta op-pimiseen ja opetukseen. Arvioinnin kohteet ja kriteerit on laadittu kansallisen arvioinnin edellyttämien laatuvaatimusten ja ammatillisesta koulutuksesta ja opiskelijan arvioinnista annetun lain sekä opetussuunnitelman perusteiden pohjalta. Arviointityökalu jakautuu viiteen arviointiteemaan: ensimmäisessä osassa arvioidaan kou-lutuksen järjestäjän näyttötoiminnan yleistä suunnittelua, toteuttamista ja arviointia. Toi-sessa osassa arvioidaan havainnoinnin kohteena olevan näytön suunnittelua ja toteutta-mista ja kolmannessa osassa näyttöympäristöä ja näytössä arvioitavaa osaamista. Arvioin-tityökalun neljännessä osassa arvioidaan kriteeriperusteisen arvioinnin toteutumista ja ar-vioinnin dokumentointia ja viimeisessä osassa näytön vaikuttavuutta. Työkalun ensimmäisen osan arviointi tehdään oppilaitokselta etukäteen pyydetyn kirjalli-sen materiaalin, esimerkiksi opetus- ja arviointisuunnitelman, sekä vertaisarviointikäynnin aikana toteutettujen oppilaitoksen johdon, opiskelijan, opettajan ja työelämän edustajien haastattelujen pohjalta. Työkalun muiden osien arviointi perustuu eri osapuolten haastat-teluihin sekä ammattiosaamisen näytön arviointikeskustelun havainnointiin. Vertaisarviointi on osa kansallisen oppimistulosten arvioinnin edellyttämää laadunvar-mennusta, jonka tarkoitus on varmistaa näyttöjen ja arvioinnin laatua. Arviointityökalu tuottaa tietoa laatuvaatimusten toteutumisesta. Työkalun tuottamaa palautetta koulutuk-sen järjestäjät ja oppilaitokset voivat hyödyntää näyttötoiminnan ja arviointikäytäntöjen kehittämisessä.

OHJE TYÖKALUN KÄYTTÖÖN

Arvioi oppilaitoksen näyttötoimintaa käymällä läpi kuvatut arvioinnin kohteet ja kriteerit. Lue arvioinnin kohteiden ja kriteerien kuvaukset ja arvioi se taso, jota toiminta mielestäsi vastaa. Ympyröi arviotasi koskeva numero. 1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu. Kirjaa myös arvioinnin perustelut sille varattuun tilaan. Oppilaitokselle annet-tava palauteraportti laaditaan tämän työkalun pohjalta yhteistyössä vertaisarvioijien kans-sa.

133

Perustelut / muistiin-panot / havainnot

I NÄYTTÖTOIMINNAN YLEINEN SUUNNITTELU, TOTEUTTAMINEN JA ARVIOINTI

Tukikysymyksiä haastattelua varten: Miten käytännössä toteutetaan ko. asioita? Miten on koettu, mikä sujuu, mikä hankalaa? Kehittämisajatuksia?

1.1 Koulutuksen järjestäjän opetussuunnitel-man yhteinen osa sisältää opiskelijan arvi-oinnin ja näyttöjen toteuttamisen periaat-teet.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.2 Opiskelija-arvioinnin toteuttamissuunni-telma sisältää menettelyn arvioinnin oi-kaisusta, josta on tiedotettu opiskelijoille, työelämän edustajille ja opettajille.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.3 Opiskelijan arvioinnin toteuttamisesta on tehty tutkintokohtainen suunnitelma siten, että se sisältää toimielimen hyväksymän suunnitelman ammattiosaamisen näyttöjen toteuttamisesta ja arvioinnista.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.4 Koulutuksen järjestäjän opetussuunnitel-man yhteinen osa on laadittu yhteistyössä opettajien kanssa.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.5 Tutkintokohtainen opetussuunnitelma on laadittu yhteistyössä opettajien kanssa.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.6 Koulutuksen järjestäjän opetussuunnitel-man yhteinen osa on laadittu yhteistyössä työelämän edustajien kanssa.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.7 Tutkintokohtainen opetussuunnitelma on laadittu yhteistyössä työelämän edustajien kanssa.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.8 Koulutuksen järjestäjällä on ammattiosaa-misen näyttöjen suunnittelua ja toteutta-mista valvova toimielin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.9 Ammattiosaamisen näytöt ovat osa opiske-lijan henkilökohtaista opiskelusuunnitel-maa.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.10 Ammattiosaamisen näytöt suunnitellaan ja toteutetaan oppilaitoksen ja työpaikkojen yhteistyönä.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.12 Koulutuksen järjestäjällä on suunnitelma opiskelijoiden perehdyttämiseksi ammat-tiosaamisen näyttöihin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.13 Koulutuksen järjestäjällä on suunnitelma opettajien kouluttamiseksi ja perehdyttämi-seksi ammattiosaamisen näyttöihin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

134

Perustelut / muistiin-panot / havainnot

1.14 Ammattiosaamisen näytöt toteutetaan aitoina työelämän toimintakokonaisuuksi-na oppilaitoksessa tai työpaikoilla.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.15 Ammattiosaamisen näyttöihin liittyvät tutkintotodistukseen vaadittavat tiedot tal-lennetaan opiskelijahallintorekisteriin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

1.6 Ammattiosaamisen näytöistä kerätään suunnitelmallisesti palautetta ja sitä hyö-dynnetään työelämäyhteistyön kehittämi-sessä.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

II AMMATTIOSAAMISEN NÄYTÖN SUUNNITTELU JA TOTEUTTAMI-NEN (Havainnoitava näytön arviointi-tilanne)

Tukikysymyksiä haastattelua varten: Miten käytännössä toteutetaan ko. asioita? Miten on koettu, mikä sujuu, mikä hankalaa? Kehittämisajatuksia?

2.1 Tämä näyttö on suunniteltu opettajan, opiskelijan ja työelämän edustajan yhteis-työnä.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

2.2 Opiskelija on laatinut henkilökohtaisen suunnitelman ammattiosaamisen näyttöön

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

2.3 Opettaja(t) on koulutettu ja perehdytetty ammattiosaamisen näyttöön/näyttöihin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

2.4 Työelämän edustaja(t) on koulutettu ja perehdytetty ammattiosaamisen näyttöön/ näyttöihin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

2.5 Opiskelija on saanut perehdytystä ja ohja-usta ammattiosaamisen näyttöön/ näyttöi-hin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

2.6 Näytön suunnittelussa ja toteutuksessa on hyödynnetty tutkintokohtaista kansallista näyttöaineistoa.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

2.7 Näyttöympäristö vastaa opintokokonai-suuden tavoitteita.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

2.8 Näyttöympäristössä on mahdollista arvioi-da laaja-alaista ammatillista osaamista.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

2.9 Näyttöympäristö vastaa työelämän toimin-taympäristöä.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

2.10 Opiskelija sai tukea ja ohjausta näytön suorittamiseen.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

135

Perustelut / muistiin-panot / havainnot

III AMMATTIOSAAMISEN NÄYTÖN ARVIOINTI: näyttöympäristö ja arvioitava osaaminen (Havainnoitava näytön arviointitilanne)

Tukikysymyksiä haastattelua varten: Miten käytännössä toteutetaan ko. asioita? Miten on koettu, mikä sujuu, mikä hankalaa? Kehittämisajatuksia?

3.1 Tässä näytössä arvioinnin kohteena on opintokokonaisuuden keskeinen sisältö.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

3.2 Tämä näyttö vastaa työelämässä vaaditta-vaa osaamista.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

3.3 Tässä näytössä arvioinnin kohteet ja kritee-rit ovat kansallisen näyttöaineiston mukai-set.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

3.4 Tässä näytössä arvioidaan työtehtävän hal-lintaa.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

3.5 Tässä näytössä arvioidaan työprosessin hallintaa.

1 Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

3.6 Tässä näytössä arvioidaan työn perustana olevan tiedon hallintaa

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

3.7 Tässä näytössä arvioidaan työturvallisuu-den hallintaa.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

3.8 Tässä näytössä arvioidaan ydinosaamista (oppimistaidot, ongelmanratkaisutaidot, vuorovaikutus- ja viestintätaidot, yhteistyö-taidot, eettiset ja esteettiset taidot).

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

3.9 Tässä näytössä arvioidaan yhteisiä paino-tuksia (kansainvälisyys, kestävä kehitys, teknologian ja tietotekniikan hyödyntämi-nen, yrittäjyys, laadukas ja asiakaslähtöinen toiminta, palvelu- ja kuluttajaosaaminen, työsuojelusta ja terveydestä huolehtimi-nen).

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

IV NÄYTÖN ARVIOINTI: arviointikriteerit ja dokumentointi (Havainnoitava näytön arviointitilanne)

Tukikysymyksiä haastattelua varten: Miten käytännössä toteutetaan ko. asioita? Miten on koettu, mikä sujuu, mikä hankalaa? Kehittämisajatuksia?

4.1 Näytön arviointikeskusteluun osallistuivat opiskelija, opettaja ja työelämän edustaja.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

136

Perustelut / muistiin-panot / havainnot

4.2 Arviointikriteerit olivat käytössä opettajalla, työelämän edustajalla ja opiskelijalla.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.3 Ammattiosaamisen näyttö arvioitiin arvi-oinnin kohteittain.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.4 Arviointi toteutettiin arviointikriteereiden mukaisesti.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.5 Opiskelija teki itsearvioinnin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.6 Opiskelija perusteli antamansa arvioinnin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.7 Työelämän edustaja perusteli antamansa arvioinnin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.8 Opettaja perusteli antamansa arvioinnin. 1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.9 Näytön arviointi perustui opiskelijan it-searviointiin ja arviointikeskusteluun.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.10 Työelämän edustaja ja opettaja päättivät yhdessä arvosanasta.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.11 Opettaja oli ammattialan asiantuntija ja hänellä oli ammattitaito näytön arviointiin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.12 Työelämän edustajalla oli ammattialan osaaminen ja riittävä ammattitaito näytön arviointiin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.13 Arviointikeskustelu dokumentoitiin/ kir-jattiin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.14 Näyttöarvosana dokumentoitiin arviointi-kohteittain.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

4.15 Arviointikohteiden arvosanojen perustella muodostettiin opintokokonaisuuden näy-tön arvosana, joka dokumentoitiin.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

137

Perustelut / muistiin-panot / havainnot

V NÄYTÖN VAIKUTTAVUUS (Kokemukset havainnoitavasta näytön ar-viointitilanteesta)

Tukikysymyksiä haas-tattelua varten: Miten käytännössä toteutetaan ko. asioita? Miten on koettu, mikä sujuu, mikä hankalaa? Kehittämisajatuksia?

5.1 Ammattiosaamisen näyttö motivoi opiske-lijaa oppimaan uusia asioita.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

5.2 Ammattiosaamisen näytön avulla sai tietoa opiskelijan vahvuuksista ja kehittämistar-peista.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

5.3 Näyttö edisti opiskelijan työelämäyhteyksiä. 1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

5.4 Näyttö edisti oppilaitoksen ja työelämän välistä yhteistyötä.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

5.5 Näyttö oli hyödyllinen opettajan työn kan-nalta.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

5.6 Näyttö oli hyödyllinen työelämän edustajan työn kannalta.

1. Toteutuu hyvin 2. Toteutuu kohtalaisesti 3. Ei toteudu

MUISTIINPANOJA

138

LIITE 12 Näytön arvosanan dokumentointilomake

OPETUSHALLITUSUTBILDNINGSSTYRELSEN

KANSALLINEN NÄYTTÖPERUSTEINEN

OPPIMISTULOSTEN ARVIOINTI 2004-2007

OPINTOKOKONAISUUDEN NÄYTTÖARVOSANAN

DOKUMENTOINTILOMAKE

1. Opintokokonaisuus

4. Opiskelija

7. Tutkinto/Koulutusohjelma

5. Sukupuoli

9. Arvioinnin kohteet Osanäytön 1 Osanäytön 2 Osanäytön 3 Osanäytön 4 Opintokokonai-

arviointi arvionti arviointi arviointi suuden koko

(T1-K5) (T1-K5) (T1-K5) (T1-K5) näyttö/kokonais-

arviointi

1. Työprosessin hallinta

10. OPINTOKOKONAISUUDEN NÄYTTÖARVOSANA (T1-K5)

8. Näytön kuvaus

työpaikka työssä-

Paikka ja aika ______________________ ____/ ___ ______ Tiedot antoi ______________________________

14. Näytön arvosanasta

päätti

13. Näyttöpaikka

(nimi)

työpaikka työssä-työpaikka työssä-työpaikka työssä- työpaikka työssä-

11. Näytön suoritus-

ajankohta

2. Työtehtävien hallinta

3. Työn perustana olevan

tiedon hallinta

4. Työturvallisuuden

hallinta

5. Ydinosaaminen

6. Yhteiset painotukset

elämän edustaja

2. Koulutuksen

järjestäjä

15. Arviointi-

keskusteluun

osallistuivat

oppimisjaksolla

muu työpaikka

oppilaitos

oppimisjaksolla

muu työpaikka

oppilaitos

oppimisjaksolla

muu työpaikka

oppilaitos

oppimisjaksolla

muu työpaikka

oppilaitos

oppimisjaksolla

muu työpaikka

oppilaitos

opettaja

työelämän edustaja

opettaja ja työ-

3. Oppilaitos

1. nainen

2. mies6. Ikä

opiskelija

opettaja

työelämän edustaja

12. Näytön suoritus-

paikka

(huom. mustaa oikea

vaihtoehto)

139

LIITE 13 Palautelomake oppilaitoskohtaisesta pikapalauteraportista KANSALLINEN OPPIMISTULOSTEN ARVIOINTIKOKEILU PALAUTE OPPILAITOSKOHTAISESTA PIKAPALAUTERAPORTISTA Arvoisa rehtori

Oppilaitoksenne on mukana näyttöperusteisen kansallisen oppimistulosten arviointijärjes-telmän kehittämistyössä. Tähän liittyen saitte syyskuun (2006) lopussa oppilaitos-kohtaisen pikapalauteraportin oppimistuloksista ja kyselyn tuloksista. Pyydämme Teitä nyt antamaan vuorostanne palautetta meille saamastanne pikapalautteis-ta oheisen arviointilomakkeiston avulla. Pyydämme Teitä vastaamaan henkilökohtaisesti lomakkeeseen. Palaute käsitellään ehdottoman luottamuksellisesti ja sitä hyödynnetään yleisellä tasolla näyttöperusteisen arviointijärjestelmän kehittämistyössä niin, ettei yksittäi-sen henkilön vastaus ole tunnistettavissa. Palautettanne hyödynnetään erityisesti informaatio- ja palautejärjestelmän kehit-tämisessä, joka on arviointijärjestelmän kehittämistyön keskeisin painopistealue tänä ja ensi vuonna. Tavoitteena on luoda järjestelmä, joka tukee oppilaitoksen itse-arviointi- ja muuta kehittämistyötä. Pyydämme ystävällisesti vastaamaan ohessa olevaan lomakkeeseen ja palauttamaan sen sähköpostitse 8.11.2006 mennessä osoitteeseen paula.kilpelainen@oph.fi Kiitos hyvästä yhteistyöstä! Paula Kilpeläinen Erikoissuunnittelija Puhelin (09) 7747 7743,

140

PALAUTETTA OPPIMISTULOSTEN JA KYSELYN TULOSTEN OPPILAITOS- KOHTAISESTA PIKAPALAUTERAPORTISTA Arvioikaa saamaanne pikapalauteraportin sisältöä, käyttökelpoisuutta ja ulkoasua kirjaamalla niiden kes-keiset vahvuudet, ongelmakohdat ja kehittämisehdotukset. I PIKAPALAUTTEEN SISÄLTÖ (esimerkiksi arviointitiedon hyödyllisyys, osuvuus, luotettavuus, mielenkiintoisuus, laadukkuus, relevanttisuus)

VAHVUUDET

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSET

II PIKAPALAUTTEEN KÄYTTÖKELPOISUUS (esimerkiksi tietojen hyödyntäminen opetuksen kehittämisessä ja muussa kehittämistyössä)

VAHVUUDET

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSET

141

III PIKAPALAUTTEEN ULKOASU (esimerkiksi luettavuus, selkeys, ymmärrettävyys, tulosten raportointitapa, taulukot, teksti)

VAHVUUDET

ONGELMAKOHDAT

KEHITTÄMISEHDOTUKSET

Millaisista asioista tietoa tulisi kerätä, jotta sitä voisi hyödyntää oppilaitoksen itsearviointi- ja muussa kehittämistyössä?

Muuta palautetta

142

LIITE 14 Arviointijärjestelmän ja arviointikäytäntöjen kehittämishankkeiden tuotokset

Tuote/sisältö Kohderyhmä Projekti

Opas erityistä tukea tarvitsevan opiskeli-jan ohjaamiseksi ammattiosaamisen näy-töissä. Oppaaseen on koottu keskeiset asiat ammattiosaamisen näyttöihin valmistautuessa ja valmentautuessa, ohjauksesta ammat-tiosaamisen näyttöjen aikana sekä niiden arvi-oinnista

Koulutuksen järjestä-jät, opettajat, työpaik-kaohjaajat

Valmis näyttöön! Lisätietoja tuotteesta: Miika Keijonen (Miika.keijonen@ keskus-puisto.net)

Näyttöjen perehdytysopas. Opas ammat-tiosaamisen näyttöjen suunnitteluun, toteut-tamiseen ja arviointiin pintakäsittely- veneen-rakennus- ja verhoilualoille. Oppaassa on yleistä tietoa kaikille osapuolille ja erikseen suunnatut osiot opettajille, työelämälle ja opiskelijoille. Oppaan painotuksena on antaa tietoa näyttöjen käytäntöön liittyvissä asioissa, sisältäen myös lakisääteiset asiat.

Opettajat, opiskelijat, työpaikkaohjaajat

Arvo Lisätietoja tuotteesta: Kirsti Salo (kirsti.salo@taos.fi)

Kokemuksiin perustuvia case-tyyppisiä tuotoksia näyttökäytännöistä. "Näyttöpor-taalin" www-sivuille on kerätty kokemuksia näyttökäytännöistä. Osassa tutkintokohtaisia kuvauksia on kerrottu osaamisen arvioinnista erilaisissa näyttöympäristöissä. Opintokoko-naisuuksien arviointia on avattu hotelli- ja ravintola-alan perustutkinnossa. Erilaisen opiskelijan ohjauksesta ja tuesta ammatti-osaamisen näytössä on suunnitelma ja puhdis-tuspalvelualan perustutkinnon tapauskuvaus. Työpaikkaohjaajien koulutuksen toteutuksesta on kuvattu palautteineen kaksi erilaista mallia.

Opettajat, työpaikka-ohjaajat

Näyttöportaali Lisätietoja tuotteesta: Tuija Koukkari (tuija.koukkari@kpedu.fi)

Ammattiosaamisen näyttöjen opaskansio. Ammattiosaamisen näyttöihin liittyvä materi-aali, joka on tarkoitettu ensisijaisesti työelämän edustajien perehdyttämiseksi. Mukana on esi-merkkejä kansion sisällöstä ja liitteinä näyttöi-hin liittyvät lomakkeet sekä näyttöoppaan tiivistelmä. Sisältöä mm. opiskelijan henkilö-kohtaiset näyttösuunnitelmat ja kriteerit.

Opettajat, työpaikka-ohjaajat

NÄKES Lisätietoja tuotteesta: Riitta Kaunisto ja Satu Salo, (riitta.kaunisto@rauma.fi) (satu.salo@rauma.fi)

Ammattiosaamisen näyttöjen kuvauksia itsearvioinnin ja perehdyttämisen väli-neiksi. Näyttöjen kuvauksia ppt-pohjilla. Ku-vien avulla näytetään oikeista näyttötilanteista esimerkkejä, osoitetaan arviointikohteet. Valmiilla ppt-esimerkeillä perehdytetään am-matiosaamisen näyttöihin niin työelämäosa-puolet kuin opiskelijat. Opettajille esitysten tekeminen toimii itsearvioinnin työkaluna.

Opettajien koulutuk-sessa, opiskelijoiden perehdyttämisessä, vanhemmille, työpai-kat (niiden koulutus), opettajat

Blanco 1-2-3, Konsensus Lisätietoja tuotteesta: Kari Suutarinen (kari.suutarinen@ael.fi) ja Petri Kallionpää (petri.kallionpaa@edu.hel.fi)

143

Oppimistulostietojen analyysimalli. Oppimistulosten analyysimalli tulosten tulkin-taan tekniikan ja liikenteen alalla. Raportti auttaa tulkitsemaan, mitä oppimistulokset kertovat, mitä oppimistulostiedoista voidaan havaita ja miten saatua tietoa voidaan hyödyn-tää (oppilaitoksen) omassa toiminnassa.

Koulutuksen järjestä-jät, opettajat

Konsensus Lisätietoja tuotteesta: Petri Kallionpää (petri.kallionpaa@edu.hel.fi)

Esite ammattiosaamisen näytöistä työ-elämälle. Tiivis esite ammattiosaamisen näy-töistä työelämälle. Esitteessä on lyhyesti ker-rottu, miksi ammattiosaamisen näyttöjä teh-dään, miten niitä arvioidaan ja mitä hyötyä niistä on työelämäosapuolelle.

Työpaikat, yritykset Blanco1-2-3 Lisätietoja tuotteesta: Kari Suutarinen (kari.suutarinen@ael.fi)

Opiskelijoille tarkoitettu peli ammatti-osaamisen näytöistä. Huumorilla kevenne-tyn pelin avulla esitellään opiskelijoille, mitä näytöt ovat ja miten niitä arvioidaan. Mukana on mm. mallikysymyksiä arviointikeskuste-luun. Peli jakautuu kahteen osaan "opiskele ensin" ja "pelaan". Peliä voi pelata ilman opis-kelua. Väärin vastatessa peli ampuu tai nauraa, jonka jälkeen annetaan uusi mahdollisuus. Oikein vastaamalla saa kehuja ja pääsee pelissä eteenpäin.

Opiskelijat, opettajille perehdytykseen

Blanco1-2-3 Lisätietoja tuotteesta: Kari Suutarinen (kari.suutarinen@ael.fi)

Työväline työssäoppimisen ja ammat-tiosaamisen näyttöjen toteutuksen arvioin-tiin. Työpaikkojen työväline työssäoppimisen ja ammattiosaamisen näyttöjen ohjaamiseen ja arviointiin (sosiaali- ja terveysalan työyksiköil-le). Sopii myös työpaikkaohjaajakoulutuksen etätehtäväksi.

Työpaikat, koulutuk-sen järjestäjät

Sote Järkevä

Lisätietoja tuotteesta: Erja Kotimäki (er-ja.kotimaki@osao.fi)

Työväline uuden arviointiprosessin sel-kiyttämiseen. Työväline uuden arviointiajat-telun mukaisen arviointiprosessin selkiyttämi-seen. Kuvauksen avulla voi perehtyä oppimi-sen aikaisen ohjaavan arvioinnin ja arvosanan muodostamiseen johtavan arvioinnin eroihin. Kuvauksessa tarkastellaan arviointiprosessia sekä opiskelijan että arvioijien näkökulmasta. Arviointikäytäntöjen mallissa tarkastellaan opintokokonaisuuden toteuttamiseen ja arvi-ointiin liittyviä kriittisiä tekijöitä ja prosessin toimijoita sen eri vaiheissa. Lisäksi kuvaukses-sa tarkastellaan arvioinnissa käytettäviä mene-telmiä ja niitä dokumentteja, joihin prosessiin liittyvät asiat kirjataan.

Opettajat, työpaikka-ohjaajat, opiskelijat, koulutuksen järjestä-jät

Amy Lisätietoja tuotteesta: Sari Häkkinen (sari.hakkinen@ kotka.fi)

"Näytöt opintokokonaisuuden arvioinnis-sa". Yksi tutkinto: Näyttöjen kuvaukset, arvi-ointikriteerit.

Opettajat, työpaikka-ohjaajat, opiskelijat, koulutuksen järjestä-jät

Riihy Lisätietoja tuotteesta: Satu Penttala (stupenttala@ rkol.fi)

144

LIITE 15 KOPPI-hankkeen julkaisut

Paula Mäkihalvari & Mari Räkköläinen. Oppimistulosten arviointijärjestelmän kehit-täminen. Arviointikokeilu I 2002–2003. Raportti arviointikokeilun tuloksista. Opetus-hallitus 2003.

Mari Räkköläinen ja Kathryn Ecclestone. The implications of using skills tests as basis for a national evaluation system in Finland. Outcomes from a pilot evaluation in 2002–2003 in Finland. Arviointi 1/2005.

Mari Räkköläinen. Kansallisen näyttöperusteisen oppimistulosten arviointijärjestel-män kehittäminen ammatillisiin perustutkintoihin. Arviointikokeilusta kohti käytän-töä. Arviointi 3/2005. Opetushallitus

Ammattiosaamisen näytöillä kansallista arviointitietoa. Kansallinen näyttöperusteinen oppimistulosten arviointijärjestelmän kehittämishanke Koppi 2002–2007. Moniste 2/2006. Opetushallitus.

National evaluation data based on vocational skills demonstrations. Koppi-project 2002–2007. Project for developing a national system of evaluating educational out-comes based on skills demonstrations. Report 14/2006.

Mari Räkköläinen, Marianne Mäki & Paula Kilpeläinen. Selvitys ammattiosaamisen näyttöjen suunnittelusta ja toteuttamisesta vastaavasta toimielimestä. Raportti kyselyn tuloksista. Moniste 20/2006. Opetushallitus.

Mari Räkköläinen, Petri Kallionpää, Paula Kilpeläinen, Pauli Koivusaari, Erja Koti-mäki & Erja Salo. Projektipäällikön kuusipaikkamalli – Ajatuksia ja kokemuksia pro-jektin ohjaamisesta. Moniste 22/2006. Opetushallitus.

Mari Räkköläinen & Paula Kilpeläinen. Oppimistulosten arviointijärjestelmän kehit-täminen. Arviointikokeilu II 2004–2007. Välitulosraportti oppimistuloksista ja kyselyn tuloksista 11.9.2006. Opetushallitus

Mari Räkköläinen & Paula Kilpeläinen. Oppimistulosten arviointijärjestelmän kehit-täminen. Arviointikokeilu II. Raportti oppimistuloksista ja kyselyn tuloksista. 2004–2007. Moniste 4/2008. Opetushallitus.

Timo Spangar. KOPPI – maaston raivaamisesta vertaisarviointiin. Ammatillisen osaamisen kansallisen arviointijärjestelmän rakentaminen ammattiosaamisen näyttöi-hin perustuen. Arviointi 1/2008. Opetushallitus.

Timo Spangar. Koppi – from clearing the terrain to peer evaluation. 2008. Opetushal-litus.

Kathryn Ecclestone. Clarifying purposes, roles and responsibilities in an evaluation system for learning results in Finnish vocational qualifications: external evaluators’ report. 2008.

Mari Räkköläinen & Kirsti Stenvall (toim.) Arvioi, opi ja kehity. Näyttötoiminnan laa-dunvarmennusta vertaisarvioinnilla. 2008.

145

LÄHTEET

Ammattiosaamisen näytöt käyttöön. Opetushallitus. 2006. Vantaa: Dark Oy. Arvioi, opi ja kehity. Opetushallitus 2008. Näyttötoiminnan laadunvarmennusta vertaisar-

vioinnilla. Mari Räkköläinen & Kirsti Stenvall (toim.) Ecclestone, K. Clarifying purposes, roles and responsibilities in an evaluation system for

learning results in Finnish vocational qualifications: external evaluators’ report. 2008. Kansallinen oppimistulosten arviointijärjestelmä. Opetushallitus. Arviointi 4/1998. Hel-

sinki: Layout Studio Oy. Koppi-hankkeen projektisuunnitelma 1.1.2002–31.12.2007. 10.6.2002, päivitetty 19.3.2004. Koulutuksen tuloksellisuuden arviointimalli. Opetushallitus 9/1995. Helsinki: Yliopisto-

paino Oy. Koulutuksen tuloksellisuuden arviointimalli. Opetushallitus 7/1998. Helsinki: Yliopisto-

paino Oy. Koulutus ja tutkimus 2003–2008. Kehittämissuunnitelma. Mäkihalvari, P. & Räkköläinen, M. 2003. Oppimistulosten arviointijärjestelmän kehittämi-

nen. Arviointikokeilu 2002–2005. LVI-ala, rakennusala ja sosiaali- ja terveysala. Opetusministeriö. Opetusministeriön julkaisuja 2004:6. Helsinki: Yliopistopaino Oy. Opetusministeriön päätös (212/430/98) 23.6.1998. Opetusministeriön työryhmien muistioita (14:1999) 3.6.1999. Oppimistulosten arviointijärjestelmän kehittäminen. Arviointikokeilu II. Raportti oppi-

mistuloksista ja kyselyn tuloksista. 2004–2007. Moniste 4/2008. Opetushallitus. Poikela, E. 1998. Oppiminen, arviointi ja osaaminen. Teoksessa A. Räisänen (toim.) Halli-

taanko ammatti? Pätevyyden määrittelyä ammatin perustaksi. Opetushallitus. Arviointi 2/1998. Helsinki, 35–46.

Poikela, E. 2002. Osaamisen arviointi. Teoksessa R. Honkonen (toim.) Koulutuksen lu-mo. Retoriikka, politiikka ja arviointi. Tampere: Vammalan Kirjapaino Oy, 229–245.

Poikela, E. & Räkköläinen, M. 2006. ’Intelligen accountability’ – kontekstiperustaisen ar-vioinnin lähtökohtia. Ammattikasvatuksen aikakauskirja. 8, 2: 6–18.

Räkköläinen, M. & Ecclestone, K. The implications of using skills tests as basis for a na-tional evaluation system in Finland. Outcomes from a pilot evaluation in 2002–2003 in Finland. Arviointi 1/2005.

Räkköläinen, M. 2005. Kansallisen näyttöperusteisen oppimistulosten arviointijärjestel-män kehittäminen ammatillisiin perustutkintoihin. Arviointikokeilusta kohti käytäntöä. Arviointi 3/2005. Opetushallitus.

Räkköläinen, M. & Kilpeläinen, P. Oppimistulosten arviointijärjestelmän kehittäminen. Arviointikokeilu II. Raportti oppimistuloksista ja kyselyn tuloksista. 2004–2007. Mo-niste 4/2008. Opetushallitus.

Räkköläinen, M. & Kilpeläinen, P. Oppimistulosten arviointijärjestelmän kehittäminen. Arviointikokeilu II 2004–2007. Välitulosraportti oppimistuloksista ja kyselyn tuloksista 11.9.2006. Opetushallitus.

Räkköläinen, M. & Stenvall, K (toim.)Arvioi, opi ja kehity. Näyttötoiminnan laadunvar-mennusta vertaisarvioinnilla. 2008.

Spangar, T. Koppi – maaston raivaamisesta vertaisarviointiin. Opetushallitus. Arviointi 1/2008. Helsinki.