Onderwijscluster: Maritiem en Logistiek College De Ruyter Scalda · Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017 Het clusterspecifieke handboek

0 Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017

Jaarverslag Examinering Verslagjaar: 2016

Onderwijscluster:

Maritiem en Logistiek College De Ruyter

Scalda


Voorwoord

Het Maritiem & Logistiek College De Ruyter biedt kwalitatief onderscheidend, uitdagend

en praktijkgericht MBO-onderwijs aan toekomstige werknemers in het logistieke en

maritieme beroepenveld. Voor ons staat de student en het faciliteren van het individuele

leerproces centraal. Dat leerproces vindt plaats door middel van een afgewogen mix van

theorie- en praktijklessen. Het onderwijs wordt uitgevoerd door enthousiaste, deskundige

en toegankelijke vakdocenten en wordt continu getoetst in interactie met het

beroepenveld, alumni, studenten en collega’s van andere SCALDA clusters. De student

mag een hoge kwaliteit verwachten van ons onderwijs, onze organisatie en onze

informatievoorziening en mag ons hierop aanspreken. Onze nauwe contacten en

samenwerking met het beroepenveld waarborgen het continu up-to-date houden van

onze opleidingen. Hiertoe oriënteren wij ons op de nationale en internationale

ontwikkelingen. Wij gaan voor duurzaam maritiem en logistiek onderwijs waarin zowel

studenten als medewerkers continu worden gemotiveerd het beste uit zichzelf te halen.

Als Examencommissie willen we aan deze missie bijdragen door permanent de kwaliteit

van de examinering en diplomering op een onafhankelijke en deskundige manier te

monitoren en het management concreet te adviseren.

Om te waarborgen dat onze Examencommissie deskundig en onafhankelijk kon blijven

functioneren, was het van belang nadere werkafspraken met elkaar te maken om

zodoende de eventuele schijn van belangenverstrengeling te voorkomen. Dit met name

in een organisatie waar de directeur zowel financiële verantwoordelijkheid draagt als

tegelijkertijd ook voorzitter is van de Examencommissie. Voorsorterend op de

inwerkintreding van het wetsvoorstel en in afwachting van het definitieve model voor de

examenorganisatie Scalda, hebben we als examencommissie dan ook besloten, om vanaf

schooljaar 2016-2017, het voorzitterschap te mandateren aan ons externe

examencommissielid de heer Arthur Schot. Met deze mandatering zijn we ervan

overtuigd dat de vergaderingen in een veilige en open sfeer zullen blijven verlopen,

waardoor de kwaliteit van de examinering en diplomering gewaarborgd zal blijven. Als

directeur en voorzitter van de examencommissie ben ik mij ervan bewust dat ik te allen

tijde integraal verantwoordelijk blijf voor het onderwijs, de examinering en diplomering

door ons college.

In dit jaarverslag Examinering leggen we onze jaarlijkse publieke interne en externe

verantwoording af over de activiteiten van de Examencommissie over het kalenderjaar

2016. Naast het opgenomen overzicht van het aantal uitgegeven diploma’s in deze

periode geven wij u door middel van dit document ook een inzicht in de acties welke

ondernomen zijn teneinde de kwaliteit van de examinering te waarborgen en waar nodig

te verbeteren.

We blikken ook terug op een jaar waarin veel energie is gestoken om met de vernieuwde

kwalificatiestructuur en de daarmee overeenstemmende nieuwe examenprogramma’s en

examenproducten aan te slag te gaan.

We zien het als een uitdaging om de komende jaren verder te werken aan het strakker

organiseren van de onderliggende processen teneinde de kwaliteit van onze

examenorganisatie nog consistenter te kunnen waarborgen.

Dr. Henrik Stevens

Directeur

Vlissingen, 1 maart 2017


Inhoudsopgave jaarverslag

Terugblik organisatieaspecten examencommissie ................................................ 3

1.1. Gegevens examencommissie ................................................................... 3

1.2. Samenstelling grote examencommissie en sub-examencommissie 2016 ........ 3

1.3. Hoofdtaak grote examencommissie en sub-examencommissie ..................... 5

1.3.1 Grote examencommissie ......................................................................... 5

1.3.2 Sub-examencommissie............................................................................ 5

1.4. Organisatiestructuur en gedelegeerde taken .............................................. 5

1.5. Beschikbare middelen examencommissie verslagjaar 2016 .......................... 8

1.6. Vergadermomenten verslagjaar 2016 ....................................................... 8

Terugblik kernactiviteiten examinering verslagjaar 2016 ...................................... 9

Terugblik borging van de kwaliteit van de examinering .......................................11

3.1 Gestelde kwaliteitsdoelen examinering verslagjaar 2016 ...............................11

3.2 Uitgevoerde activiteiten om de kwaliteit van de examinering en de diplomering te monitoren en te bewaken ...............................................................................12

3.3 Conclusies ten aanzien van de kwaliteitsdoelen ............................................14

3.4 Conclusies ten aanzien van de kwaliteit van de examinering ..........................17

4 Vooruit kijken: verbeteringen ..........................................................................19

5 Overzicht resultaten monitoren, bewaken en evalueren van de kwaliteit van de examinering .........................................................................................................20


Terugblik organisatieaspecten examencommissie

1.1. Gegevens examencommissie

Onderwijscluster/opleiding(en):

Maritiem (Logistiek en

Scheepvaart)

Periode waarop dit verslag betrekking heeft:

1 jan. 2016 t/m 31 dec. 2016

Status van het verslag (concept/definitief)

definitief

Jaarverslag vastgesteld door Grote Examencommissie

Jaarverslag vastgesteld per datum 24-02-2017

1.2. Samenstelling grote examencommissie en sub-examencommissie 2016

Grote Examencommissie

Hoofdvraag Hebben wij met onze examenorganisatie en ons

examenbeleid voldoende grip op de kwaliteit van onze

examinering en diplomering en is daarbij steeds in

voldoende mate sprake van verantwoording vragen en

verantwoording afleggen?

Eindverantwoording Aan het CvB (via directeur); aan de omgeving (Openbaar

Kwaliteitsjaarverslag Examinering)

Minimale aanwezigheid De examensecretaris en min. 4 van de stemgerechtigden

waaronder tenminste voorzitter of gemandateerd voorzitter

Vergaderfrequentie Min. 7 x per jaar

Nr. Lid Taak Stem Termijn

1

Voorzitter

Henrik Stevens (cluster

directeur)

Verantwoorden aan stakeholders,

verantwoorden kwaliteit

examinering aan CvB,

opstellen en invoeren

verbeteracties

Ja1 1 jaar

5 (*)

Externe voorzitter

(gemandateerd) Arthur

Schot (Vopak Agencies)

Vergadering leiden, agenda

opstellen en stemrecht in zaken

waar de directeur geen stemrecht

heeft.

Ja 1 jaar

2

Examensecretaris

Nadine van Strydonck

(tevens medewerker

examenbureau)

Agenda samenstellen in overleg

met voorzitter, vergadering

voorbereiden, notuleren,

examenbureau

vertegenwoordigen.

Nee Geen

3 Arno Siereveld (teamleider

Scheepvaart)

Evenwichtig en los van de eigen

context vanuit management-Ja 1 jaar

1 De directeur heeft in de Examencommissie alleen stemrecht bij zaken die betrekking hebben op o.a.:

Jaarplan Examencommissie, processen die de kwaliteit van de examinering borgen, de evaluatie van het functioneren van de excie en de hieruit voortvloeiende verbeteracties, de inhoud van het jaarverslag als verantwoording van het CvB. De directeur heeft geen stemrecht bij o.a.: cijfervaststelling, diploma- en/of certificaat vaststelling, het verlenen van vrijstellingen van instellingsexamens of centraal examen, vaststelling van exameninstrumenten.


perspectief bijdragen aan de

bespreking en besluitvorming van

examenzaken

4

Extern lid namens

bedrijfsleven Scheepvaart

Peter de Feijter

(Westerschelde Ferry)

Beroepenveld vertegenwoordigen,

adviseren bij het opstellen,

vaststellen en evalueren van de

kaders, externe borging op een

correcte uitvoering, beoordeling

en evaluatie van de

examinerings-processen

Ja 1 jaar

5

Extern lid namens

bedrijfsleven Logistiek

Arthur Schot (Vopak

Agencies) en tevens

technisch voorzitter

Ja 1 jaar

6

Lid namens Logistiek team

Willem van Genderen

(docent/ lid vaststellingscie)

Evenwichtig en los van de eigen

context vanuit teamperspectief

bijdragen aan de bespreking en

besluitvorming van examenzaken

Ja 1 jaar 7

Lid namens

Binnenvaartteam

Boudewijn de Feijter

(docent)

8

Lid namens Scheepvaart

team

Olav Mes (docent/lid

Vaststellingscie)

9

Afgevaardigde namens

vaststellingscommissie

Bouke Glas (voorzitter

Vaststellingscie)

Verslag uitbrengen van voortgang

en/of resultaten; inbrengen van

problemen; ontvangen van

nieuwe opdrachten.

Nee 1 jaar

(*) Bij aanvang schooljaar 2016-2017 is Dhr. Arthur Schot (extern lid namens het

logistieke beroepenveld) benoemd tot gemandateerd voorzitter van de grote

examencommissie

Sub-Examencommissie

Hoofdvraag Hebben wij voldoende informatie om in klein verband

zelfstandig te kunnen besluiten over frequent voorkomende

reguliere examenzaken of zaken die om directe actie

vragen?

Verantwoording Aan de grote examencommissie (d.m.v. notulen/DR-15)

Taken De subcommissie is een onderdeel van de examencommissie

dat bestaat uit min. 3 leden van de grote examencommissie

en 1 of meer taken van de grote examencommissie uitvoert.

Zij mag en kan beslissingen nemen namens de gehele

examencommissie

Vergaderfrequentie Komt bijeen zodra daar noodzaak toe is om zaken met een

spoedeisend karakter te behandelen o.a. tussentijdse en

spoed-diploma-aanvragen, resultaatvaststelling,

herkansingsaanvragen, vrijstellingsaanvragen en

mededelingen waarop naar het oordeel van de secretaris

direct actie ondernomen moet worden.

Samenstelling Voorzitter: Henrik Stevens of Arno Siereveld

Secretaris: Nadine van Strydonck

Lid: roulerend


1.3. Hoofdtaak grote examencommissie en sub-examencommissie

1.3.1 Grote examencommissie

De grote examencommissie is eindverantwoordelijk voor de kwaliteit van het volledige

examenproces. Ze draagt daarbij zorg voor de aansturing van de drie ondersteunende

examendiensten (examenbureau, vaststellingscommissie en sub-examencommissie).

Deze ondersteunende diensten rapporteren bij elk overleg met de (grote)

examencommissie over hun werkwijze en genomen besluiten. De examencommissie

evalueert jaarlijks hun functioneren.

De examencommissie controleert en observeert zelf actief de kwaliteit van de

examinering door middel van het uitvoeren van steekproeven op verschillende

onderdelen van de examenprocessen en het bewaken van de deskundigheid van alle

examineringsbetrokkenen.

De examencommissie ziet tevens toe op het al dan niet toereikend zijn van de

ondersteunende middelen en adviseert hierover desgewenst het management van het

cluster.

De examencommissie gaat over het examenbeleid en de bewaking daarvan binnen het

cluster Maritiem. Het examenbureau, de vaststellingscommissie en de sub-

examencommissie voeren dat beleid uit en dragen eraan bij, maar wijzigen hun

werkwijzen uitsluitend als de examencommissie hen daartoe opdracht geeft. Ook interne

opdrachten of richtlijnen vanuit de Scalda-organisatie zelf moeten altijd via de grote

examencommissie worden ingebracht, om te voorkomen dat er onduidelijkheid ontstaat

over de aansturing.

Er wordt gestreefd naar continuïteit van examencommissieleden en overige

examenfunctionarissen teneinde het kennis- en ervaringsniveau zo hoog mogelijk te

houden en de betrokkenheid blijvend te waarborgen.

Als voorschot op de inwerkingtreding van de wetswijziging inzake de aanscherping van

de eisen met betrekking tot de examencommissies in het MBO, heeft de

examencommissie op 30.09.2017 besloten het voorzitterschap te mandateren aan Dhr.

Arthur Schot (tevens extern examencommissielid vanuit het logistieke werkveld). Zijn

voorzitterschap loopt tot eind schooljaar 2017. Afhankelijk van het herontwerp

Examenorganisatie Scalda (verwacht maart 2017) zal de huidige taakverdeling binnen de

examencommissie mogelijk opnieuw herzien moeten worden.

1.3.2 Sub-examencommissie

De sub-examencommissie opereert zelfstandig binnen kaders die de examencommissie

stelt. De grote examencommissie houdt zich meestal niet bezig met de taken die de

sub-examencommissie uitvoert, maar ziet wel toe op de borging van de kwaliteit en de

integriteit van de sub-examencommissie. De sub-examencommissie legt verantwoording

af in de grote examencommissie over de genomen besluiten.

De sub-examencommissie komt bijeen zodra daar noodzaak toe is om zaken met een

spoedeisend karakter te behandelen zoals bijvoorbeeld (tussentijdse) diplomeringen,

resultaatvaststelling, herkansingsaanvragen, vrijstellingsaanvragen en mededelingen

waarop naar het oordeel van de secretaris, direct actie ondernomen moet worden.

1.4. Organisatiestructuur en gedelegeerde taken

In de beleidsnotitie “examenorganisatie Scalda” is beschreven wat de visie van de

examinering van Scalda is en hoe de verdeling van de verantwoordelijkheden en

bevoegdheden geregeld zijn en welke besluitvormingsprocessen er zijn. Het Handboek

Examinering Scalda (versie 1.2 d.d. 19 december 2014) is daar een afgeleide van.


Het clusterspecifieke handboek examinering (versie 1.2.1. d.d. 1 mei 2015) is daar weer

een afgeleide van. Het bevat uitsluitend die examineringsprocessen, waarbij de

processen uit het handboek Examinering van Scalda op clusterniveau verder zijn verfijnd.

Deze clusterspecifieke uitwerking is aanvullend op de gemaakte afspraken binnen Scalda,

omdat sommige situaties vragen om speciaal op het cluster toegespitste processen en/of

handelingen. Het bevat ook een overzicht van bijlagen en formats, welke volgens het

Handboek Examinering van Scalda niet verplicht zijn gesteld, maar waar eenieder die

binnen het cluster Maritiem betrokken is bij de examinering, zich vanuit zijn/haar

specifieke rol en functie aan heeft geconformeerd, opdat uniformiteit en kwaliteitsborging

in alle processen gewaarborgd blijft. De afspraken uit het clusterspecifieke handboek

(versie 1.2.1) waren ook nog het hele kalenderjaar 2016 geldend. In het voorjaar 2017

staat de revisie van het handboek gepland. Onlangs is in het Netwerk examinering

(ondersteund door het directieteam van Scalda), besloten om hiervoor met een

schooleigen omgeving van de Procesarchitectuur Examinering (PE) van het Servicepunt

Examinering MBO te gaan werken en dit tevens als digitaal handboek te gaan gebruiken.

Verwacht wordt dat dit vóór eind schooljaar 2016-2017 gereed zal zijn. Formats en

procedures zullen daarbij waar nodig worden herzien en/of toegevoegd.

Het opleidingsteam is de spil in de voorbereiding en de operationele uitvoering van het

onderwijs en de examinering. Het hart van de examenorganisatie is de

examencommissie. Zij heeft tot taak de diplomakwaliteit te bewaken en zorg te dragen

voor de onderbouwing van die diplomering. Onze studenten en hun omgeving moeten te

allen tijde kunnen vertrouwen op de deugdelijkheid van de door ons afgegeven

diploma’s.

De examencommissie wordt in haar taken ondersteund door het examenbureau.

De vaststelling van de toetsen examenresultaten vindt in principe plaats in de

opleidingsteams.

Het examenbureau heeft, indien binnen het proces van het invoeren van de resultaten,

onregelmatigheden worden geconstateerd een eerste signalerende functie en legt, indien

noodzakelijk, het verzoek tot besluitvorming, (via de secretaris) voor aan de (sub)

examencommissie.

In de dagelijkse praktijk is de Secretaris van de Examencommissie (tevens medewerker

examenbureau) het eerste aanspreekpunt van de examenorganisatie. Zij is lid van beide

examencommissies en doet voorstellen voor de vergaderagenda van deze overleggen,

maakt de notulen en draagt zorg voor de actie- en besluitenlijsten. Zij vertegenwoordigt

ook het cluster in het intern netwerk Scalda. Dit netwerk heeft de taak om tot

eenduidige werkwijzen en beleidsadviezen te komen in opdracht van de procesmanager

Examinering Scalda.

De rol van cijferverantwoordelijke (cijferinvoer) en diploma-aanvrager is vanaf november

2015 gescheiden teneinde de onafhankelijkheid bij het proces van diplomeren te

versterken.

Er is één (grote) examencommissie en één sub-examencommissie.

Er zijn meerdere opleidingsteams, namelijk Scheepvaart, Binnenvaart en Logistiek. Maar

ook organisatieverbanden zoals de samenwerkende docenten Burgerschap of Talen en

Rekenen worden als ‘team’ beschouwd binnen de organisatie.

De vaststellingscommissie beoordeelt de kwaliteit van de op het cluster geconstrueerde

of ingekochte examenproducten aan de hand van de hiervoor in het handboek

opgenomen vaststellingsformats. De vaststellingscommissie legt verantwoording af aan

de examencommissie door middel van een evaluatieverslag in elk examencommissie-

overleg en een apart jaarverslag (per schooljaar).


Hieronder is schematisch de operationele examenorganisatie van het cluster in beeld

gebracht

Examencommissie

Vaststellingscommissie

Assessor/beoordelaar

Examenbureau

Surveillant Toetsconstructeur

Team Team Team Team


1.5. Beschikbare middelen examencommissie verslagjaar 2016

Er zijn tijdens het verslagjaar geen extra middelen - anders dan de reguliere - aan de

examencommissie beschikbaar gesteld.

De externe commissieleden ontvangen per bijgewoond overleg, steekproef en/of

examen, een dag(deel)-vergoeding met aanvullend indien van toepassing

kilometervergoeding.

1.6. Vergadermomenten verslagjaar 2016

De grote examencommissie vergaderde tijdens het verslagjaar op de volgende data:

08-01-2016

04-03-2016

20-05-2016

10-06-2016

15-07-2016 (diploma-vergadering)

30-09-2016

25-11-2016

De sub-examencommissie kwam bij elke tussentijdse diplomering en voor zaken welke

om een dringende actie verlangden, bij elkaar en bracht hierover verslag uit tijdens de

overleggen met de grote examencommissie.

Indien het slechts om het toekennen van het akkoord voor diplomering gaat, wordt een

kopie van de controlelijst (DR-15) t.b.v. de diplomering bewaard en voorgelegd in de

grote examencommissie, waarbij nog een extra steekproef op de betreffende

examendossiers wordt uitgevoerd, teneinde het proces van diplomeren extra te borgen.


Terugblik kernactiviteiten examinering verslagjaar 2016

Thema Aantal Opmerking

Aantal studenten per 01-01-2016 (voltijd, deeltijd, examendeelnemers)

632 632 verbintenissen/606 studenten

(i.v.m. 26 dubbele verbintenissen)

Aantal studenten per 31-12-2016 (voltijd, deeltijd, examendeelnemers)

676 676 verbintenissen/651 studenten

(i.v.m. 25 dubbele verbintenissen)

Aantal actieve opleidingen in het afgelopen schooljaar

33 Totaal van aantal crebo’s en cohorten

(BOL, BBL)

Aantal vastgestelde examenplannen in het afgelopen schooljaar

42 Het betreft de examenplannen t.b.v. de OER-en cohort 2016-2017 (15x) (Daarnaast nog 27 addenda op eerder vastgestelde examenplannen van lopende cohorten).

N.B.: de examenplannen voor de keuzedelen zijn nog in ontwikkeling en derhalve nog niet vastgesteld

Aantal door de vaststellingscommissie vastgestelde beroepsgerichte examens

65 Examens (bestaande uit PvB’s, theoretische toetsen, CGI’s en

praktijktoetsen)

Aantal vastgestelde bekostigde diploma’s

169

Aantal vastgestelde niet bekostigde diploma’s

2

Aantal vastgestelde certificaten(eindtermen) of certificeerbare eenheden.

0

Aantal deelnemers dat via EVC is gediplomeerd.

0

Aantal studenten met toegekende vrijstellingen beroepsgerichte onderdelen

15 O.a. op basis van enkele algemene besluiten van de examencommissie:

akkoord voor overnemen van de

resultaten bij dubbele opleiding SWK-SW5 en/of SMBW-SW6 i.v.m. overeenkomstig KD.

Vrijstelling bij doorstroom van niveau 4 naar niveau 3 voor alle uitstromen van de koopvaardijofficier. Dit geldt ook

voor studenten die doubleren en bepaalde onderdelen al hebben behaald.

Aantal studenten met toegekende vrijstellingen generieke onderdelen

(Voor de examenonderdelen van Nederlands, Engels en rekenen kan vrijstelling worden verleend onder bepaalde voorwaarden.

Vrijstelling is vaak mogelijk als binnen twee jaar na het studiejaar waarin het mbo-examen is

behaald de onderdelen Nederlands, Engels of rekenen nogmaals op hetzelfde niveau geëxamineerd zouden moeten worden. Bijvoorbeeld bij doorstroom of overstap naar een andere mbo-opleiding. De behaalde resultaten worden dan meegenomen naar de huidige opleiding. Op het moment dat de

centrale examinering is ingevoerd gelden

70 studenten hebben naar aanleiding van hun verzoek tot vrijstelling

examinering generieke taal en / of rekenen voor één of meerdere onderdelen vrijstelling gekregen. Algemeen geldt:

Vrijstelling niveau 2 naar niveau 3 op basis gediff. cijfer alleen in geval van

Centraal examen en een totaal voor Ned. van min. 6 (geen pilot, mag alleen meegenomen worden binnen dezelfde opleiding. 1x is d.m.v. het toepassen van de coulance-regeling hiervan afgeweken i.v.m. een klacht van een student i.v.m. res. Pilot 5,8).

Vanaf 01-08-2016 wordt er geen


afwijkende regels)

vrijstelling verleend voor het centrale examen rekenen 2F op basis van pilot

resultaten, omdat vanaf dit moment

centrale examinering verplicht is. Bij 21 studievertragers niveau 4 is de regeling toegepast, dat de resultaten van het pilot examen Rekenen 3F uit 2014-2015 nog vrijstelling geven voor het centrale examen rekenen 3F in 2016-2017.

Voor 4 studenten niveau 3 werd de regeling toegepast dat de resultaten pilot Nederlands mochten blijven staan i.v.m. onvoorziene studievertraging (indien min. een 6) en 9 maal v.w.b. de resultaten Rekenen (pilot uit 2014-2015)

Aantal behandelde klachten en bezwaren 1 Zie onder hoofdstuk 5

(evaluaties examenbureau)

Aantal beroepszaken 0

Aantal meldingen van onregelmatigheden tijdens examen

- Zie onder hoofdstuk 5 (evaluaties examenbureau)


Terugblik borging van de kwaliteit van de examinering

3.1 Gestelde kwaliteitsdoelen examinering verslagjaar 2016

Dit zijn doelen die samenhangen met ambities uit het jaarplan van het cluster 2016-2017, voortkomen uit verbeterplannen naar

aanleiding van interne audits en/of evaluaties van de examencommissie en in lijn zijn met de Examenagenda 2015-2020

Kwaliteitsdoel Indicatoren

1. Intensivering overleggen examencommissie Min. 7 overleggen per jaar ingepland vanaf schooljaar 2015-

2016

2. Werken volgens jaarplanning Examencommissie incl.

evaluatiecyclus

Deze jaarkalender bevat een overzicht van alle acties en

evaluaties die - al dan niet volgens een vaste regelmaat -

terugkomen op de agenda van de Examencommissie

3. Alle examineringsprocessen op orde en onderliggende

procedures vormgegeven

Zelfevaluatie uitvoeren van elke procesgebied en vanuit

elke rol – gewenst resultaat: geen indicator meer op rood.

Revisie handboek examinering conform PDCA-cyclus. Alle

procedures ingericht volgens geldende regelgeving

4. Doorontwikkeling Examenbureau Examenbureau op alle fronten ‘in control’:

Administratie examendossiers compleet op orde, incl.

procedures

5. Taken examencommissie conform nieuwe wetsvoorstel Taken van financieel verantwoordelijke en voorzitter

examencommissie worden qua besluitvorming gescheiden

6. Examenproducten 100% dekkend voor alle cohorten +

ontwikkeling (en/of inkoop) examenproducten voor de herziene

Kwalificatiedossiers

Examenbank volledig en alle producten vastgesteld (ook

inkoop). Geldt ook voor examens keuzedelen en generieke

vakken.

7. Deskundigheid alle examineringsbetrokkenen op peil Iedere betrokkene is voldoende competent in zijn rol en

hiervoor (aantoonbaar) geschoold

8. Informatievoorziening Examinering compleet en eenduidig OER-en (examenplannen) en addenda alle lopende

cohorten klaar en op n@tschool en website geplaatst

9. Steekproeven examencommissieleden opvoeren t.b.v. borging

proces van resultaatvaststelling/diplomering

Min. 3-4 x per jaar vindt een steekproef plaats op de

examendossiers (dus eerder in het traject vóór diplomeren)

door Examencommissieleden a.d.h.v. een checklist (DR-15)


3.2 Uitgevoerde activiteiten om de kwaliteit van de examinering en de diplomering te monitoren en te bewaken

Hieronder hebben we beschreven welke activiteiten de examencommissie heeft uitgevoerd of heeft laten uitvoeren om tijdens het peiljaar

de kwaliteit van de examinering te monitoren, bewaken en evalueren. Het gaat daarbij om zowel de reguliere kwaliteits-onderzoeken

(meestal gerelateerd aan het waarderingskader van de inspectie), zoals enquêtes onder studenten/beroepenveld, toetsevaluaties,

gegevens over de deskundigheid van assessoren, zelfevaluatie van de examencommissie, als specifieke onderzoeken.

Ondernomen activiteiten (monitoren, bewaken en

evalueren van de kwaliteit)

Doel activiteit

1. a) Job-enquête 2016 (regulier)

b) Intake en Introductie Enquête 2016

Evalueren van het oordeel van studenten over diverse onderdelen binnen

het examineringsproces en waar nodig verbeteracties benoemen.

2. a) Evaluatie na elke toetsperiode door

examenbureau en rapportage in

examencommissie

b) Analyses van toetsevaluaties door

studenten/(praktijk-) beoordelaars en externe

assessoren (regulier)

Borging kwaliteit proces van examenafname, beoordeling,

cijfervaststelling, kwaliteit van de examenproducten en waar nodig

benoemen van verbeteracties.

3. Vaststelling nieuw ontwikkelde PvB’s en examens

door vertegenwoordiging vanuit het beroepenveld

(regulier)

Borging kwaliteit van het examenproduct op het gebied van authenticiteit,

gebaseerd op de overeenkomsten met de actuele beroepspraktijk.

Betrokkenheid van het beroepenveld verhogen.

4. Steekproeven tijdens toetsafname (roulerend) door

examencommissieleden (regulier)

Per toetsperiode worden minstens 2 PvB-afnames bijgewoond door een

examencommissielid ten behoeve van de borging van het proces van

toetsafname en –beoordeling. Ook wordt hiermee toegezien op de

borging van de kwaliteit van de ingezette externe beoordelaars.

5. Evalueren proces van toetsconstructie door

vaststellingscommissie (regulier)

Bij elk overleg van de examencommissie brengt de voorzitter van de

vaststellingscommissie verslag uit van de werkzaamheden van de

vaststellingscommissie en zijn oordeel over het constructieproces.

Daarnaast wordt 1 x per jaar een jaarverslag van de vaststellingcommissie

opgesteld en in de examencommissie geëvalueerd. Waar nodig worden

verbetervoorstellen gedaan.

6. Evalueren examineringsproces door

examencommissie (regulier telkens aan het eind

van ieder schooljaar)

Jaarlijkse check op alle hoofdprocessen door examencommissieleden

7. Afname laatstejaars enquête via ROC spiegel

(regulier)

Door middel van deze enquête krijgen we een helder beeld hoe onze

gediplomeerde studenten de kwaliteit van zowel onderwijs als examinering

gedurende de volledige opleiding hebben ervaren


8. EMSA-audit december 2016

3-jaarlijkse systeem-audit uitgevoerd door de European Maritime Safety

Agency waarbij men wereldwijd onderzoekt of de uitgifte van de

vaarbevoegdheden (lees diploma’s en certificaten) voldoende gewaarborgd

en volgens de richtlijnen uit de STCW (hierop zijn de KD’s Scheepvaart

gebaseerd) is verlopen.

9. Uitvoeren uitgebreide zelfevaluatie volledig

examenproces uit de Procesarchitectuur

examinering

Deze check verschaft de Examencommissie een compleet inzicht van de

mate van kwaliteitsborging bij ieder afzonderlijk procesgebied uit het

volledige examenproces

10. Opvolgen acties uit monitor auditbevindingen Onafhankelijke beoordeling van de kwaliteit van de examinering bij

Scheepvaart en Logistiek in peiljaar 2015. De opvolging van de acties

worden nauwgezet door het CvB gemonitoord.

Voortgangsstatus van alle bevindingen groen of geel gemarkeerd bij

tweede evaluatiemoment (sept. 2016).

Onder hoofdstuk 5 van dit document vindt u de resultaten en/of conclusies die uit bovengenoemde acties naar voren zijn

gekomen.


3.3 Conclusies ten aanzien van de kwaliteitsdoelen

Kwaliteitsdoel Indicatoren In hoeverre behaald? Waar blijkt dit uit?

1. Intensivering

overleggen

examencommissie

Min. 7x per jaar Behaald. 7 overleggen ingepland met

aanvullend overleggen met sub-

examencommissie

Zie verslagen Ecie-overleg

2. Werken volgens

jaarplanning

Examencommissie incl.

evaluatie-cyclus

Onderdeel van de agenda Behaald. De jaarcyclus is de leidraad voor de

te evalueren processen binnen het

examenproces

Zie agenda en notulen

Examencommissie

3. Alle examenprocessen

op orde en procedures

vormgegeven

Zelfevaluatie

uitgevoerd

Revisie handboek

Behaald.

Nog in ontwikkeling.

Onlangs is in het Netwerk examinering

(ondersteund door het directieteam van

Scalda), besloten om hiervoor met een

schooleigen omgeving van de

Procesarchitectuur Examinering (PE) van

het Servicepunt Examinering MBO te gaan

werken en dit tevens als digitaal handboek

te gaan gebruiken.

Verwacht wordt dat dit vóór eind schooljaar

2016-2017 gereed zal zijn. Formats en

procedures zullen daarbij waar nodig

worden herzien en/of toegevoegd

Zie checklist hoofstuk 5 –

actie 9

Zie verslagen Netwerk

Examinering Scalda en DT

4. Doorontwikkeling

examenbureau

Examenbureau ‘in control’ Behaald. Studentendossiers zijn compleet.

Status procedures zie punt 3 ad 2

Steekproeven door

examencommissieleden tijdens

verschillende fases van de

opleiding

5. Taken

examencommissie

conform nieuw

wetsvoorstel

Taken financieel

verantwoordelijke en

voorzitter gescheiden

Behaald. De directeur heeft als voorzitter

van de examencommissie vanaf schooljaar

2016-2017 alleen stemrecht bij zaken die

betrekking hebben op o.a.:

Jaarplan Examencommissie, processen die

Zie verslagen Examencommissie


de kwaliteit van de examinering borgen, de

evaluatie van het functioneren van de excie

en de hieruit voortvloeiende verbeteracties,

de inhoud van het jaarverslag als

verantwoording van het CvB.

De directeur heeft geen stemrecht bij o.a.:

cijfervaststelling, diploma- en/of certificaat

vaststelling, het verlenen van vrijstellingen

van instellings-examens of centraal

examen, vaststelling van

exameninstrumenten

N.B.: De rol van de directeur als voorzitter in

de sub-examencommissie zal z.s.m. ook door

een ander examencommissielid moeten

overgenomen worden, omdat daarin ook

regelmatig diploma- en/of cijfervaststellingen

plaatsvinden

6. Examenproducten

100% dekkend voor

alle cohorten +

ontwikkeling (en/of

inkoop)

examenproducten voor

de herziene

Kwalificatiedossiers

Examenbank volledig en

alle producten

vastgesteld (ook inkoop).

Geldt ook voor examens

keuzedelen en generieke

vakken.

Gedeeltelijk.

Vaststelling inkoop examens nog onvoldoende

gerealiseerd. Hierop dient nog een beleid

geformuleerd te worden.

Examens Nederlands (IE) en MVT (IE en BG)

niet compleet aanwezig en/of vastgesteld. Het

proces van constructie/vaststellen van

taalexamens is onvoldoende geborgd i.v.m.

capaciteitsproblemen.

Beleid Examencommissie: waar ingekocht kan

worden, wordt ingekocht en stelt de

Examencommissie (voorlopig) vast

Zie verslagen

examencommissie/

inventarisatie examenbank door

Examenbureau.

7. Deskundigheid alle

examinerings-

betrokkenen op peil

Iedere betrokkene

competent en

(aantoonbaar) geschoold

Er is onlangs een inventarisatie gemaakt van

elke rol die elke medewerker vervult in het

examenproces. Deze rollen worden in het

personeelssysteem opgenomen. Hierop stelt

de Academie een overzicht van het gewenste

professionaliseringsniveau vast.

De examencommissie zal vervolgens besluiten

Zie o.a. Scalda brede notitie

m.b.t. scholingskaders.

Uit evaluaties van de

examencommissie blijkt de

deskundigheid van alle

examineringsbetrokkenen


welke professionaliseringsactiviteiten de

medewerkers nog moeten volgen om te

voldoen aan dat gewenste

professionaliseringsniveau. De Academie stelt

daarna het scholingsaanbod Scalda-breed

samen. Aangezien we de afgelopen al jaren

fors ingezet hebben op diverse

scholingstrajecten, gaan we ervan uit dat

slechts minimale aanvullende scholing

benodigd zal zijn.

We gaan er vooralsnog van uit dat iedere

betrokkene voldoende competent is in

zijn/haar rol binnen het examenproces.

Een aantal externe assessoren zijn inmiddels

ook geschoold.

Tijdens afname vindt ok een

kwaliteitsbeoordeling plaats van de externe

beoordelaar door de docent van de school

en/of examencommissielid

voldoende op peil.

Dit bleek ook al tijdens de

interne audit van eind 2015 en

tijdens de EMSA audit van dec.

2016.

Zie ook kwaliteitsbeoordelingen

assessoren (assessorenregister)

8. Informatievoorziening

Examinering compleet

en eenduidig

OER-en (examenplannen)

en addenda alle lopende

cohorten klaar en op

N@tschool en website

geplaatst

95% Gereed

OER-en binnenvaart cohort 2016-2017 slechts

voorlopig vastgesteld

Website en N@tschool


3.4 Conclusies ten aanzien van de kwaliteit van de examinering

Kwaliteitsaspect In hoeverre van voldoende kwaliteit? Waar blijkt dit uit?

1. Exameninstrumentarium Eigen ontwikkelde

beroepsgerichte examens

Voldoende Examenbank en

vaststellingsprotocollen,

scans CINOP

Ingekochte beroepsgerichte

examens Logistiek

Examenbank ESTEL:

wordt nog onderzocht

Examenbank STL:

Vaststellingscommissie heeft examens

volgens de nu geldende

kwaliteitsrichtlijnen als ‘niet

vaststellingswaardig’ beoordeeld.

Examencommissie beraadt zich over

een beleidslijn hierin.

De bevindingen worden in ieder geval

vastgelegd en teruggekoppeld naar de

betreffende examenbanken.

Vaststellingsprotocollen en

verslagen

vaststellingscommissie

Generieke en BG MVT

examenonderdelen

Beeld nog niet helemaal compleet

Weinig tot geen mogelijkheden tot

inkoop voor BG examens MVT voor

zowel Scheepvaart als Logistiek

Geen of onvoldoende

constructie- en/of

vaststellingscapaciteit op

eigen cluster/Scalda

Examens keuzedelen Nog niet aanwezig

Examenbank en

inventarisatie

Examenbureau

2. Afname en beoordeling Voldoende.

Alle betrokkenen binnen het procesgebied afname en beoordeling zijn

de afgelopen twee jaar zeer intensief geschoold tijdens CINOP

trainingen.

Analyses

tevredenheidsonderzoeken

examinering door studenten,

beoordelaars en bedrijven.

Steekproeven door Examen-

commissieleden.


3. Diplomering Logsitiek: voldoende

Scheepvaart: voldoende

Het examenbureau waarborgt een 100% examendossiercontrole.

Daarnaast wordt minimaal 3-4x per jaar een steekproef door

examencommissieleden uitgevoerd op de examendossiers om na te

gaan of alle stukken aanwezig zijn, cijfers correct zijn ingevoerd en

diploma-aanvraag gerechtvaardigd is.

In enkele gevallen werd de hardheidsclausule toegepast, omdat

examenstukken, kwijt waren geraakt.

Dit had uitsluitend betrekking op dossiers van vóór de herstructurering

van het examenbureau.

Resultaten tevredenheids-

onderzoeken, steekproeven

door Examencommissie-

leden en evaluaties

examenbureau.


4 Vooruit kijken: verbeteringen

De de invoering van de nieuwe kwalificatiestructuur, de prioriteiten vanuit de landelijke

Examenagenda 2015-2020, en de wetwijzing per 1 augustus 2017 as, vormden het

afgelopen jaar een belangrijke peiler in ons examineringsbeleid.

Door de (tijdelijke) aanpassingen in de bestaande samenstelling van de

examencommissie, zijn we ervan onvertuigd dat we op dit moment zo onafhankelijk

mogelijk georganiseerd zijn. De gevolgen van de wetswijzing verlangen echter in de

eerste plaats een verdere verfijning van de Examenorganisatie van Scalda. Daarop

voortbordurend zullen we binnen onze eigen commissie deze verfijning verder moeten

doorvoeren.

Het inrichten van de PDCA-cyclus van de examenorganisatie Scalda volgens de

Procesarchitectuur examinering zal ook zeker nog verder bijdragen aan een optimale

kwaliteitsborging. Temeer daar bij de inrichting alle processtappen top-down opnieuw

doorlopen dienen te worden en formats en procedures zullen dienen te worden bijgesteld

en/of aangevuld.

Voor de overgangsperiode 2016-2018 (tot de externe validering) zal een bewuste

afweging moeten worden gemaakt welke route (route 1 of 2) gekozen zal worden voor

elke opleiding afzonderlijk. Dit leggen we vast in een valideringsplan.

Indien we kiezen voor route 1 (inkoop bij een instantie waar ingekocht kan worden)

verlangt dit een aanvullende beleidslijn ten aanzien van de vaststelling van deze

producten. Indien voor route 2 wordt gekozen, zal het ontwikkelen van de

examenproducten binnen de collectieve afspraken gebeuren.

Dankzij het steeds consistent en consequent toepassen van gemaakte afspraken met

elkaar en door eenieder binnen het examenproces steeds weer bewust te maken van zijn

taken en verantwoordelijkheden, mogen we concluderen dat de basiskwaliteit van ons

examenproces grotendeels op orde is.

Om de kwaliteit naar een nog hoger plan te tillen, hebben we de volgende verbeteracties

geprioriteerd voor het komende kalenderjaar:

Implementatie van de website Procesarchitectuur Examinering t.b.v. de

kwaliteitsborging van het volledige examenproces

Realisatie van het valideringsplan voor de overgangsperiode 2016-2018

Beleidslijn uitwerken ten behoeve van inkoop (welke leverancier, welke route) - en

vaststelling ingekochte examenproducten

Generieke instellingsexamens en BG examens MVT op orde

Professionaliteit op orde. Hierin volgen we de beleidslijn die Scalda-breed wordt.

Ingezet. We volgen het stappenplan “professionalisering examenfunctionarissen”

welke volgt na inventarisatie van de certificeringsniveaus van alle betrokkenen in alle

voorkomende examineringsrollen.


5 Overzicht resultaten monitoren, bewaken en evalueren van de kwaliteit van de examinering

Resultaten Job-enquête (actie 1a) De tevredenheid van de studenten over de kwaliteit van de examinering wordt 2-jaarlijks gemeten via o.a. de landelijke JOB-enquête . Onze studenten oordeelden over de verschillende onderdelen van het examineringsproces in 2016 als volgt: Vraag/score op een 5-puntsschaal Team

Scheepvaart

Team

Logistiek

Weet je op tijd wanneer er een toets is? 3,9 3,9

Weet je op tijd waar de toets over gaat? 3,9 3,8

Krijg je de uitslag van een toets op tijd te horen? 3,7 3,6

Sluiten de toetsen aan op wat je hebt geleerd? 4,2 4,0

Vind je dat al je medestudenten op dezelfde manier

beoordeeld worden?

4,1 4,1

Deze mooie resultaten verlangden geen verdere verbeteracties.

Resultaten Enquête Intake en Introductie 2016 (actie 1b) 135 eerstejaars studenten beoordeelden het proces van informatievoorziening over de

examinering bij aanvang van het schooljaar 2016 met gemiddeld een 3,5 op een 5

puntsschaal.

Verbeteractie: OER-en nog tijdiger beschikbaar stellen via website en N@tschool.

Highlights uit evaluaties door examenbureau (actie 2a)

Klachten

Er werd in het jaar 2016 1 klacht geregistreerd op het examenbureau.

Klacht aangaande een student waarvan pas na afronding van haar stage bleek dat zij als

resultaat Nederlands een pilotresultaat had staan van 5,8 uit schooljaar 2014-2015.

Volgens het geldende cohortenschema zou ze alleen op basis van een centraal examen

Nederlands mogen slagen in 2016-2017. Indien ze in 2015-2016 was geslaagd, had ze

nog mogen slagen op basis van een pilotexamen mits ze hiervoor tenminste een 6,0 had

behaald binnen dezelfde opleiding. Hierbij had dan eventueel nog onvoorziene

studievertraging kunnen opgevoerd worden, ware het niet dat ze 0,2 punt tekort kwam.

Op het moment van de diploma-aanvraag kon niet meer gediplomeerd worden op 2015-

2016 (dat kon tot uiterlijk 30 sept.) en viel ze dus onder de regeling voor schooljaar

2016-2017. De diploma-aanvraag kwam pas op 10 oktober op het examenbureau

binnen. Studente had bovendien wel het vereiste totaalresultaat van 6,0 Nederlands

behaald (door haar hoge cijfers voor de instellingsexamens). Indien ze dit jaar opnieuw

centraal examen had gedaan, zou ze zelfs met een 4,5 voor dat onderdeel nog kunnen

slagen. De examencommissie heeft in dit geval de hardheidsclausule toegepast en

ingestemd met het diplomeren.

Onregelmatigheden (o.a. uit procesverbalen)

Toets Control OL E&L d.d. 15-02-2016:

Student betrapt op onregelmatigheid. Bij het inleveren van zijn gemaakte toets, liet

student spiekbriefje vallen. Omdat zijn resultaat sowieso 1 was, heeft docent verder geen

actie ondernomen. Volgens de procedure geldt hierop echter meteen uitsluiting.

Examenbureau is van mening dat voor deze student een gemiste kans en resultaat 0

moet gelden.

Akkoord examencommissie.


1 student was van mening recht te hebben op extra toetstijd i.v.m. dyslexie. Op het

examenbureau was echter geen toegekende faciliteit bekend voor deze student. Hij is

doorverwezen naar UBA om dat alsnog geregeld te krijgen. Tijdens het examen heeft

docent besloten deze student ‘het voordeel van de twijfel te geven’ en hem extra

toetstijd te geven. Een andere student weigerde om de presentielijst te tekenen. Op het

proces verbaal is verder niet aangegeven wat de reden hiervan is.

Toets MTL K305 d.d. 22-04-2016:

Surveillant heeft bemerkt: “Herrie op de gang voor Helix”. Er zijn geen

evaluatieformulieren ingevuld, dus niet na te gaan of studenten hier ook last van hebben

gehad. Docent heeft verder geen klachten ontvangen. Iedereen is bovendien geslaagd

voor deze toets.

Toets Marof 2MA – Nav 1.1 d.d. 02-02-2016:

Surveillant heeft bemerkt: “student stopt om 09.00 uur met het examen. Hij geeft aan

zich zo ziek te voelen en begint te huilen. Naar huis laten gaan. In juni mag hij alsnog

zijn 1e kans overdoen”.

Praktijktoets Marcom d.d. 16.12.2016:

Docent heeft als tweede beoordelaar de praktijktoets bijgewoond waarbij ook zijn eigen

zoon deelnemer was.

Omdat docent in dit geval slechts ‘procesbeoordelaar’ was gaat examencommissie

akkoord. Er wordt nog een beleidslijn bepaald voor dit soort gevallen.

Bijzonderheden tijdens diploma-vergadering 09-07-2016:

Logistiek Medewerker (90255):

3 studenten MTL hebben geen gemaakt werk voor “financieel management”. Dit heeft

o.a. te maken met de langdurige afwezigheid van een docent. Hij heeft op verzoek van

de regisseur examinering verklaard dat de resultaten ten aanzien van het betreffende

werkproces rechtmatig verkregen zijn en dat de stukken zo mogelijk nog nageleverd

kunnen worden. Examencommissie past hardheidsclausule toe en geeft akkoord tot

diplomeren.

Chauffeur wegvervoer (91830):

3 studenten hebben een (gemiddeld) onvoldoende cijfer staan voor BG Engels.

De regisseur examinering erkent dat hij in gebreke is gebleven in de aansturing van de

nieuwe docente Engels. Zij was onvoldoende op de hoogte van de eisen die er zijn ten

aanzien van BG Engels. In de OER-en zijn echter wel eisen opgenomen, die niet

overeenkomen met de weging die het team aan de resultaten heeft gegeven. In KRD is

er geen weging aangegeven, dus ‘technisch’ diplomeren kan wel, maar in de OER-en

staat dat er minimaal een 5 moet zijn behaald. Vraag: gaat de examencommissie

akkoord met diplomering op basis van een normering die niet overeenkomst met de

bepalingen uit de OER?

(Teneinde de onafhankelijkheid bij deze besluitvorming te borgen, nemen de directeur en

de regisseur Examinering Logistiek geen zitting bij deze stemmingsronde en verlaten

tijdelijk de kamer).

De overige leden stemmen voor om de hardheidsclausule toe te passen en geven

akkoord tot diplomeren.


Resultaten toetsevaluaties (actie 2b)

1 Toetsevaluaties door studenten

Elke student kreeg standaard na elke toets of PvB een enquête voorgelegd. Hoewel

de afname altijd op vrijwillige basis geschiedt, resulteerde dat in een respons van ca.

70% bij elke afname. De resultaten werden door het examenbureau geanalyseerd en

voorgelegd in de examencommissie.

De studenten werden bevraagd over de volgende aspecten van de examinering:

- informatie vooraf qua afnameperiode,-datum en inhoud van het examen;

- leesbaarheid toets/opdrachten;

- duidelijkheid beoordelingsnormen, puntenverdeling;

- de mogelijkheid tot het ongestoord afleggen van het examen;

- beschikbaarheid van alle benodigde middelen;

- duidelijkheid van de opdrachten/vragen;

- overeenkomst tussen lesinhoud en examen;

- klachtenprocedure;

- tevredenheid over het verloop van het examen;

Uit de analyses kwamen geen knelpunten naar voren ; in sommige gevallen slechts

enkele kleine aandachtspunten, zoals het niet bekend zijn met de klachtenprocedure,

maar dat antwoord werd ook vaak gegeven omdat ze geen klachten hadden.

2 Tevredenheidsonderzoek examinering door praktijkbeoordelaars

Bij Binnenvaart oordeelden de praktijkbeoordelaars als volgt:

Vraag Matroos

51 resp.

Schipper

38 resp.

Heeft u voldoende informatie gekregen over

hoe geëxamineerd gaat worden?

47 ja/4 nee 35 ja/3 nee

Bent u tevreden over het verloop van de

examinering?

48 ja/3 nee 38 ja

Heeft u vertrouwen in de kwaliteit van de

examinering?

50 ja/1 nee 37 ja/1 nee

We mogen concluderen dat deze scores een hoge mate van tevredenheid in de

kwaliteit van de examinering laten zien.

3 Tevredenheidsmeting over de examinering door externe beoordelaars

De externe beoordelaars werden ook na elke PvB-afname bij scheepvaart en logistiek

gevraagd hun oordeel te geven over de volgende aspecten van de examinering:

- de voorbereiding op de afname;

- de kwaliteit van de examenproducten;

- de afnamecondities;

- het niveau van de kandidaten;

- de deskundigheid van de examinatoren van het MLCDR

Men beoordeelde deze aspecten met ‘voldoende’ tot ‘zeer goed’ .

Daarnaast leverden deze externe beoordelaars ook vaak extra inhoudelijke input voor

de toekomstige revisies van de examenproducten.


Resultaten toetsvaststelling door beroepenveld (actie 3)

Elke nieuw ontwikkelde PvB werd in het peiljaar, na vaststelling door de

vaststellingcommissie, ook nog inhoudelijk vastgesteld door een vertegenwoordiger

vanuit het relevante beroepenveld. De vaststellingscommissie ziet toe op dit proces.

Dit werd ook d.m.v. de vaststellingsprotocollen vastgelegd.

Analyses steekproeven door Examencommissieleden tijdens

toetsafname (actie 4)

In het peiljaar werden diverse steekproeven tijdens toetsafname gedaan door

(wisselend) examencommissieleden.

1x door Bouke Glas, die daarbij voornamelijk gefocussed was op het juiste gebruik van

de WAKKER-methode. Hij is van mening dat de aantekeningen ‘te mager’ zijn. Dat heeft

hij ook al met de beoordelaars besproken en teruggekoppeld in de examencommissie.

Bij de overige steekproeven kwamen geen knelpunten naar voren en beoordeelde men

alle indicatoren positief.


Analyses evaluaties door vaststellingscommissie (actie 5)

Hieronder vindt u het jaarverslag van de vaststellingscommissie over het schooljaar

2015-2016

Quote: Evaluatieverslag vaststellingscommissie schooljaar 2015-2016

De vaststellingscommissie bestaat uit 4 personen. Twee personen van de logistieke afdeling, en twee personen van de maritieme afdeling.

De tijd om producten te beoordelen is regelmatig zeer kort, 1 week. In die gevallen is er nauwelijks tijd om de producten goed door te nemen.

Taken vaststellingscommissie Maritiem en Logistiek College De Ruyter

(nieuwe werkwijze na 29/5/2015 conform Handboek Examinering)

1. Vaststellen examenplan

De examenplannen van de drie opleidingsteams, logistiek, binnenvaart, zeevaart werden beoordeeld aan de hand van de checklist, pagina 164 van het Handboek Examinering.

De geconstateerde afwijkingen werden door de opleidingsteams verwerkt. Echter door

onvermijdelijk gebruik van de 2 puntschaal, geslaagd/niet geslaagd behaald/niet behaald in het examenplan kon niet tot vaststelling worden overgegaan.

Aan de examencommissie is gevraagd de checklist aan te laten passen zodat dit volgend jaar geen show stopper meer is.

2. Vaststellen examenmatrijs

Volgens de nieuwe werkwijze dient eerst een examenmatrijs ingediend en vastgesteld te worden voordat overgegaan kan worden tot constructie van het exameninstrument. Dit is niet volgens de

tot nu toe gebruikte work flow. Om geen stagnatie in de vaststelling te verkregen is door de examencommissie dispensatie verleend tot september 2016.2

3. Vaststellen examenproducten theorietoetsen, CGI’s en PvB’s

Dit jaar werden er 65 examenproducten beoordeeld, bediscussieerd en uiteindelijk vastgesteld:

PvB’s van Binnenvaart (PvB zonder crucialen)

PvB’s en CGI’s van Logistiek (13).

PvB’s en theorietoetsen van Nautisch Zeevaart (27)

PvB, theorietoets, CGI van Technisch Zeevaart Visserij SW5 (1) en SMBW (3)

4. Advies examen commissie.

Bijwonen alle vergaderingen examencommissie: 2015-2016.

5. Instructie docenten.

Dit schooljaar werd instructie gegeven over het kwalificatie dossier 2016. Met behulp van de cursusleidster Sharda (bedrijf: CINOP) werd de concrete invulling besproken en verbeterd. Er werd feed back gegeven door de cursusleidster op de huidige examenproducten.

Vlissingen juli 2016.

Unquote.

2 Noot van de examencommissie: dispensatie inmiddels verlengd tot einde schooljaar 2016-2017


Checklist beoordeling examineringsprocessen 2015-2016 (actie 6)

Heeft de examencie de volgende processen geëvalueerd:

Ja Nee n.v.t. Opmerkingen/motivatie

1. Examenplanning

X Examenplanning wordt in concept goedgekeurd door Vcie, daarna in de Ecie vastgesteld en gepubliceerd in de OER-en deel 3. Evaluatie d.m.v. JOB-enquête /examinerings-enquête en Intake en Introductie-enquête. Addenda dienen nog te worden gemaakt i.v.m. wijzigingen in lopende cohorten.

2. Examenconstructie

X Wordt door de vaststellingscommissie geëvalueerd. Bij elk overleg met de examencommissie wordt verslag uitgebracht

3. Examenvaststelling

X Elke nieuw ontwikkelde PvB wordt (inhoudelijk) mede vastgesteld door een beroepenvelddeskundige. Tijdens de diploma vaststelling checkt de Examencommissie steeksproefsgewijs de diploma dossier met onderliggende (ingekochte) examenproducten. De Vcie hanteert de formats zoals in het HBE zijn opgenomen.

4. Examenafname

X Er worden diverse steekproeven gehouden door leden van de examencommissie. De bevindingen worden d.m.v. checklists vastgelegd en geëvalueerd in de Ecie

5. Beoordeling van de examens

X Bij elke toetsafname d.m.v. een enquête formulier (student en externe beoordelaar). Na elke toetsperiode wordt door het Examenbureau een evaluatie van de toetsperiode gemaakt, waarbij ook een analyse van deze toetsevaluaties aan de orde komt. Analyses van verbeterpunten worden bewaard t.b.v. toekomstige revisies.

6. Cijfervaststelling

X Na elke toetsperiode worden de resultaten in de examencommissie besproken. Bij afwijkingen worden resultaten eerst besproken voordat ze definitief worden vastgesteld. Het examenbureau heeft hierbij de eerste signalerende functie.

7. Het bekend maken van de examenresultaten

X Door middel van KRD self-service portal worden cijfers bekendgemaakt. Evaluatie gebeurt d.m.v. studentenevaluaties.

8. Het proces van maken en uitgeven van diploma’s

X D.m.v. steekproeven door Ecie-leden worden checks uitgevoerd op de onderliggende diploma-stukken bij de aangevraagde diploma’s. Van diploma-aanvragen, die in de sub-examencommissie werden vastgesteld, volgt verantwoording in de daarop volgende grote examencommissie.

9. Archiveren

X Er is van elke student een diploma-dossier aanwezig op het examen-bureau. Dit wordt ook gecheckt tijdens steekproeven door de Examencommisie Diploma-dossiers worden tot 1,5 jaar na diplomeren bewaard.

10. Inzage procedure

X Indien aan de orde wordt hierover verslag uitgebracht door de ex. secretaris in de Ecie

11. Klachtenprocedure

X Klachtenevaluatie is een vast onderdeel van het Ecie-overleg. Daarnaast worden klagers gevraagd naar hun oordeel over de kwaliteit van de klachtenafhandeling.

12. Vrijstellingsregeling

X Gemandateerd aan ex. secretaris. Er wordt een vrijstellingsregister bijgehouden op het Examenbureau. Bij elk overleg met de Ecie


Bij de evaluatie van bovenstaande processen wordt gekeken naar de onderliggende procedures (instrumenten/beoordelingsmodellen, vaststelling, kwaliteit van betrokkenen binnen de examinering). De bevindingen worden vastgelegd in een rapportage per proces en gearchiveerd door secr. Examencommissie Voor akkoord Examencommissie d.d. : november 2016

wordt geëvalueerd of honorering gegrond/niet gegrond is.

13. EVC-procedure

X


Resultaten laatste jaars enquête peiljaar 2016 (actie 7)

In het peiljaar oordeelden onze studenten als volgt bij hun diplomering:

Vraag Binnenvaart Scheepvaart

Je oordeel over de kwaliteit van de

examinering?

7,7 6,3

Je oordeel over de kwaliteit van de

beoordeling van je stage

8,6 8,1

Deze enquête werd (nog) niet bij de logistieke opleidingen afgenomen.


Checklist gehele examenproces (actie 9) In november 2016 werd als zelfevaluatie onderstaande check van het gehele

examenproces volgens het format uit de Procesarchitectuur uitgevoerd.

Herbij werden geen grote risico’s meer vastgesteld. De procesgebieden waar nog

verbeterpunten liggen, zijn hierbij in geel aangegeven.

J Ja

N Nee

D Deels

A. Procesgebied kaders stellen

Checkpunt Antw. Dit blijkt uit

EXAMENVISIE

1. De visie op examinering is afgeleid van de algemene visie van de instelling op kwaliteit van onderwijs

Kaderstellend document “Examenorganisatie Scalda”

3. De examenvisie is bekend bij de betrokkenen van het examineringsproces

Alleen bij leden Ecie

4. De examenvisie leeft bij de betrokkenen van het examineringsproces

Alleen bij leden Ecie

EXAMENREGLEMENT

1. Er is een volledig en actueel examenreglement beschikbaar

www.scalda.nl

2. Het examenreglement is afgestemd op de laatste (landelijke) ontwikkelingen

www.scalda.nl

3. Het examenreglement is bekend bij de betrokkenen van het examineringsproces

In HBE en OER-en wordt ernaar verwezen.

4. Het examenreglement is bekend bij de studenten In OER deel 2/3 wordt ernaar verwezen. Enquêtes laten echter vaak een beeld zien dat het onvoldoende bekend is.

5. Jaarlijks wordt gecheckt of het examenreglement nog voldoet of dat er aanpassingen nodig zijn

Door netwerkgroep Examinering en BO

HANDBOEK EXAMINERING

1. Er is een volledig en actueel handboek examinering beschikbaar

Versie 1.2.1 vastgesteld en gepubliceerd/revisie gereed voorjaar 2017 (gebaseerd op PE).

2. In het handboek examinering staan de processen en procedures, taken en verantwoordelijkheden van examenbetrokkenen beschreven

Zie HBE.

3. De informatie in het handboek examinering is voor alle examenbetrokkenen toegankelijk en snel te vinden

www.scalda.nl

4. De examenbetrokkenen weten het handboek examinering te vinden en gebruiken dit ook

Clusterspecifiek op infonet geplaatst. In hardcopy aan docenten/Ecieleden gedistribueerd

5. Het handboek examinering is actueel Revisie was gepland voor eind 2016 (clusterspecifiek). Ivm keuze voor PE (Scaldabreed) is dit uitgesteld tot voorjaar 2017

6. Jaarlijks wordt het handboek examinering geëvalueerd en bijgesteld waar nodig

Vast onderdeel netwerkgroep Examinering en Examencommissie

VASTSTELLEN KADERS

1. De examenvisie is vastgesteld www.scalda.nl Clusterbreed nog onvoldoende. Zal onderdeel vormen van de taak examenmanagement. Wordt momenteel uitgewerkt door Henrik en Nadine. Wachten op vaststelling examenvisie Scalda

2. Het examenreglement is vastgesteld www.scalda.nl

3. Het handboek examinering is vastgesteld www.scalda.nl

OPSTELLEN EXAMENPLAN

1. Er is voor elke opleiding een volledig en correct examenplan aanwezig

m.u.v. examenplannen keuzedelen vanaf cohort 2016. Addenda lopende cohorten gedeeltelijk klaar.

http://www.scalda.nl/






2. In het examenplan zijn alle voorgeschreven uitstroomeisen weergegeven en ‘gedekt’ door een examenonderdeel

Vcie checkt examenplannen in concept, geeft advies over wijzigingen waarna ze in de Examencommissie worden vastgesteld. (zie checklist Examenplannen).

3. Het examenplan geeft inzicht in de examenvormen/instrumenten van de examens van de opleiding

Ja (zie examenplannen en inrichting KRD)

4. In het examenplan staat of het examen plaats vindt binnen de instelling of binnen de BPV

Vanaf cohort 2016 is dit aangevuld

VASTSTELLEN EXAMENPLAN

1. Alle examenplannen zijn vastgesteld In concept door Vcie. Daarna in Excie (25.11.16) Logistiek nog niet helemaal compleet Ivm nieuwe KD’s vertraging opgelopen. Studenten hebben bij aanvang schooljaar 2016 wel concept-versie ter inzage gekregen

EVALUEREN EXAMENPROCESSEN PROCESGEBIED KADERS STELLEN

1. De processen om te komen tot vastgestelde kaders, zijn geëvalueerd en indien daar aanleiding toe was bijgesteld

BO. Examenmanagement cluster (nog in ontwikkeling)

2. De processen sluiten goed op elkaar aan BO. Examenmanagement cluster (nog in ontwikkeling)

B. Procesgebied Construeren en Vaststellen


BESLUITEN INKOPEN/CONSTRUEREN

1. Er wordt jaarlijks gekeken of de keuze om in te kopen of zelf te construeren nog steeds de juiste keuze is. Indien nodig wordt de keuze bijgesteld

Ja in Ecie. Beleid ten aanzien van inkoop dient nog beter beschreven/vastgesteld te worden. Procedure zoals beschreven in HBE wordt momenteel slechts gedeeltelijk uitgevoerd. Wordt onderdeel examenmanagement.

INKOPEN EXAMENS

1. Het inkopen van examens gebeurt op basis van nog steeds geldende redenen

Zie boven. Er is van tevoren geen aantoonbaar beleid bepaald. Procedure in ontwikkeling. Klaar dec. 2016

2. Het contract met de examenleverancier wordt jaarlijks gecheckt op inkoopvoorwaarden en op onderwijsinhoudelijke onderdelen

Ja, echter dit wordt niet of onvoldoende vastgelegd

3. De kwaliteit van de ingekochte producten wordt geëvalueerd en de uitkomsten van de evaluaties worden meegenomen in de overweging om in te blijven kopen of zijn de basis voor gesprekken/onderhandelingen met de leverancier

Ja, na elke toetsafname maken de studenten een enquête. De overweging om bij dezelfde leverancier te blijven wordt nog onvoldoende vastgelegd/onderbouwd

CONSTRUEREN EXAMENS

1. De geconstrueerde examens bestaan uit een opdracht, beoordelingsmodel, instructies voor student en beoordelaar, toetsmatrijs

Er wordt met een vast format gewerkt voor elke examenvorm, waarbij als eerste een constructiedossier wordt gemaakt. Zie check door CINOP 2015 en 2016 en rapport interne audits

2. De geconstrueerde examens sluiten (nog) aan bij de weten regelgeving en in het handboek gemaakte afspraken

Toetsmatrijs wordt niet gebruikt in de volgorde zoals in het HBE staat vermeld. Zie besluit Excie hierover.

3. De examens voldoen (nog) aan inhoudelijke en toetstechnische kwaliteitseisen

Ja. Zie Check door CINOP en rapporten interne audit

4. De examens zijn van voldoende niveau en sluiten aan bij het kwalificatiedossier

Ja. Zie Check door CINOP en rapporten interne audit

5. De kwaliteit van de geconstrueerde examens wordt geëvalueerd en de uitkomsten van de evaluaties worden meegenomen in de overweging om zelf te blijven construeren

Ja. Evaluaties worden in Ecie besproken en bij de betreffende toetsen opgeslagen t.b.v. nieuwe versies. Voor de nieuwe KD’s wordt gezocht naar landelijke samenwerking t.b.v. constructie en vaststelling. Logistiek gebruikt examenbanken STL en ESTEL.

VASTSTELLEN EXAMENS

1. De vaststellers screenen de examens op zowel inhoudelijke als toetstechnische kwaliteit

De eerste toetstechnische check gebeurt op het examenbureau, waarna het product ter vaststelling bij de Vcie wordt aangeboden. Het beroepenveld wordt door De Vcie ingeschakeld als extra check op de



inhoudelijke dekking. (zie vaststellings-protocollen)

2. De vaststellers koppelen bevindingen op een correcte manier terug aan de constructeurs (indien nodig)

Na elke vaststellingsronde vindt via mail terugkoppeling plaats naar de constructeurs.

3. De vaststeller van een bepaald examen is niet de constructeur van dat examen

Ja. Deze rollen worden zoveel strikt gescheiden. In een kleine organisatie is dit echter niet altijd 100% te garanderen. De vaststellingcommissie bestaat uit 2 leden van het logistieke team en 2 leden van het scheepvaartteam om deobjectiviteit van het oordeel van de Vcie zoveel mogelijk te waarborgen

4. De vastgestelde examens sluiten aan bij de weten regelgeving en in het handboek gemaakte afspraken

Ja. Hier ziet de Vcie en Ecie op toe.

5. De examens voldoen aan inhoudelijke en toetstechnische kwaliteitseisen:

- Sluiten aan bij uitstroomeisen uit het KD - Sluiten aan bij eventuele wettelijke beroeps-

en branchevereisten - Sluiten aan bij eventuele uitstroomeisen

(MV)Taal en Rekenen

1. Ja 2. Ja 3. ? Dit wordt niet door de Vcie gecheckt maar door

de Examencommissie. Aanvullende scholing hiervoor nog benodigd

EVALUATIE EXAMENPROCESSEN PROCESGEBIED INKOPEN/CONSTRUEREN EN VASTSTELLEN

1. De afzonderlijke processen binnen dit procesgebied zijn geëvalueerd en bijgesteld als daar aanleiding toe was

Het constructie- en vaststellingsproces proces wordt binnen de examencommissie geëvalueerd o.a. de hand van een (mondeling) verslag door de voorzitter van de vaststellingscie. Het proces inkoop is nog onvoldoende vormgegeven. Is in ontwikkeling

2. De processen sluiten goed op elkaar aan Ja. Proces inkoop is lastig te evalueren omdat het nu nog teveel op initiatief van het team logistiek gebeurt, zonder dat er vooraf een beleid en een procedure voor is afgesproken. Volgens de procedure uit het HBE dient de directeur het besluit tot inkopen te nemen. Procedure in ontwikkeling Klaar dec. 2016.

3. De betrokken constructeurs zijn competent voor hun taak

Ja. Zie certificaten gevolgde trainingen bij CINOP en verslagen interne audits. Evaluatie vaststellings-commissie en evaluatie in examencommissie. Waar nodig volgt extra scholing (met name voor nieuwe constructeurs en nieuwe examencommissie-leden).

4. De betrokken vaststellers zijn competent voor hun taak

Idem. Zie certificaten scholingen en verslag interne audits. Wordt in Examencommissie geëvalueerd in aanwezigheid van de externe leden

5. Het functioneren van de betrokkenen wordt na elke doorlopen cyclus geëvalueerd en er worden verbeter– (scholings)plannen opgesteld indien nodig

Ja. Door aanwezigheid van het management in de Excie wordt meteen actie ondernomen, indien verbeteren bijscholingsacties benodigd zijn.

6. De deskundigheid is aantoonbaar door bv scholing, certificatie, ervaring en/of ervaring

Ja Deskundigheid om zelf geconstrueerde instellingsexamens Talen vast te stellen is niet op het eigen cluster aanwezig. In de centrale vaststellingscommissie worden alleen nog maar generieke examens vastsgesteld. Extra scholing bij constructie,vaststelling is benodigd.

7. Bij het Inkopen/Construeren en Vaststellen van examens werkt men volgens de gemaakte afspraken, zoals vastgelegd in bijvoorbeeld het handboek examinering.

Ja vwb beroepsgerichte examinering.( Zie onder B3.1en B3.2 voor uitzondering voor werken met toetsmatrijs). Inkoop (cluster) procedure nog onvoldoende uitgewerkt. Hierdoor werden de ingekochte producten (nog) niet of slechts gedeeltelijk aan de vaststellingscie voorgelegd zoals in het HBE beschreven staat. Voor T&R en MVT lopen de processen inkoop/constuctie en vaststelling nog niet volgens heldere procedures. Hiervoor dient extra (interne en externe) scholing te worden ingezet.


C. Procesgebied Examineren

Checkpunt Antw Dit blijkt uit

(LATEN) UITVOEREN

1. De examens uit het examenplan worden uitgevoerd Examenbureau hanteert als checklist t.b.v. de examendossiers, het geldende examenplan. KRD is ingericht volgens datzelfde examenplan. Kandidaatstellen kan alleen als alle onderdelen zijn ingevuld (uitgevoerd). DR15 controle-formulier wordt voorgelegd aan (sub)examen-commissie voor akkoordverklaring diplomering. Tussentijds worden diverse steekproeven op de volledigheid van de examendossiers gedaan door het examenbureau en door examencommissieleden.

2. De studenten zijn tijdig uitgenodigd voor deelname aan het examen

Zie toetsevaluaties en JOB-enquête

3. De student beschikt vooraf over voldoende informatie over het examen


4. De student weet op welke wijze en waarop wordt beoordeeld


5. De examens worden georganiseerd volgens beschreven afnamecondities (hulpmiddelen, omstandigheden, voorbereidingen)

Zie toetsevaluaties, JOB-enquête en toetsproducten. Zie verslagen interne audits en opvolging acties

6. Vooraf is bij elk examen duidelijk door wie er beoordeeld wordt


7. Bij elk examen is een volledige en heldere beoordelingsinstructie aanwezig

Zie toetsevaluaties en JOB-enquête. Zie vaststellingsprotocollen en producten

8. Per examen is een duidelijk en volledig beoordelingsformulier aanwezig

Zie vaststellingsprotocollen en producten

9. Per examen is er een examenprocesverbaal opgesteld

Zie vaststellingsprotocollen en producten

10. De beoordelaar en student vullen een evaluatieformulier in na afname van het examen

Zie evaluaties.

(LATEN) BEOORDELEN

1. De prestatie van de student wordt beoordeeld aan de hand van vooraf opgestelde beoordelingscriteria

Zie examenproducten

2. Bij de beoordeling wordt gebruik gemaakt van het 4-ogen principe

Zoveel mogelijk wordt gebruikt gemaakt van 2 schoolbeoordelaars of combinatie docent/externe beoordelaar. Bij afname in de beroepspraktijk wordt bij ca. 30% van de examens een steekproef gedaan door een beoordelaar van de school. Taalexamens spreekvaardigheid en gesprekken voeren worden opgenomen, omdat er slechts 1 taaldocent aanwezig kan zijn

3. De uitslag van het examen wordt duidelijk onderbouwd vastgelegd op het beoordelingsformulier

Zie producten

4. De student krijgt binnen de afgesproken en vastgelegde tijd het examenresultaat te horen

Zie toetsevaluaties en JOB-enquête. Resultaten worden door het examenbureau tijdig in KRD ingevoerd, waarna ze voor de student inzichtelijk zijn d.m.v. het selfservice portal

5. De beoordeling is duidelijk en doet recht aan de prestaties van de student

Zie beoordelingsprotocollen

VASTSTELLEN RESULTAAT

6. Eventuele beroeps- en bezwaarprocedures worden afgehandeld zoals is afgesproken in het handboek examinering

Indien van toepassing

Het resultaat van de examens wordt binnen daarvoor gestelde termijn gearchiveerd

Zie boven

De archivering van de examenresultaten is efficiënt en effectief: documentatie is gemakkelijk terug te vinden

Zie verslag interne audit en verslag steekproeven door examencommissieleden



EVALUATIE EXAMENPROCESSEN PROCESGEBIED EXAMINEREN


2. De processen sluiten goed op elkaar aan Zal door middel van het uitwerken van de taak examenmanagement geoptimaliseerd worden

3. De betrokken beoordelaars zijn competent voor hun taak

Assessoren registeren wordt niet altijd even consequent aangevuld bij nieuwe externe beoordelaars. De beoordelaars van de school zijn allemaal aantoonbaar geschoold. Zie bekwaamheidsdossiers en certificaten. Ook enkele externe beoordelaars zijn aantoonbaar geschoold. Voor praktijkbeoordelaars blijft dat lastig te realiseren. We hanteren hiervoor een systeem van kwaliteitsevaluatie. (zie assessorenregister).

4. Het functioneren van de betrokkenen wordt na elke doorlopen cyclus geëvalueerd en er worden verbeter– (scholings)plannen opgesteld indien nodig

In Examencommissie o.a. door analyse van de toetsevaluaties


Zie boven onder 3

6. Bij het Examineren werkt men volgens de gemaakte afspraken, zoals vastgelegd in bijvoorbeeld het handboek examinering.

Elk examenproduct bevat standaard een instructie voor de beoordelaar. Externe beoordelaars worden van tevoren gebriefd.

D. Procesgebied Diplomeren


BESLUITEN OM TE DIPLOMEREN

1. De examencommissie stelt voor diplomering vast welke studenten voor diplomering in aanmerking komen; zij doen dit binnen de termijn die hiervoor is genoemd in het handboek

Zie vergaderverslagen en DR15 controlelijsten en procedure diploma-aanvrager

2. De diplomabeslissing doet recht aan de prestaties van de student, gerelateerd aan de uitstroomeisen van het kwalificatiedossier

Adhv van het DR15 formulier en de check op het diploma-dossiers (steekproefsgewijs) checkt de examencommissie of alle examens volgens het geldende examenplan zijn afgetoetst

DIPLOMEREN

1. Uiterlijk X weken voor de diploma-uitreiking is de diploma-uitreiking georganiseerd

Bij tussentijdse diplomeringen gebeurt de uitreiking op individuele basis

2. Uiterlijk X weken voor de diploma-uitreiking zijn de studenten geïnformeerd

d.m.v. de jaarplanner

3. De diploma’s worden na vaststelling door de examencommissie uitgedraaid

Ja. Diploma-aanvragen worden (meestal) eerst in de sub-examencommissie gehonoreerd na uitgebreide check op het examendossier. Over dit besluit wordt later in de grote examencommissie verantwoording afgelegd.

4. De diploma’s worden ondertekend Zie diploma’s

5. Het is duidelijk waar en door wie de examens worden beheerd

Ja zie HBE

6. De diploma’s worden tijdig beschikbaar gesteld Ja

7. Wanneer diploma’s niet worden afgehaald worden ze opgeborgen

Uitsluitend in de kluis op het examenbureau

8. De inhoud van het diploma en de resultatenlijst voldoet aan de vaste onderdelen die de mbo-instelling standaard moet vermelden

Vast format in KRD

EVALUATIE EXAMENPROCESSEN PROCESGEBIED DIPLOMEREN


Ja. N.a.v. evaluatie en interne audit is een nieuwe procedure diploma-aanvragen opgesteld en geïmplementeerd

2. De processen sluiten goed op elkaar aan Zie nieuwe procedure diploma-aanvragen



3. De betrokkenen zijn competent voor hun taak

Zie interne audit. Waar nodig wordt extra scholing georganiseerd


Alle interne examencommissieleden zijn aantoonbaar geschoold. De externe leden worden binnenkort aanvullend geschoold maar zijn intern intensief voorgelicht en betrokken bij diverse steekproeven

5. Bij het Diplomeren werkt men volgens de gemaakte afspraken, zoals vastgelegd in bijvoorbeeld het handboek examinering.

HBE een aanvullend de procedure diploma-aanvaag

E. Het gehele examenproces (alle examenprocessen met elkaar in samenhang)


BORGING GEHELE EXAMENCYCLUS

1. Evaluatie vindt plaats over de gehele examencyclus Deze checklist

2. De verschillende procesgebieden sluiten goed op elkaar aan

Zie boven. Inkoopprocedure nog onvoldoende uitgewerkt en procedure constructie/vaststellling en examinering MVT/T&R

3. De communicatie tussen de betrokkenen van de procesgebieden loopt goed.

Examenmanagement wordt vormgegeven zodat dit dmv goede en ondubbelzinnige procedures geoptimaliseerd wordt

4. Het eindresultaat van het de gehele examencyclus voldoet aan de vooraf gestelde eisen

Waarde van de door ons uitgegeven diploma’s is ruim voldoende geborgd. Zie ook rapport interne audits

5. Afspraken rondom het examenproces, zowel binnen als tussen de procesgebieden, worden nagekomen

Zie onder 3

6. De vereiste deskundigheid van de betrokkenen per procesgebied wordt geëvalueerd en indien nodig bijgesteld

Kan nog beter gedocumenteerd worden. Zal onderdeel taak examenmanagement worden

7. De betrokkenen in het examenproces voelen zich gemotiveerd en voldoende gefaciliteerd

Ja. Al bestaat door de huidige workload binnen een kleine organisatie met beperkte financiële middelen en vaak veranderende kwalificatiestructuren, het gevaar van ‘’overbelasting’’ , wat weer reden zou kunnen geven tot ontevredenheid. Daarom wordt gezocht naar meer (landelijke) samenwerking bij het construeren van de nieuwe examenproducten en keuzedelen als gevolg van de IHKS.

8. Alle betrokkenen zijn op de hoogte van de verbeterplannen die er liggen

Bij examencommissie en vaststellingscie is dit voldoende bekend. Als gevolg van een onvoldoende uitgewerkt examen-management is dit wellicht slechts deels bekend bij constructuers en beoordelaars.

9. Er wordt regelmatig gecheckt of de verbeterplannen uitgevoerd worden of uitgevoerd zijn

Binnen de examencommissie. Dit moet ook onderdeel van de taak examenmanagement gaan worden.

10. De evaluaties volgen de plan-do-check-act cyclus: Wat was de planning van het proces en het gewenste resultaat? Hoe is de uitvoering verlopen? Wat kan/moet daaraan verbeterd worden?

Evaluaties zijn onderdeel van de jaarcyclus (zie jaarplanner). Vanaf eind 2016 zal daarnaast ook gewerkt worden met een jaarplan volgens format PE, zodat de planning beter vormgegeven wordt.

BETROKKENHEID BEROEPENVELD

1. Het betreffende beroepenveld heeft aantoonbaar vertrouwen in examinering van de instelling

Externe examencommissieleden. Externe beoordelaars. Externe vaststellers (inhoudelijk advies). Zie Enquêtes.

2. Er is regelmatig overleg tussen het beroepenveld en de instelling over examinering

In Excie, bij beoordelingen in de BPV en op school. Bij netwerkbijeenkomsten. Landelijke samenwerkings-verbanden.



3. Het beroepenveld werkt daadwerkelijk mee aan de examinering

Ja, als beoordelaars, examencommissieleden en vaststellers

EXAMENFUNCTIONARISSEN

1. Degenen die een functie hebben in het managen, bewaken en monitoren van de examenprocessen zijn competent voor hun taak

Indien aanvullende scholing gewenst is wordt dit georganiseerd. Netwerkbijeenkomsten worden bezocht, seminars en waar nodig wordt naar interne samenwerking gezocht met andere colleges/collega’s binnen Scalda. Zie rapport interne audits en certificaten van scholingen

2. Het functioneren van de hierboven genoemde functionarissen wordt na elke doorlopen cyclus geëvalueerd

Ja, o.a. d.m.v. enquêtes waarvan de analyses in de examencommissie worden besproken, echter er wordt nog onvoldoende vastgelegd hoe en op grond van welke normering besloten wordt dat alle betrokken voldoende functioneren.

3. De deskundigheid is aantoonbaar door b.v. scholing, certificering, ervaring

Zie certificaten en bekwaamheidsdossiers


Monitor opvolging acties uit interne audits (actie nr.10)

Aan: College van Bestuur Van: René Teunissen, Beleidsmedewerker IC Datum: 8-9-2016 Betreft: Opvolging auditbevindingen

Geacht College, Middels dit memo informeren wij u over de opvolging van de aanbevelingen uit de auditrapporten van de afdeling IC. De afdeling IC heeft het betreffende management verzocht om een schriftelijke reactie te geven op de opvolging van de bevindingen. De reacties die zijn opgenomen als managementcommentaar zijn de reacties zoals gegeven door het management van de betreffende clusters en diensten. Er is geen nader onderzoek gedaan naar de werkelijke opvolging. Dit document is opgebouwd uit 3 onderdelen: Onderstaand treft u de legenda aan van de voorgang. 1: De tabel van de status van bevindingen uit onderwijsaudits. 2: De tabel van de status van bevindingen uit examineringsaudits. 3: De tabel van de status van bevindingen uit overige audits.

René Teunissen Beleidsmedewerker IC

● Nieuwe controlebevinding

● Reeds gerapporteerde controlebevinding, in ontwikkeling

● Reeds gerapporteerde controlebevinding, geen voortgang

● Opgevolgd


Cluster Maritiem:

Audit: Examinering Maritiem, Logisitiek Datum: 9 november 2015

Bevinding Item sinds Status 9-2016

Status 4-2016

Status 9-2015

Opvolging en commentaar Management (April 2016)

Opvolging en commentaar Management (September 2016)

Zorg voor een examendossier dat qua opbouw overeenkomt met het programma van examineren. Gebruik hierbij een voorblad waarop aangegeven kan worden welke onderdelen in het dossier zijn opgenomen zodat de volledigheid in een oogopslag zichtbaar is. Zorg daarnaast ook dat er (bijvoorbeeld met tabjes) een plaats is voor ieder afzonderlijk dossierstuk. In een geordend dossier vallen bijzonderheden eerder op, daarnaast vergemakkelijkt het de taak van de examencommissie om zich er van te vergewissen dat de diplomering deugdelijk tot stand komt.

15-12-2015

● ● n.v.t. In de dossiers is een checklist opgenomen waarop alle aanwezige examenonderdelen door het examenbureau worden aangevinkt. Deze onderdelen worden zoveel mogelijk op volgorde van het examenplan in het dossier opgeslagen. Bij de finale check t.b.v. de diploma-aanvraag wordt het DR15 formulier “controlelijst diploma-aanvraag” gehanteerd. Indien het dossier compleet is wordt de diplomering na akkoord van de examencommissie doorgezet.

Tijdens de diverse steekproeven door examencommissieleden van april t/m oktober 2016 bleek een enorme verbetering merkbaar in de opbouw en de volledigheid van de dossier. Het proces van diplomering komt op een deugdelijker manier tot stand

De verantwoordelijkheid voor de volledigheid van het examendossier komt te liggen bij degene die het diploma aanvraagt. Zorg ervoor dat gemonitord wordt dat het dossier aan de geformuleerde kwaliteitsstandaarden (zie aanbeveling 1) voldoet en accepteer geen incomplete dossiers. Zonder ‘gemaakt werk’ kan retrospectief het besluit tot diplomeren niet worden herleid. Hierin schuilen grote risico’s met betrekking tot het oordeel dat gevormd wordt over de besluitvorming tot diplomering.

15-12-2015

●/● ● n.v.t. In december 2015 is de nieuwe procedure “diploma-aanvraag” vastgesteld en meteen geïmplementeerd. De diploma-aanvrager heeft de verantwoordelijkheid om het examendossier compleet te maken. Zodra compleet wordt de status ‘kandidaat’ toegewezen door het examenbureau. De (sub)-examencommissie besluit tot honorering van de diploma-aanvraag na steekproeven (*) op de betreffende examendossier. * Teneinde tekortkomingen in het proces van cijferinvoer door het examenbureau en het diplomeren eerder te signaleren en om te voorkomen dat studenten de dupe worden van een vertraagde diploma-uitgifte, worden vanaf kalenderjaar 2016 meerdere steekproeven (van tevoren) op de examendossiers uitgevoerd door roulerende examen-commissieleden (dat gebeurde vroeger nog vaak achteraf i.v.m. tijdsdruk). Hierdoor kan het definitieve besluit tot diplomeren vlotter

Procedure werkt. Hier wordt regelmatig op gecontroleerd door examencommissieleden. Ook is in de Examencommissie afgesproken om nog meer tussentijdse controlemomenten in te bouwen gedurende het schooljaar om de volledigheid van de dossiers te checken en tijdig te kunnen anticiperen op eventuele tekortkomingen. Alleen bij hele hoge uitzondering werden/worden diploma’s uitgegeven waarbij de dossiers niet compleet waren/zijn, omdat het gemaakte werk was/is zoekgeraakt. In het belang van de student werd/wordt dan in de examencommissie besloten om de student niet de dupe te laten zijn van nalatig handelen van docenten en volgde/volgt een waarschuwing. In sommige gevallen werd hiervoor de hardheidsclausule toegepast. De betreffende dossiers waren ‘erfenissen’ uit de periode waarin de procedure diploma-aanvraag nog niet volledig


en nog beter geborgd genomen worden. Van deze steekproeven wordt in de examencommissie verslag uitgebracht waarop gerichte acties worden afgesproken.

was geïmplementeerd en stringent toegepast.

De (twee) studenten die het auditteam gesproken heeft zijn absoluut onvoldoende op de hoogte van het onderdeel examinering in hun opleiding. Het auditteam heeft vastgesteld dat dit niet ligt aan de informatie de beschikbaar is, maar aan het gebrek aan het regelmatig en op relevante momenten delen van deze informatie met de studenten. Ons advies luidt dan ook om de informatie over examinering regelmatiger op relevante momenten te delen met studenten. Zij moeten minstens een beeld hebben waar zij aan moeten voldoen om hun diploma te behalen en het verschil weten tussen ontwikkelgerichte en kwalificerende toetsen.

15-12-2015

● ● n.v.t. Volgende acties zijn in het team uitgezet:

Meer aandacht geven aan de inhoud van de OER-en bij aanvang schooljaar (introductieweek).

OER-en toegankelijker maken voor studenten (N@tschool)

Op regelmatiger basis informatie herhalen met studenten, omdat informatie blijkbaar snel ‘wegzakt’.

• Toetsrooster eerder en toegankelijker bekend maken. Hiertoe is een roosterprocedure ingevoerd die conform pdca voor de zomer van 2016 zal worden geëvalueerd.

Acties uitgevoerd.

Er is in de afgelopen periode veel aandacht geweest om het proces om te komen tot goede vastgestelde examenproducten op orde te brengen. Er is ook aandacht voor de beoordeling. Doordat de processen rondom ontwikkelen, vaststellen en beoordelen steeds meer op orde raken zal de focus verschuiven naar het managen en monitoren van de examenprocessen en daarmee ook het bewaken van de kwaliteit. Wij adviseren (mede gezien de omvang van de examenorganisatie) kritisch te kijken naar de benodigde checks and balances. Er zijn nu te veel dubbelrollen en doorbrekingen van de noodzakelijke functiescheidingen. Kijk hierbij ook over de team- en clustergrenzen.

15-12-2015

● ● n.v.t. Onderdeel van het clusterjaarplan 2016-2017 is om de procedures versneld te completeren. Ook wordt, gezien de schaalgrootte van het cluster, gezocht naar middelen om te assisteren bij een pro-actieve examencommissie. Hiertoe worden momenteel verkennende gesprekken met Techniek/ICT gevoerd. Een zelfevaluatie, uitgevoerd vanuit elke rol (betrokkene), in het examineringsproces kan hierbij heel belangrijke input leveren. Deze wordt ook voor 2016-2017 ingepland.

Zelfevaluatie dient nog te worden uitgevoerd, waarna de diverse examentaken zullen worden herzien. Zodra Scalda-breed gekozen is voor een bepaald model Examenorganisatie zal het model van het cluster hierop worden afgestemd Steekproeven worden reeds vaker ingepland.

In de audit zijn relatief veel ‘kleine’ foutjes gevonden in de documenten die relatie hebben tot de examinering. Deze zijn mondeling teruggekoppeld tijdens en na de audit. Het gaat dan om het hanteren van verschillende begrippen voor hetzelfde, wegvallen van tekst,

15-12-2015

● ● n.v.t. Toetsproducten worden aangepast, maar hiermee wordt niet voorkomen dat de verouderde producten bij sommige huidige studenten nog steeds aangetroffen kunnen worden, omdat zij op het moment van de vaststelling deze examens al hadden gemaakt.

De toetsproducten/examenprogramma’s zijn gecorrigeerd, maar blijven uiteraard onderhevig aan wijzigingen welke het gevolg zijn van ‘voortschrijdend inzicht’.


verkeerde nummeringen van kerntaken, taalfouten, etc. Ook staat in de OER nog algemene tekst die niet van toepassing is op de betreffende opleiding. Wij adviseren om aandacht te besteden aan het corrigeren van de geconstateerde zaken en zelf nog eens kritisch te kijken naar de inhoud van de documenten.

Waar nodig zijn nog wel tijdig wijzigingen doorgevoerd voor de lopende cohorten. De steekproeven door de examen-commissieleden worden vanaf 2016 in een eerder stadium uitgevoerd, zodat meer vanuit een pro-actieve houding gehandeld wordt i.p.v. reactief.

In het OER van ‘Chauffeur goederenvervoer’ zijn voorwaardelijkheden genoemd in paragraaf 6.1 en paragraaf 8. Deze voorwaardelijkheden hebben betrekking op aanwezigheid. OCW en de inspectie zijn van mening dat dit niet is toegestaan3. Een school mag de deelname aan het examen niet weigeren als sanctie op het niet nakomen van een andere verplichting. Zowel in de WEB als het Toezichtkader BVE 2012 staan hierover geen bepalingen. Er gelden derhalve geen formele beperkingen, dit betekent volgens OCW en de inspectie niet dat alles is geoorloofd.

15-12-2015

● ● n.v.t. Voorwaarden zijn aangepast. Zie aanvullende opmerkingen hierboven.

uitgevoerd

De proeve van bekwaamheid van cohort 2013/2014 bevatte slecht een dekking van 75% van de werkprocessen van de kerntaak. In de nieuw ontwikkelde proeve is dit niet meer het geval. Desalniettemin adviseren wij om niet de ondergrens van de dekking van het Kwalificatiedossier op te zoeken. Hierin schuilen risico’s zoals in deze audit geconstateerd (het onjuist interpreteren van het begrip ‘meer dan driekwart’. Maar ook in algemene zin kan gesteld worden dat een marge ten aanzien van het minimum wenselijk is.

15-12-2015

● ● n.v.t. Opmerkingen zijn met de contructeur(s) en vaststelingscommissie besproken en worden bij de toets-revisie meegenomen.

Producten werden hierop aangepast.

De weging van de examens onderling is niet transparant bij zowel Manager havenlogistiek als

15-12-2015

● ● n.v.t. Opmerkingen zijn met de constructeur(s) en vaststellingscommissie besproken en worden

In schooljaar 2016-2017 zijn verdere scholingen met CINOP ingepland, waaronder o.a. scholing

3 Bron: Voorwaardelijke toetsing en examinering: Een publicatie naar aanleiding van de leg-uit-bijeenkomst op 28 januari 2014 van het Servicepunt examinering mbo in samenwerking met het ministerie van OCW en de

Inspectie van het Onderwijs.

Datum: versie, deel A 1 april 2014


bij chauffeur goederenvervoer. Het OER bevat een overzicht van de kwalificerende toetsing. Per kerntaak worden diverse resultaten verwoord die meewegen binnen het oordeel per kerntaak. Van deze delen is een onderlinge weging aangeven. Wat echter niet zichtbaar uitgewerkt is hoe vanuit de diverse resultaten een definitief oordeel per kerntaak gegenereerd kan worden. (Hoe telt een oordeel “V” bijvoorbeeld in relatie tot een cijfer 8). In Eduarte is dit op de achtergrond ingeregeld maar dit is niet in de documenten terug te vinden en derhalve niet transparant. Wij adviseren de weging van een O/V/G inzichtelijk te maken in het overzicht van de kwalificerende examenonderdelen.

bij de toets-revisie meegenomen. Aanvullende scholing bij constructeurs, vaststellers en examencommissie benodigd.

voor examencommissieleden en vaststellers, waarbij de procedure cesuurbepaling zeker betrokken zal worden. Bij de totstandkoming van de nieuwe examenplannen is extra aandacht geweest voor de weging van de diverse kwalificerende onderdelen onderling.

Het auditteam heeft geen duidelijke algemene uitgangspunten geconstateerd op basis waarvan de cesuur van de afzonderlijke examenproducten of het examen als geheel wordt bepaald. Hierdoor lijkt er een mate van willekeur te zitten in de bepaling van de cesuur van de examenonderdelen en het examen als geheel. Ondanks het ontbreken van een verantwoorde procedure voor de cesuurbepaling leidt dit niet tot bevindingen ten aanzien van de juistheid van de cesuur, hoogstens ten aanzien van het niveau van de cesuur of de weging van de verschillende onderdelen. Desalniettemin adviseren wij toch om kritisch de cesuur in de examenonderdelen als de cesuur van het examen als geheel nog eens te bekijken en na te gaan of de gehanteerde cesuur overeenkomst met de gewenste cesuur.

15-12-2015

● ● n.v.t. Opmerkingen zijn met de contructeur(s) en vaststellingscommissie besproken en worden bij de toets-revisie meegenomen. Aanvullende scholing bij constructeurs, vaststellers en examencommissie benodigd.

In schooljaar 2016-2017 zijn verdere scholingen met CINOP ingepland, waaronder o.a. scholing voor examencommissieleden, waarbij de procedure cesuurbepaling zeker betrokken zal worden.

Het auditteam constateert een risico m.b.t. georganiseerde onafhankelijkheid. Hierbij valt te denken aan de dubbele rollen van de diverse betrokkenen. De voorzitter van de examencommissie is als clusterdirecteur integraal verantwoordelijk voor het gehele cluster en als

15-12-2015

●/● ● n.v.t. Vooruitlopend op het wetsvoorstel zullen de taken van de financieel resultaatverantwoordelijke en de voorzitter van de examencommissie qua besluitvorming gescheiden moeten worden. Hiertoe zal een huishoudelijk reglement Examencommissie

Het doel van het wetsvoorstel examencommissies MBO (uit publicatie van het Servicepunt Examinering MBO) is dat de taken en verantwoordelijkheden van de examencommissies duidelijk zijn en goed worden belegd. Daarnaast geeft het


voorzitter van de examencommissie is hij tevens eindverantwoordelijk voor de examenprocessen inclusief zak-slaag beslissing. Er zijn daarnaast nog vele dubbelrollen geconstateerd. Omdat het management ook zitting heeft in de examencommissie moet onafhankelijkheid worden georganiseerd in processen en protocollen. Het waarborgen van de mogelijkheid om als individueel lid van de examencommissie altijd te kunnen escaleren is een voorbeeld van een georganiseerde onafhankelijkheid. Ook heeft de auditcommissie aandacht gevraagd voor een duidelijkere scheiding van productontwikkeling en vaststelling door de samenwerking op te zoeken met een ander team. Ook t.a.v. de zak-slaagbeslissing kan onafhankelijkheid in het proces worden bewerkstelligt. Vooruitlopend aan de weten regelgeving die in ontwikkeling is adviseren wij te zoeken naar een model waarin recht wordt gedaan aan de toekomstige eisen.

opgesteld moeten worden. We wachten hiervoor de centrale ontwikkelingen af. De voorzitter en secretaris hebben een Conferentie hierover bijgewoond op 1 april 2016.

wetsvoorstel aan dat het bevoegd gezag de taak heeft om de onafhankelijkheid en het functioneren van de examencommissie te waarborgen. Hierop voorsorterend en in afwachting van het definitieve model voor de examenorganisatie Scalda, is in de examencommissie van 30 september 2016 besloten om het technisch voorzitterschap van de directeur te mandateren aan Dhr. Arthur Schot (extern examencommissielid namens het logistieke beroepenveld). Met deze mandatering zijn we ervan overtuigd dat de vergaderingen in een veilige en open sfeer zullen blijven verlopen, welke de kwaliteit van de examinering en daarmee ook ons onderwijs gegarandeerd zal blijven. Hiermee hopen we een stap verder te komen in het borgen van de onafhankelijkheid van onze examenorganisatie.

Audit: Examinering Maritiem, Scheepvaart Datum: 14 december 2015

Bevinding Item sinds Status 9-2016

Status 4-2016

Status 9-2015

Opvolging en commentaar Management (April 2016)

Opvolging en commentaar Management (September 2016)

Zorg voor een examendossier dat qua opbouw overeenkomt met het programma van examineren. Gebruik hierbij een voorblad waarop aangegeven kan worden welke onderdelen in het dossier zijn opgenomen zodat de volledigheid in een oogopslag zichtbaar is. Zorg daarnaast ook dat er (bijvoorbeeld met tabjes) een plaats is voor ieder afzonderlijk dossierstuk. In een geordend dossier vallen bijzonderheden eerder op, daarnaast vergemakkelijkt het de taak van de examencommissie om zich er van te vergewissen

18-2-2016 ● ● n.v.t. In de dossiers is een checklist opgenomen waarop alle aanwezige examenonderdelen door het examenbureau worden aangevinkt. Deze onderdelen worden zoveel mogelijk op volgorde van het examenplan in het dossier opgeslagen. Bij de finale check t.b.v. de diploma-aanvraag wordt het DR15 formulier “controlelijst diploma-aanvraag” gehanteerd. Indien het dossier compleet is wordt de diplomering na akkoord van de examencommissie doorgezet.

Tijdens de diverse steekproeven door examencommissieleden van april t/m oktober 2016 bleek een enorme verbetering merkbaar in de opbouw en de volledigheid van de dossier. Het proces van diplomering komt op een deugdelijker manier tot stand.


dat de diplomering deugdelijk tot stand komt.

De verantwoordelijkheid voor de volledigheid van het examendossier komt te liggen bij degene die het diploma aanvraagt. Zorg ervoor dat gemonitord wordt dat het dossier aan de geformuleerde kwaliteitsstandaarden (zie aanbeveling 1) voldoet en accepteer geen incomplete dossiers. Zonder ‘gemaakt werk’ kan retrospectief het besluit tot diplomeren niet worden herleid. Hierin schuilen grote risico’s met betrekking tot het oordeel dat gevormd wordt over de besluitvorming tot diplomering. Wanneer een docent niet op het gemaakte werkt wil schrijven, draag dan zorg voor het opnemen van het oordeel en de onderbouwing daarvoor in het examendossier middels een apart document .

18-2-2016 ● ● n.v.t. In december 2015 is de nieuwe procedure “diploma-aanvraag” vastgesteld en meteen geïmplementeerd. De diploma-aanvrager heeft de verantwoordelijkheid om het examendossier compleet te maken. Zodra compleet wordt de status ‘kandidaat’ toegewezen door het examenbureau. De (sub)-examencommissie besluit tot honorering van de diploma-aanvraag na steekproeven (*) op de betreffende examendossier. * Teneinde tekortkomingen in het proces van cijferinvoer door het examenbureau en het diplomeren eerder te signaleren en om te voorkomen dat studenten de dupe worden van een vertraagde diploma-uitgifte (= vertraagd op laatste stage kunnen vertrekken), worden vanaf kalenderjaar 2016 meerdere steekproeven (van tevoren) op de examendossiers uitgevoerd door roulerende examen-commissieleden (dat gebeurde vroeger nog vaak achteraf i.v.m. tijdsdruk). Hierdoor kan het definitieve besluit tot diplomeren vlotter en nog beter geborgd genomen worden. Van deze steekproeven wordt in de examencommissie verslag uitgebracht waarop gerichte acties worden afgesproken. Docenten zijn geïnstrueerd dat het wel is toegestaan (verplicht zelfs) om de totaalscore op het gemaakte examenproduct te noteren.

In juni 2016 zijn de dossiers Scheepvaart reeds gecheckt door de Examencommissie ten behoeve van de a.s. diplomeringen. Ook is in de Examencommissie afgesproken om nog meer tussentijdse controlemomenten in te bouwen gedurende het schooljaar om de volledigheid van de dossiers te checken en tijdig te kunnen anticiperen op eventuele tekortkomingen. Alleen bij hele hoge uitzondering werden/worden diploma’s uitgegeven waarbij de dossiers niet compleet waren/zijn, omdat het gemaakte werk was/is zoekgeraakt. In het belang van de student werd/wordt dan in de examencommissie besloten om de student niet de dupe te laten zijn van nalatig handelen van docenten en volgde/volgt een waarschuwing. In sommige gevallen werd hiervoor de hardheidsclausule toegepast. De betreffende dossiers waren ‘erfenissen’ uit de periode waarin de procedure diploma-aanvraag nog niet volledig was geïmplementeerd en stringent toegepast.

Er is in de afgelopen periode veel aandacht geweest teneinde het proces, om te komen tot goede vastgestelde examenproducten, op orde te brengen. Er is ook aandacht voor de beoordeling. Doordat de processen rondom ontwikkelen, vaststellen en beoordelen steeds meer op orde raken zal de focus verschuiven naar het managen en monitoren van de examenprocessen en daarmee ook het bewaken van de kwaliteit. Wij

18-2-2016 ● ● n.v.t. Onderdeel van het clusterjaarplan 2016-2017 is om de procedures versneld te completeren. Ook wordt gezien de schaalgrootte van het cluster, gezocht naar middelen om te assisteren bij een pro-actieve examencommissie. Hiertoe worden momenteel verkennende gesprekken met Techniek/ICT gevoerd. Een zelfevaluatie, uitgevoerd vanuit elke rol

Zelfevaluatie dient nog te worden uitgevoerd.


adviseren (mede gezien de omvang van de examenorganisatie) kritisch te kijken naar de benodigde checks and balances. Er zijn nu te veel dubbelrollen en doorbrekingen van de noodzakelijke functiescheidingen. Kijk hierbij ook over de team- en clustergrenzen.

(betrokkene), in het examineringsproces kan hierbij heel belangrijke input leveren. Deze wordt ook voor 2016-2017 ingepland.

De weging van de examens onderling is niet altijd transparant. Het OER bevat een overzicht van de kwalificerende toetsing. Per kerntaak worden diverse resultaten verwoord die meewegen binnen het oordeel per kerntaak. Van deze delen is een onderlinge weging aangeven. Niet zichtbaar uitgewerkt is hoe vanuit de diverse resultaten een definitief oordeel per kerntaak gegenereerd kan worden. (Hoe telt een oordeel “V” bijvoorbeeld in relatie tot een cijfer 8). In Eduarte is dit op de achtergrond ingeregeld maar dit is niet in de documenten terug te vinden en derhalve niet transparant. Wij adviseren de weging van een O/V/G inzichtelijk te maken in het overzicht van de kwalificerende examenonderdelen.

18-2-2016 ● ● n.v.t. Opmerkingen zijn met de constructeur(s) en vaststellingscommissie besproken en worden bij de toets-revisie meegenomen. Aanvullende scholing bij constructeurs, vaststellers en examencommissie benodigd

CINOP heeft volledige examenprogramma MAROF gescreend. Hiervan volgt binnenkort terugkoppeling met constructeurs/vaststellers. Hierbij zal de gekozen weging in het examenplan ook aan de orde komen. In schooljaar 2016-2017 zijn verdere scholingen met CINOP ingepland, waaronder o.a. scholing voor examencommissieleden en vaststellers, waarbij de procedure cesuurbepaling zeker betrokken zal worden. Bij de totstandkoming van de nieuwe examenplannen is extra aandacht geweest voor de weging van de diverse kwalificerende onderdelen onderling.

Het auditteam heeft geen duidelijke algemene uitgangspunten geconstateerd op basis waarvan de cesuur van de afzonderlijke examenproducten of het examen als geheel wordt bepaald. Ondanks het ontbreken van een verantwoorde procedure voor de cesuurbepaling leidt dit niet tot bevindingen ten aanzien van de juistheid van de cesuur, hoogstens ten aanzien van het niveau van de cesuur of de weging van de verschillende onderdelen. Desalniettemin adviseren wij toch om kritisch de cesuur in de examenonderdelen als de cesuur van het examen als geheel nog eens te bekijken en na te gaan of de gehanteerde cesuur overeenkomt met de gewenste cesuur. Dit aspect zou tijdens het proces van vaststelling meer aan de orde kunnen komen.

18-2-2016 ● ● n.v.t. Opmerkingen zijn met de constructeur(s) en vaststellingscommissie besproken en worden bij de toets-revisie meegenomen. Aanvullende scholing bij constructeurs, vaststellers en examencommissie benodigd

Zie hierboven


Doordat de beoordeling van de examens bij de binnenvaart volledig in de beroepspraktijk plaatsvindt, leidt dit tot meer risico’s. Het team voert een steekproef (bezoek) uit op ca. 30% van alle proeven. Het examenproduct is dusdanig geconstrueerd dat en weinig ruimte is voor interpretatie per beoordelingscriterium. Dit draagt bij aan de betrouwbaarheid. Daartegenover staat dat maar een beperkt deel van de schippers getraind is in het beoordelen. Naar de mening van het auditteam is het volledig uitbesteden van de examinering van deze opleiding aan externen mogelijk, maar horen daar dan meer passende waarborgen bij voor een betrouwbare beoordeling.

18-2-2016 ● ● n.v.t. Indien de formatie van het team het toelaat, zal gezocht worden naar mogelijkheden om het steekproefpercentage te verhogen. Inmiddels is alle ontwikkelgerichte toetsing voorwaardelijk gesteld voor deelname aan de kwalificerende examens. De toetsproducten worden momenteel gereviseerd teneinde de beoordelingsprotocollen aan boord makkelijker en eenduidiger hanteerbaar te maken.

Voorstel voor aanpassing beoordelingsprotocollen producten Binnenvaart is geaccordeerd in de examencommissie van 10.06.2016. Worden momenteel verder uitgewerkt. Daarnaast zijn er ontwikkelingen gaande om tot landelijk ontwikkelde en vastgestelde examenprogramma’s/-producten binnenvaart tekomen.

In de audit is geconstateerd dat bij de betrokkenen onduidelijk is wie bewaakt welke versie van een bepaald examenproduct wordt verstrekt bij een herkansing. Het advies is om af te spreken en vast te leggen wie hiervoor de verantwoordelijkheid draagt en te archiveren welke versie bij wie gebruikt is.

18-2-2016 ● ● n.v.t. De verantwoordelijkheid voor het versiebeheer valt nu onder het examenbureau. Constructeurs dienen van sommige toetsproducten nog B- en C-versies te ontwikkelen en aan te leveren t.b.v. vaststelling en opname in de examenbank.

B- en C-versies worden momenteel ontwikkeld en het versiebeheer wordt daar vervolgens op aangepast.

Het auditteam constateert een risico m.b.t. georganiseerde onafhankelijkheid. Hierbij valt te denken aan de dubbele rollen van de diverse betrokkenen. De voorzitter van de examencommissie is als clusterdirecteur integraal verantwoordelijk voor het gehele cluster en als voorzitter van de examencommissie is hij tevens eindverantwoordelijk voor de examenprocessen inclusief zak-slaag beslissing. Er zijn daarnaast nog vele dubbelrollen geconstateerd. Omdat het management ook zitting heeft in de examencommissie moet onafhankelijkheid worden georganiseerd in processen en protocollen. Het waarborgen van de mogelijkheid om als individueel lid van de examencommissie altijd te kunnen escaleren is een voorbeeld van

18-2-2016 ● ● n.v.t. Vooruitlopend op het wetsvoorstel zullen de taken van de financieel resultaatverantwoordelijke en de voorzitter van de examencommissie qua besluitvorming gescheiden moeten worden. Hiertoe zal een huishoudelijk reglement Examencommissie opgesteld moeten worden. We wachten hiervoor de centrale ontwikkelingen af. De voorzitter en secretaris hebben een Conferentie hierover bijgewoond op 1 april 2016.

Het doel van het wetsvoorstel examencommissies MBO (uit publicatie van het Servicepunt Examinering MBO) is dat de taken en verantwoordelijkheden van de examencommissies duidelijk zijn en goed worden belegd. Daarnaast geeft het wetsvoorstel aan dat het bevoegd gezag de taak heeft om de onafhankelijkheid en het functioneren van de examencommissie te waarborgen. Hierop voorsorterend en in afwachting van het definitieve model voor de examenorganisatie Scalda, is in de examencommissie van 30 september 2016 besloten om het technisch voorzitterschap van de directeur te mandateren aan Dhr. Arthur Schot (extern examencommissielid namens het logistieke


een georganiseerde onafhankelijkheid. Ook heeft de auditcommissie aandacht gevraagd voor een duidelijkere scheiding van productontwikkeling en vaststelling door de samenwerking op te zoeken met een ander team. Ook t.a.v. de zak-slaagbeslissing kan onafhankelijkheid in het proces worden bewerkstelligd. Vooruitlopend aan de weten regelgeving die in ontwikkeling is adviseren wij te zoeken naar een model waarin recht wordt gedaan aan de toekomstige eisen.

beroepenveld). Met deze mandatering zijn we ervan overtuigd dat de vergaderingen in een veilige en open sfeer zullen blijven verlopen, welke de kwaliteit van de examinering en daarmee ook ons onderwijs gegarandeerd zal blijven. Hiermee hopen we een stap verder te komen in het borgen van de onafhankelijkheid van onze examenorganisatie.

De examencommissie is vooralsnog sterk reactief gericht is op voldoen aan de eisen hetzij extern (inspectie) of intern (kaders Scalda). In de ontwikkelingsfase waarin de examencommissie zich bevindt is het van belang een meer proactief georiënteerde rol te gaan vervullen waarmee zij nog meer ’in control’ komen ten aanzien van de examenprocessen.

18-2-2016 ●/● ● n.v.t. De komende tijd ligt de prioriteit bij het opstellen van de relevante procedures als onderdeel van totale examenproces. Zie boven: o.a. steekproeven door Examencommissie worden eerder in het proces van diplomeren uitgevoerd. Extra checks and balances zullen onderdeel gaan vormen van het examineringsbeleid in 2016-2017 (o.a. zelfevaluatie).

Zelfevaluatie dient nog te worden uitgevoerd, waarna de diverse examentaken zullen worden herzien. Zodra Scalda-breed gekozen is voor een bepaald model Examenorganisatie zal het model van het cluster hierop worden afgestemd Steekproeven worden reeds vaker ingepland.

Documents

Onderwijscluster: Maritiem en Logistiek College De Ruyter Scalda · Jaarverslag Examinering Maritiem en Logistiek College De Ruyter – februari 2017 Het clusterspecifieke handboek