Bestuursovereenkomsten : contractualisering binnen de sociale zekerheid in België

FOD Sociale ZekerheidDG Sociaal Beleid

Evaluatie van een bestuursovereenkomstPagina 1

21-02-2005

Bestuursovereenkomsten : contractualisering binnen de sociale zekerheid in België

Deel 2 : evaluatie van een bestuursovereenkomst

21/02/2005



21-02-2005

1. Inleiding



21-02-2005

Kader van de evaluatie

• Art.8§4 KB 3 april 1997– Over de eerste bestuursovereenkomst wordt door de

Voogdijminister verslag uitgebracht aan de Ministerraad gedurende de zevenentwintigste maand na de inwerkingtreding ervan.

• Uitvoerder– FOD Sociale Zekerheid (DGSOC)– Met behulp van

• Het Instituut voor de Overheid• Deloitte & Touche

• Periode : februari – juni 2004• Doelstellingen van de evaluatie

– Opmaak van een evaluatiemethodologie– Opmaken van een stand van zaken van de uitvoering van de

bestuursovereenkomst – Aanreiken van aandachts- en verbeterpunten m.b.t. het

proces en het instrument van de bestuursovereenkomsten



21-02-2005

Context van de evaluatie

• De eerste bestuursovereenkomsten zijn nog lopend – Nog één jaar– Voorlopige realisatiegraad

• De bestuursovereenkomsten werden voor de eerste keer afgesloten – Leerproces nodig en aan de gang– Verbeteringsgerichtheid van de evaluatie

• De bestuursovereenkomsten hebben betrekking op het beheer van de instellingen – Geen beleidsdoelstellingen– Wel beheersdoelstellingen– Niet alle activiteiten van de OISZ gedekt door de

evaluatie



21-02-2005

Resultaten van de evaluatie

• Verslaggeving– Een verslag instelling, over de uitvoering van de

Bestuursovereenkomst 2002-2004 ;• Bijlage 1: Overzicht van de beschikbare en gehanteerde

documenten• Bijlage 2: Stand van zaken van de uitvoering van de

bestuursovereenkomst• Bijlage 3: Overzicht van aangehaalde interveniërende factoren bij

de uitvoering van de bestuursovereenkomst• Bijlage 4: Overzicht van de belangrijkste feiten en data m.b.t. het

afsluiten en uitvoeren van de bestuursovereenkomst• Bijlage 5: Budgettaire cyclus - beheerskredieten

– Een syntheseverslag met een aantal overkoepelende vaststellingen en aandachtspunten met betrekking tot de eerste bestuursovereenkomsten afgesloten door tien openbare instellingen van sociale zekerheid .

• De Ministerraad heeft akte genomen van de verslagen op 3 december 2004



21-02-2005

2. De theoretische model



21-02-2005

De doelmatigheidscyclus

• Besluitvormingproces binnen een overheidsorganisatie

• Modellen in 8 fasen

Behoeften

Strategische doelstellingen

Operationele doelstellingen

Input/middelen Activiteiten Prestaties Effecten

Werkingsprincipes Omgevingsfactoren



21-02-2005

Het principe van de strategische cascade

• Beleid van een organisatie wordt gerelateerd in concrete geplande acties via cascade van doelstellingen– Strategische doelstellingen– Operationele doelstellingen– Acties

• Definities– SD : algemene richtlijnen die richting geven aan de

activiteiten van een organisatie op een min of meer lange periode

– OD : concrete en meetbare resultaten die ter verwezenlijking van de SD bereikt moeten worden op korte termijn

– Acties : dagelijkse activiteiten die gevoerd moeten worden om de OD-resultaten te bereiken



21-02-2005

De model toegepast op een OISZ

• Behoefteanalyse iets moeilijker

• 3 evaluaties nodig

• Welke kiezen ?

Strategische verbintenissen

(BO)

Omgevings-behoeften prognose

Politieke wensen tijdens de onderhan-delingen


(BO)

Actieplannen bij bestuursplan

Prestaties

Resultaten

Algemene resultaten /

effecten

Evaluatie

Planning Uitvoering

Toegewezen opdrachten

Algemene strategische

planning



21-02-2005

3. Fundamentele keuzen bij de methode en gevolgen



21-02-2005

De nood voor een focus voor de evaluatie : de eis van operationalisering

3 evaluaties mogelijk• Strategische engagementen vs algemene resultaten

– Grote interpretatiegraad mogelijk– Invloed van omgevingsfactoren

• Actieplannen vs gevoerde acties– Inbreuk op autonomie van OISZ

• Operationele doelstellingen vs resultaten– Interpretatiegraad beperkt– Meestal bij BO– Invloed van omgevingsfactoren meetbaar

Gevolgen : aanwezigheid van OD in de

bestuursovereenkomst



21-02-2005

De nood van een ideaal type : de eis van normering

• Nood aan een ideaal type– Ideale resultaat

• Als geplande middelen beschikbaar en gebruikt zijn• Als omgevingsfactoren geen invloed uitoefenen

– Norm : prisma om resultaten te bekijken en te beoordelen

• Criteria – SMART

• S (specifiek), M (meetbaar), A (achievable : realiseerbaar), R (relevant), T (tijdsgebonden)

– Verhoest & Voets• Systematiek• Niet bureaucratisch (beheersbaar & zuinig)• Flexiebel• Toekomstgericht• Rekening houdend met beschikbare middelen

• Gevolgen : aanwezige OD moeten deze criteria respecteren



21-02-2005

De nood aan een evaluatieobject : de eis van kwaliteit bij de rapportering

• Voldoende informatie over wat geëvalueerd zal worden

• Criteria– Leesbaarheid & duidelijkheid– Consistentie : validiteit, nauwkeurigheid & volledigheid– Betrouwbaarheid : betrouwbare, constante en

pertinente PMS die de termijnen respecteert

• Gevolgen : rapporteringdocumenten van OISZ en verslagen van de RC moeten deze criteria respecteren



21-02-2005

Gevolgen voor de analyse

• Evaluatie = vergelijking tussen een ideaal type en een evaluatie-object

• 3 kwaliteits-vereisten

Strategische verbintenissen

(BO)

Omgevings-behoeften prognose

Politieke wensen tijdens de onderhan-delingen


(BO)

Actieplannen bij bestuursplan

Prestaties

Resultaten

Algemene resultaten /

effecten

Planning Uitvoering

Toegewezen opdrachten

Opdrachten

27de maand verslag

Evaluatieobject

Ideaal type

Norm(en)



21-02-2005

4. Uitvoering van de evaluatie



21-02-2005

Procedure

• Fase 1 : herstructurering– Strategische verbintenis

• Operationele doelstelling– Norm(en)

• Fase 2 : invoeging resultaatsgegevens• Fase 3 : evaluatie

– Jaar per jaar– Voor beide jaren

• Gerealiseerd• Niet gerealiseerd• Voorwaardelijk gerealiseerd• Partiële informatie

• Fase 4 : verslaggeving



21-02-2005

Resultaat : de evaluatiefiche

Normen Resultaten BO-

nr

Generieke

nr. Beschrijving

2003 2004 2005 2003 2004

Doel-

bereiking

2003- 2004

Opmerkingen

1 Opdracht 1

1.1. Verbintenis 1.1.

1.1.1. OD1.1.1. …

Ind. …. …. …. …. …. …. ….

Ind. …. …. …. …. …. ….

….

….

1.1.2. OD 1.1.2. … …. …. …. …. …. …. ….

1.2. Verbintenis 1.2.

1.2.1. OD 1.2.1. … …. …. …. …. …. …. ….

….



21-02-2005

Succesfactoren

• Overleg met geëvalueerde OISZ– Uitleg– Maar ook deelname aan evaluatie– Maar ook antwoordmogelijkheid

• Validatie van de resultaten– 2 soorten

• Extern vs intern• Nauwkeurigheid, geldigheid, betrouwbaarheid

– 3 validatie ronden

Fase 1 : herstructurering

Fase 2 : resultaat-gegevens

Fase 3 : evaluatiescores

Validatieround 1 :• door de OISZ / RC• nauwkeurigheid & geldigheid

Validatieround 2 :• door de OISZ / RC• nauwkeurigheid & geldigheid

Fase 4 : verslaggeveing

Validatieround 3 :• door een andere evaluator• betrouwbaarheid



21-02-2005

Succesfactoren (vervolg)

• Flexibele methode– Oog voor opmerkingen van OISZ– Te veranderen naargelang tegemoet problemen

• Verbeteringsgerichtheid– Voorwaardelijk gerealiseerd ?– Wat is de doelstelling van de evaluatie ?



21-02-2005

Ondervonden problemen

• Operationaliseringsgraad– BO niet voldoend– Bestuursplan >< autonomie van de OISZ

• Aanpassingen– Probleem bij de procedure– Visum van RC voldoend ?

• Geen auditsysteem– Vertrouwen in professionalisme van OISZ is voldoend ?

• Omgevingsfactoren– Verbintenis van de Staat– Maar

• Geen risicoplanning• Geen veiligheidsmarge• Geen alternatieve verbintenissen



21-02-2005

5. Conclusies



21-02-2005

Evaluatie van de evaluatie

• Pluspunten– Er is een evaluatie– Mate van realisatie vastgesteld– Dynamiek voor onderhandelingen / verbetering

volgende BO

• Minpunten– Gebrek aan kwaliteitsgaranties– 15 à 20 % doelstellingen niet geëvalueerd !– Omgevingsfactoren

• Toekomst– Kwaliteit BO / rapportering

• Kwaliteitscriteria• Kwaliteit-check

– Audit– Aanpassingsprocedure



21-02-2005

Voor meer info

Amaury LegrainFOD Sociale Zekerheid – [email protected]

Voorlopige adres:CENTRUM 58

C930Zwarte Lievevrouwstraat 3C

1000 BRUSSEL

Toekomstige adres (vanaf 07 maart 2005) :

Victor Hortaplein 40, bus 201060 Brussel

Documents

Bestuursovereenkomsten : contractualisering binnen de sociale zekerheid in België