METEN EN VERGELIJKEN: KENGETALLEN VERZAMELEN OVER JE DIGITALE COLLECTIES

Jeroen Walterus (FARO)Gerhard Jan Nauta (DEN)

Informatie Aan Zee, 17 september 2015

Opzet• Kennismakingsrondje• Definities: digitale collectie, kengetallen, indicatoren• Waarom zijn indicatoren belangrijk?• Goede indicatoren I• Voorbeelden • Pratische oefening• Goede indicatoren II (/eisen)

Kennismakingsrondje• Achtergrond?• Instelling?• Vanwaar de keuze voor deze workshop?

[afhankelijk v.h. aantal deelnemers…]

Definities

Digitale collectie

Het totaal aan gedigitaliseerde en born-digital erfgoed objecten, inclusief de bijbehorende metadata, in een culturele (erfgoed) instelling.

Indexcijfer

Indexcijfers zijn verhoudingsgetallen. Hiermee kun je verschillende grootheden met elkaar vergelijken. Je kunt bijvoorbeeld als grootheid het aantal inwoners van Nederland nemen en de bevolkingsgroei door de jaren heen met elkaar vergelijken. Het basisjaar (het jaar wanneer je begint te meten) wordt altijd gelijkgesteld aan 100.

Een indexcijfer wordt ook wel een kengetal genoemd.

Kengetal

Een verhoudingscijfer, aangemaakt op basis van verschillende indicatoren.

IndicatorenIn essentie zijn indicatoren tekens of signalen van iets dat bestaat of waar is.

Indicatoren worden gebruikt om de aanwezigheid of toestand van iets inzichtelijk te maken.

Je zou aan de hand van indicatoren de staat van het digitaal erfgoed in een instelling of land kunnen omschrijven: Hoe staan we ervoor? Wat hebben we bereikt? Is gedaan wat van ons verwacht werd?

Een indicator is een kwantitatieve maat.

Belangrijk: een (kwantitatieve) indicator kan gebruikt worden om gegevens te verstrekken over de kwaliteit van een activiteit, een project of een programma.

Waarom zijn indicatoren belangrijk?

• Belang voor de instelling• Overkoepelend belang

Vergelijkbaarheid: ideaal zijn indicatoren die beide belangen dienen

Inzicht in trends en ontwikkelingen over de langere termijn

Beter inzicht in het functioneren van de eigen instelling

Extra informatie voor een gefundeerd cultuurdebat

Materiaal voor vergelijking met andere sectoren/instellingen/op andere schaal

Soorten indicatorenKwantitatieve indicatoren – Data meten op een numerieke schaalBijv. percentage instellingen met born-digital collecties

Prestatieindicatoren – Meten effectiviteit v.e. activiteit, project of programmaBijv. aantal EU gefinancierde digitaliseringsprojecten dat de afgesproken digitaliserings-targets behaald heeft

Indicatoren van succes – Het meten van de verdiensten van een activiteit, project of programmaBijv. percentage van de geaccumuleerde digitale collecties in de EU dat via het Europeana portal beschikbaar is voor het publiek [straks een voorbeeld]

Accountability – Verantwoording afleggen over de prestaties en/of resultaten v.e. activiteit, project of programmaBijv. percentage erfgoedinstellingen dat op het gebied van digitale duurzaamheid werkt volgens internationale standaarden

Goede indicatoren I

Duidelijkheid en Beknoptheid

Een goede indicator is duidelijk en beknopt. Zo’n indicator zoomt in op iets enkelvoudigs dat relevante informatie kan verschaffen over de stand van zaken. Het ideaal is informatie die de strategische inzichten oplevert, welke je nodig hebt voor effectief plannen maken en het verantwoord nemen van beslissingen.

Practische uitvoerbaarheid / Acuratesse

Een ander kenmerk van goede indicatoren is dat het verzamelen van de gewenste betrouwbare en geloofwaardige data doenlijk is. Verder typeert goede indicatoren dat ze precies en op het juiste moment meten wat ze zouden moeten meten. (Als het practisch ondoenlijk is om de benodigde data - op het juiste moment - te verzamelen, of als de verzamelde data van geen belang zijn, is de indicator nutteloos.)

Twee accenten

• Lokaal belang (insteling)• Overkoepelend belang (koepelorganisatie, regio, land)

Voorbeelden

Indicatoren Cultuurindex Nederland

• AEX voor de culturele sector• 80 indicatoren, 11 kernindicatoren, 4 pijlers

Capaciteit

Ondernemingen/ instellingen

Infrastructuur

Arbeidsmarkt

Geldstromen

Inkomsten (excl. overheid)

Overheids-bijdragen

Omzet creatieve industrie

Participatie

Bezoek

Beoefening

Consumptie

Concurrentie-kracht

Nationaal

Internationaal

Indicatoren Cultuurindex – voorbeeld 1

2005 2007 2009 201190

100

110

120

Capaciteit

Participatie

Geldstromen

Concurrentiekracht

Totaalindex

Indicatoren Cultuurindex – voorbeeld 2

Indicatoren ENUMERATE

• Thematisch Netwerk; Europeana; Observatory• Core Survey 1-3: 20 indicatoren, verdeeld over 4 thema’s

Aanbod

Voortgang digitalisering

Beleid ja/nee

Kosten

Jaarlijkse kosten

Ratio structurele – incidentele kosten

Vraag

Soorten gebruik

Monitoring

Duurzaamheid

Beleid ja/nee

Standaarden

Groei van digitale collecties (Aanbod)

• Aanwezigheid digitale erfgoed collectie• Aanwezigheid born digital erfgoed collectie• Aanwezigheid van beleid m.b.t. groei digitale collecties• Percentage beschreven in collectieregistratie-systeem• Percentage digitaal gereproduceerd• Percentage nog digitaal te reproduceren (per object type)

Indicatoren ENUMERATE – voorbeeld 1

Total

Other type of institution

Library

Museum

Archive/Records office

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

84%

82%

79%

87%

89%

41%

51%

39%

42%

38%

Written strategy Digital collection

Digitale collectie ja/nee (n=993) en digitaliseringsbeleid ja/nee (n=835)

Indicatoren ENUMERATE – voorbeeld 2

Praktische oefening – in groepjes• Brainstormen: wat zou je willen weten over de digitale collecties

van je eigen instelling? Noteer alle mogelijke indicatoren. Kies daarna met de groep gezamenlijk 1 indicator uit per thema/pijler: aanbod, vraag, geldstromen, duurzaamheid.

• Concretiseren: bespreek met de groep de uitgekozen indicator en stel vast:• Of en hoe je de gegevens verzamelt of zou kunnen verzamelen• Hoe vaak je zou moeten verzamelen

• Verantwoording: bespreek met de groep per thema/pijler en uitgekozen indicator de volgende punten:• Voor wie zijn de verzamelde gegevens bedoeld?• Wat heb je er aan (/gehad)?

• Presenteren. Korte presentatie: per groep presenteert één persoon kort de bevindingen.

Wat maakt een indicator goed?

Wat maakt een indicator goed?

Gericht op actie: de indicator moet iets bewerkstelligen. Als het moeilijk is om je voor te stellen wat je in de praktijk met de gegevens van een indicator kunt doen is het waarwschijnlijk geen goede indicator.

Van gewicht: betrokkenen moeten het erover eens zijn dat de bij de indicator verzamelde gegevens substantieel bijdragen aan het verhelderen/verbeteren van bijv. de dienstverlening van een instelling.

Meetbaar: het moet niet alleen duidelijk zijn hoe de benodigde gegevens verzameld worden, maar het verzamelen moet ook haalbaar en betaalbaar zijn.

Simpel: het is vaak effectiever om te werken met simpele, voor alle betrokkenen begrijpelijke indicatoren, dan om veel tijd en geld te steken in het ontwikkelen van de perfecte indicator…

Voorbeeld van een goed gedefinieerde indicator

kenmerk voorbeeldTitel  Definitie  Doel  Rationale  Meetmethode  (Teller/Noemer)  Berekening  Verzamel-wijze data  Verzamel-gereedschap  Verzamel-frequentie  Disaggregatie  Guidelines  Sterke/zwakke punten  Uitdagingen  Bronnen