Badanie efektywności bibliotek publicznych i pedagogicznych

Lidia Derfert-Wolf

Biblioteka Główna Uniwersytetu Technologiczno-Przyrodniczego w Bydgoszczy

X Ogólnopolska Konferencja z cyklu „Automatyzacja Bibliotek Publicznych” pt. „Modele współpracy bibliotek publicznych – czy razem możemy więcej, szybciej, lepiej?”, 7-8 listopada 2012 r., Warszawa

Realizacja „Strategii Stowarzyszenia Bibliotekarzy Polskich na lata 2010-2021”

Konteksty

zmiany technologie, metody uczenia się, sposoby komunikowania, itp. szanse i zagrożenia

kryzys finansowy zagrożenia współpraca, udział w projektach,

nowe inicjatywy szanse potrzeba (i moda?)

demonstrowanie wartości bibliotek– raport ”Po co Polakom biblioteki?”

- po 3 latach realizacji Programu Rozwoju Bibliotek

– manifest IFLA w sprawie statystyki bibliotecznej (już po polsku!)

Od statystyki do oceny działania

Co biblioteka posiada, co realizuje?

Jak biblioteka spełnia cele, jaki ma wpływ na otoczenie i ile jest warta?

statystyka ISO 2789 GUS

sprawozdania

pomiary funkcjonalności i jakości (ISO 11620)

badania użytkowników (ISO 11620)

badania wpływu (ISO 16439)

Statystyka

wejście (input) wyjście (output)

procesy

Wskaźniki funkcjonalności

Misja i cele biblioteki

Wpływ (impact)

Wartość (value)

Satysfakcja i opinie użytkowników

Od statystyki do oceny działania

Geneza projektu SBP „Badanie efektywności bibliotek publicznych i pedagogicznych”

Projekt AFBN i doświadczenia bibliotek naukowych

Strategia Stowarzyszenia Bibliotekarzy Polskich na lata 2010 – 2021

Cel szczegółowy I.3 Inicjowanie opracowania i upowszechniania istniejących standardów w dziedzinie bibliotekarstwa

Zadanie: I.3.1.2: Badanie efektywności bibliotek publicznych i pedagogicznych

powołanie przez SBP Zespołu ds. badania efektywności bibliotek publicznych i pedagogicznych – 2010 r.

rozpoczęcie prac – czerwiec 2010 r.

projekt współfinansowany z dotacji Fundacji Rozwoju Społeczeństwa Informacyjnego (FRSI) dla SBP

opracowanie propozycji wskaźników funkcjonalności bibliotek publicznych

opracowanie propozycji wskaźników funkcjonalności bibliotek pedagogicznych

określenie i opisanie danych statystycznych do obliczania wskaźników funkcjonalności

przygotowanie narzędzia do automatycznego obliczania wskaźników

Zakładane efekty projektu

Etapy realizacji projektu

1. zebranie materiałów na temat stanu badania efektywności bibliotek w Polsce i na świecie

• http://www.sbp.pl/artykul/?cid=1570&prev=521

• wnioski

– współpraca bibliotek narodowych, stowarzyszeń bibliotekarskich oraz urzędów statystycznych

– statystyki zbierane w oparciu o normę ISO 2789

– dane i analizy publicznie dostępne w internecie

2. opracowanie celów, założeń i obszarów/grup wyznaczania wskaźników krajowego zestawu wskaźników funkcjonalności dla bibliotek

3. opracowanie krajowych zestawów wskaźników dla bibliotek publicznych i pedagogicznych

4. testowanie wskaźników funkcjonalności

dostarczenie kierującym bibliotekami narzędzia do zarządzania

wsparcie dla tworzenia strategicznych planów rozwoju bibliotek

dostarczenie władzom nadrzędnym i organizatorom narzędzia do monitoringu postępów działania oraz oceny wykonania zadań

dostarczenie narzędzia do badań porównawczych bibliotek (benchmarking)

dostarczenie materiałów do działań promocyjnych na rzecz bibliotek (w skali lokalnej i ponadlokalnej)

dostarczenie materiałów do pozyskiwania grantów, dotacji, itp.

Cele projektu

wskaźniki dobierane z punktów widzenia użytkownika organizatora zarządzającego biblioteką [biblioteki pedagogiczne] organu sprawującego nadzór pedagogiczny

perspektywa dalszego rozwoju bibliotek

baza - łatwo dostępne dane statystyczne

możliwość rozwoju wskaźników w kolejnych latach, np. o „satysfakcję użytkowników” obliczaną na podstawie ankiety jednolitej w skali kraju

skorelowanie danych do obliczania wskaźników z wymaganymi przez GUS

gromadzenie danych z bibliotek wg ujednoliconego formularza elektronicznego automatyczne obliczanie wskaźników

wskaźniki analizowane i porównywane w zależności od wielkości obsługiwanej populacji i/lub typu biblioteki

Założenia tworzenia krajowego zestawu wskaźników funkcjonalności dla bibliotekpublicznych/pedagogicznych

ISO 11620:2008 Information and documentation – Library performance indicators PN-ISO:2012 Informacja i dokumentacja – Wskaźniki funkcjonalności bibliotek (norma przetłumaczona na język polski i ustanowiona przez PKN w ramach zadania SBP)

Poll, R., Te Boekhorst, P. Measuring Quality. Performance Measurement in Libraries, 2007

AFBN – Analiza Funkcjonowania Bibliotek Naukowych w Polsce

Global Library Statistics (IFLA/SEC)

niemiecki projekt BIX

norweskie wskaźniki dla bibliotek publicznych

Związki z międzynarodowymi i krajowymi działaniami / badaniami jakości bibliotek

usystematyzowane zgodnie z założeniami Zrównoważonej Karty Wyników i perspektywami oceny z normy PN-ISO 11620:2012

zasoby (pracownicy, zbiory i infrastruktura)

korzystanie z biblioteki wydajność potencjał i rozwój

Wskaźniki funkcjonalności dla bibliotek publicznych/pedagogicznych

W ramach każdej perspektywy pogrupowane wg zagadnień: Kolekcja Dostęp Wyposażenie Personel Ogólne

1) Liczba zbiorów bibliotecznych w przeliczeniu 1000 osób obsługiwanej populacji / na użytkownika*

2) Liczba tytułów czasopism bieżących w przeliczeniu na 1000 osób obsługiwanej populacji / na użytkownika*

3) Liczba zakupionych książek w przeliczeniu na 1000 osób obsługiwanej populacji / na użytkownika*

4) Liczba nabytków w stosunku do liczby zbiorów zbiorów bibliotecznych

5) Liczba ubytków w stosunku do liczby zbiorów zbiorów bibliotecznych

6) Zbiory opracowane komputerowo w stosunku do ogólnej liczby zbiorów

7) Przestrzeń dostępna dla użytkowników w przeliczeniu na osobę obsługiwanej populacji / na użytkownika*

8) Liczba publicznie dostępnych stanowisk komputerowych z dostępem do internetu w przeliczeniu 1000 osób obsługiwanej populacji / Liczba użytkowników przypadająca na jedno stanowisko komputerowe z dostępem do Internetu*

9) Liczba godzin w tygodniu, w których dostępne są usługi biblioteczne

10) Personel w przeliczeniu na 1000 osób obsługiwanej populacji / Użytkownicy w przeliczeniu na pracownika biblioteki*

11) Wypożyczenia w przeliczeniu na osobę obsługiwanej populacji / na użytkownika*

Wskaźniki funkcjonalności dla bibliotek publicznych/pedagogicznych

* dla bibliotek pedagogicznych

12) Wykorzystanie zbiorów w bibliotece w przeliczeniu na osobę obsługiwanej populacji / na użytkownika*

13) Aktywność wykorzystania zbiorów (obrót)

14) Odwiedziny fizyczne w bibliotece w przeliczeniu na osobę obsługiwanej populacji / na użytkownika*

15) Odwiedziny wirtualne w przeliczeniu na osobę obsługiwanej populacji / na użytkownika*

16) Udział użytkowników w imprezach bibliotecznych w przeliczeniu na 1000 osób obsługiwanej populacji / Średnia liczba osób uczestniczących w imprezach bibliotecznych*

17) Liczba uczestników szkoleń dla użytkowników w przeliczeniu na 1000 osób obsługiwanej populacji / Średnia liczba osób uczestniczących w szkoleniach organizowanych przez bibliotekę*

18) Procent populacji docelowej objętej usługami / Nauczyciele - użytkownicy jako procent nauczycieli w rejonie objętym działalnością biblioteki*

19) Koszt w przeliczeniu na odwiedziny w bibliotece

20) Stosunek wydatków na gromadzenie i obsługę zbiorów do kosztów personelu

21) Wydatki biblioteki w przeliczeniu na użytkownika

22) Wydatki na zbiory elektroniczne jako procent wydatków na gromadzenie zbiorów

23) Wydatki na zbiory biblioteczne w przeliczeniu na osobę obsługiwanej populacji / na użytkownika*

Wskaźniki funkcjonalności dla bibliotek publicznych/pedagogicznych

* dla bibliotek pedagogicznych

24) Usługi sieciowe i/lub interaktywne • udostępnianie katalogów w internecie• elektroniczne zamawianie / rezerwacja poprzez katalog online• elektroniczna prolongata poprzez katalog online• elektroniczne powiadamianie czytelników o terminie zwrotów (e-mail, sms)• witryna www• tematyczne zbiory linków• elektroniczna informacja, np. formularz e-mail, komunikatory• interaktywne szkolenia online • blogi• kanał RSS• biuletyny, newslettery • biblioteka cyfrowa (samodzielna albo udział)

25) Liczba godzin udziału w szkoleniach zawodowych w przeliczeniu na pracownika biblioteki

26) Wykwalifikowani pracownicy biblioteki jako procent wszystkich pracowników [tylko biblioteki publiczne]

27) Procent budżetu organizatora przeznaczany na bibliotekę

28) Procent budżetu biblioteki uzyskany z grantów specjalnych lub dochodów własnych

Wskaźniki funkcjonalności dla bibliotek publicznych/pedagogicznych

* dla bibliotek pedagogicznych

Dane statystyczne wymagane do obliczania wskaźników

w 90% skorelowane z danymi wymaganymi przez GUS (formularz K-03 dla danych z 2011 r.)

32 dane dla bibliotek publicznych, 34 – dla pedagogicznych szczegółowo objaśnione i skonsultowane z bibliotekami

testującymi objaśnienia na bieżąco modyfikowane i uzupełniane http://www.sbp.pl/repository/dokumenty/strategia/2011/

wykaz_wskaznikow_publiczne_portal_SBP_04_2012.pdf http://www.sbp.pl/repository/dokumenty/strategia/2011/

Wskazniki_pedagogiczne_maj_2012.pdf

Badania pilotażowe w bibliotekach publicznych

Cel badań: nie porównania, ale testowanie sposobu gromadzenia i analizy danych

styczeń 2011 – inauguracja

18-19.04.2011 – seminarium dla przedstawicieli bibliotek testujących

cały 2011 r. – gromadzenie danych przez biblioteki

luty 2012 r. - przekazanie bibliotekom testującym formularzy do zestawienia danych statystycznych

od 10 marca 2012 r. odbiór danych z bibliotek

10-30.03 2012 r. – korekta i analiza danych

3-4.04.2012 r. – warsztaty podsumowujące

05-07.2012 – dalsza korekta danych; analiza skorygowanych danych

sierpień 2012 – rozpowszechnienie analizy wśród bibliotek testujących

Badania pilotażoweBiblioteki koordynujące w regionach

Książnica Podlaska w Białymstoku Wojewódzka i Miejska Biblioteka Publiczna w Bydgoszczy Wojewódzka i Miejska Biblioteka Publiczna w Gorzowie

Wielkopolskim Wojewódzka i Miejska Biblioteka Publiczna w Rzeszowie Książnica Pomorska w Szczecinie Książnica Kopernikańska w Toruniu Dolnośląska Biblioteka Publiczna we Wrocławiu

oraz Miejska Biblioteka Publiczna w Szczecinie Miejska Biblioteka Publiczna we Wrocławiu

Badania pilotażoweBiblioteki uczestniczące

biblioteki wojewódzkie – 7 biblioteki gminy miejskiej – 19

obsługiwana populacja do 20 tys. – 2 obsługiwana populacja 20-50 tys. – 8 obsługiwana populacja 50-100 tys. – 5 obsługiwana populacja 100-500 tys. – 3 obsługiwana populacja powyżej 500 tys. – 1

biblioteki gminy miejsko-wiejskiej (populacja 10-15 tys.) – 18 biblioteki gminy wiejskiej (populacja 5-10 tys.) – 19

Łącznie 63 biblioteki

Przykładowe wyniki Biblioteki wojewódzkie (7) – zasoby, dostęp,

infrastruktura

Wskaźnik średnia mediana max min

Liczba zbiorów bibliotecznych w przeliczeniu na 1000 osób obsługiwanej populacji 2777,14 3317,15 4076,92 647,99

Liczba tytułów czasopism bieżących w przeliczeniu na 1000 osób obsługiwanej populacji 4,72 2,84 17,06 0,90

Liczba zakupionych książek w przeliczeniu na 1000 osób obsługiwanej populacji 37,55 35,22 86,61 6,16

Liczba nabytków w stosunku do liczby zbiorów bibliotecznych (%) 3,22 3,25 4,73 1,68

Liczba ubytków w stosunku do liczby zbiorów bibliotecznych (%) 3,69 4,30 6,51 0,71

Zbiory opracowane komputerowo w stosunku do ogólnej liczby zbiorów (%) 64,47 58,66 95,06 30,00

Przykładowe wyniki

Biblioteki gminy wiejskiej (19) – potencjał i rozwój Usługi sieciowe i/lub interaktywne N (19) %

udostępnianie katalogów w Internecie 5 26,32

elektroniczne zamawianie / rezerwacja poprzez katalog online 0 0

elektroniczna prolongata poprzez katalog online 0 0

elektroniczne powiadamianie czytelników o terminie zwrotów (e-mail, sms) 3 15,79

własna witryna www 11 57,89

elektroniczna informacja na własnej witrynie WWW, np. formularz e-mail, komunikatory 10 52,63

interaktywne szkolenia online na własnej witrynie WWW 2 10,53

blogi 1 5,26

kanał RSS na własnej witrynie WWW 1 5,26

profile w portalach społecznościowych (np. Facebook, Twitter) 8 42,11

biuletyny, newslettery na własnej witrynie WWW 1 5,26

biblioteka cyfrowa (samodzielna albo udział) 1 5,26

O czym należy pamiętać?

wskaźniki nie pokazują pełnego potencjału danej biblioteki

wskaźniki należy zestawiać z misją i celami danej biblioteki

wskaźniki NIE stanowią jedynego narzędzia oceny biblioteki

Działania towarzyszące projektowi i dalsze plany

„Statystyka w bibliotece” Manifest IFLA - polskie tłumaczenie http://www.sbp.pl/repository/dokumenty/IFLA_Manifest_statystyka_biblioteczna-23_01.pdf

opracowanie „Aplikacji do gromadzenia, analizy i prezentacji wskaźników funkcjonalności bibliotek” specyfikacja powstała w 2011 r. program przeznaczony dla wszystkich typów bibliotek testowanie (I kwartał 2013 r.)

prace nad standardowym kwestionariuszem do badań satysfakcji użytkowników bibliotek

promocja projektu badania pilotażowe w bibliotekach pedagogicznych dalsze testowanie w bibliotekach publicznych (więcej bibliotek)

Sporo już mamy . . .

dane statystyczne

doświadczenie w ich gromadzeniu

kilka liczących się przedsięwzięć w zakresie statystyki bibliotecznej i badań efektywności

wiedzę o doświadczeniach innych krajów i panujących trendach

polską wersję normy ISO 11620

liczne grono bibliotek testujących i zaangażowanych bibliotekarzy!

. . . ale jeszcze potrzebujemy

wskaźnika „satysfakcja użytkownika” programu komputerowego do gromadzenia i analizy danych polskiego tłumaczenia normy ISO 2789 „Międzynarodowa

statystyka biblioteczna” (2013) współpracy w ramach różnych projektów krajowych

dotyczących statystyki bibliotecznej i badań efektywności szkoleń

– metody analizy i interpretacji danych

– sposoby przedstawiania danych i wskaźników

– sposoby wykorzystywania danych i wskaźników do różnych celów

Lidia Derfert-Wolf - Kierownik (Uniwersytet Technologiczno-Przyrodniczy w Bydgoszczy), Joanna Burska (Wojewódzka Biblioteka Publiczna w Olsztynie) – od czerwca 2012 Artur Jazdon (Biblioteka Uniwersytecka w Poznaniu) Małgorzata Jezierska (Biblioteka Narodowa) Marek Jurowski (Książnica Kopernikańska) – do czerwca 2012 r. Danuta Kaczmarek (Wojewódzka i Miejska Biblioteka Publiczna w Bydgoszczy) Grażyna Leonowicz (Pedagogiczna Biblioteka Wojewódzka im. KEN w Warszawie) Agnieszka Pietryka (Ośrodek Rozwoju Edukacji w Warszawie) Teresa Szmigielska (Biblioteka Sejmowa) – do czerwca 2012 r. Aldona Zawałkiewicz (Biblioteka Pedagogiczna w Toruniu) obserwator: Danuta Brzezińska (Towarzystwo Nauczycieli Bibliotekarzy Szkół Polskich)

Eksperci: prof. dr hab. Ewa Głowacka (UMK Toruń) Teresa E. Śliwińska (Książnica Podlaska) prof. dr hab. Dariusz Wojakowski (AGH)

Z ramienia ZG SBP opiekę sprawuje Joanna Pasztaleniec-Jarzyńska

Projekt SBP realizuje Zespół

Przydatność wyników badań dla ...

zarządzających bibliotekami do bieżącego zarządzania podejmowania działań naprawczych pisania planów rozwojowych, wniosków o granty, itp. porównania swoich wyników z innymi bibliotekami prezentowania słabych i mocnych stron biblioteki

organizatorom stowarzyszeń i organizacji bibliotekarskich

prezentowania społeczeństwu wartości i znaczenia biblioteki organizatorów instytucji finansujących i sponsorów badaczy społeczeństwa