Professionalisierung von Peer Review Evaluationen Hat die Begutachtungserfahrung von Peers einen Effekt auf die Evaluationsergebnisse? Eine Präsentation von Juliane Mosel
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 2
Agenda
1. Einführung
Technische Universität Darmstadt – Kurzprofil
Integriertes Qualitätsmanagement an der TU Darmstadt
2. Analyse der bis heute durchgeführten Evaluationen
Zusammensetzung der Kommissionen
Empfehlungen der Kommission und Zielvereinbarungen
Merkmale der Verfahren
Geschlecht und Nationalität der Evaluationskommissionen
3. Fazit und Ausblick
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 3
Herkunft
gegründet 1877
verankert In der Metropolregion Rhein-Main-Neckar, einer der dynamischsten und stärksten Regionen Europas
gefördert Durch mehr als 240,9 Millionen Euro vom Land Hessen und 160,3 Millionen an Drittmitteln
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 4
Menschen
25.100 Studierende
293 Professorinnen und Professoren
2.400 wissenschaftliche Mitarbeiterinnen und Mitarbeiter
1.850 administrativ-technische Mitarbeiterinnen und Mitarbeiter
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 5
Richtungen
13 Fachbereiche
5 Studienbereiche
110 Studiengänge
6 Sonderforschungsbereiche
7 Graduiertenkollegs
1 Exzellenz-Forschungs-Cluster
2 Exzellenz Graduate-Cluster
3 LOEWE-Exzellenz-Zentren
8 LOEWE-Exzellenz-Schwerpunkte
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 6
Fächerspektrum und Fachbereiche
13 FBs
50%
35 % 15%
13
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 7
Instrument zur ganzheitlichen Qualitätssicherung
Grundlage für Zielvereinbarungen
Rechenschaftslegung
Austausch über best practices
Unterstützung bei der Strategie- und Profilbildung
Unterstützung bei der strategischen Hochschulsteuerung und -entwicklung
Institutionelle Evaluation
Institutionelle Evaluation
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 8
Institutionelle Evaluation
Ganzheitlicher Ansatz
zu begutachtende Bereiche:
Struktur und Organisation
Forschung
Nachwuchsförderung
Studium und Lehre
Einbindung der Ergebnisse anderer Qualitätssicherungsinstrumente
alle Einheiten der Universität
Einbindung aller Statusgruppen der Einheit
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 9
Überblick über Verfahrensstand (2009-heute)
Anzahl Verfahrensstand
7 (Teil-)Fachbereiche Umsetzung der Zielvereinbarung (Monitoring)
4 Fachbereiche Zielvereinbarungsprozess
2 (Teil-)Fachbereiche Laufende Verfahren, Begehungen im WS 2014/15
1 Fachbereich ausstehend
1 Zentrale Einrichtung Umsetzung der Zielvereinbarung (Monitoring)
Zentrale Verwaltung Zielvereinbarungsprozess
2. Zyklus Fachbereiche geplant ab 2015
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 10
Selbstevaluation und Selbstbericht
Vor-Ort-Begehung
Evaluationsbericht
Stellungnahme zum Evaluationsbericht
Verhandlung und Unterzeichnung
Maßnahmenprogramm
Stellungnahme zur Zielvereinbarung
Entwurf der Zielvereinbarung
Umsetzung und Berichtswesen
Zentrales Monitoring
Zielvereinbarung und Maßnahmenprogramm
Umsetzung und Monitoring
Eröffnung des Verfahrens Begutachtung
Benennung der Evaluations-kommission
Schaubild: M. Hagemeister, 2012.
Fachbereich
Präsidium der TU Darmstadt
Referat Qualitätsmanagement
Evaluationskommission
Hochschulrat | Senat
Verfahrensablauf im Überblick
Selbstevaluation und Selbstbericht
Benennung der Evaluations-kommission
Vor-Ort-Begehung
Evaluationsbericht
Stellungnahme zum Evaluationsbericht
Verhandlung und Unterzeichnung
Maßnahmenprogramm
Stellungnahme zur Zielvereinbarung
Entwurf der Zielvereinbarung
Umsetzung und Berichtswesen
Zentrales Monitoring
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 11
Selbstevaluation und Selbstbericht
Eröffnung des Verfahrens
Benennung der Evaluations-kommission
Benennung der Evaluationskommission
?
? ?
Zusammensetzung der Kommission
Vorsitzende/r
Benennung der Evaluations-kommission
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 12
Selbstevaluation und Selbstbericht
Eröffnung des Verfahrens
Benennung der Evaluations-kommission
Benennung der Evaluationskommission
Auswahlkriterien Unabhängigkeits- kriterien
Ernennung durch den Präsidenten
Akzeptanz und Anerkennung beim FB
Auswahlprozess
Benennung der Evaluationskommission
Benennung der Evaluations-kommission
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 13
Selbstevaluation und Selbstbericht
Eröffnung des Verfahrens
Benennung der Evaluations-kommission
Auswahlkriterien Unabhängigkeits-kriterien
Ernennung durch den Präsidenten
Akzeptanz und Anerkennung beim
FB
Auswahlprozess
Benennung der Evaluations-kommission
Benennung der Evaluationskommission
herausragende wissenschaftliche Reputation
Erfahrungsschatz in Begutachtungen und Akad. Selbstverwaltung
heterogene Zusammensetzung
Abdecken der zentralen inhaltlich-fachlichen
Schwerpunkte des FB
Auswahlkriterien
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 14
Selbstevaluation und Selbstbericht
Eröffnung des Verfahrens
Benennung der Evaluations-kommission
Auswahlkriterien Unabhängigkeits-kriterien
Ernennung durch den Präsidenten
Akzeptanz und Anerkennung beim
FB
Auswahlprozess
Benennung der Evaluations-kommission
Benennung der Evaluationskommission
Unabhängigkeits- kriterien
persönliche/vertragliche Verbindung mit FB
Bewerbung/Beteiligung an Berufungs- verfahren „Lehrer-Schüler“-Verhältnis
wissenschaftlichen Kooperationen
wissenschaftliche Konkurrenz
wirtschaftliche Konkurrenz
kein(e)
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 15
Selbstevaluation und Selbstbericht
Eröffnung des Verfahrens
Benennung der Evaluations-kommission
Auswahlkriterien Unabhängigkeits-kriterien
Ernennung durch den Präsidenten
Akzeptanz und Anerkennung beim
FB
Auswahlprozess
Benennung der Evaluations-kommission
Benennung der Evaluationskommission
Ernennung durch den Präsidenten
Vorschläge für Kandidat/innen vom Präsidenten, dem
Vorsitz der Kommission und dem Fachbereich
Ansprache der Kandidat/innen durch den Präsidenten/ Vorsitz der Kommission
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 16
Selbstevaluation und Selbstbericht
Eröffnung des Verfahrens
Benennung der Evaluations-kommission
Auswahlkriterien Unabhängigkeits-kriterien
Ernennung durch den Präsidenten
Akzeptanz und Anerkennung beim
FB
Auswahlprozess
Benennung der Evaluations-kommission
Benennung der Evaluationskommission
Akzeptanz und Anerkennung beim FB
Möglichkeit für den Fachbereich, potentielle
Gutachterinnen und Gutachter vorzuschlagen
Benennung inhaltlich-fachlicher Schwerpunkte durch den FB
Benennung der Gutachterinnen und Gutachter erfolgt im Einvernehmen mit dem FB
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 17
Analyse der bis heute durchgeführten Evaluationen
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 18
Zusammensetzung der Evaluationskommissionen - Auswahlkriterien
Herausragende wissenschaftliche Reputation
Zentrales Auswahlkriterium durchgehend erfüllt
Erfahrungen in akademischer Selbstverwaltung
Alle Kommissionsmitglieder haben Erfahrung in akademischer Selbstverwaltung
Abdeckung der zentralen inhaltlich-fachlichen Schwerpunkte des Fachbereichs
erfolgt in Absprache mit den Fachbereichen
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 19
Zusammensetzung der Evaluationskommissionen - Auswahlkriterien
Erfahrungen mit Evaluationen
25
1
7
Ergebnisse aus Feedbackbefragungen der
Kommissionsmitglieder
Wenigerals fünfGenaufünfMehr alsfünf
23 37
Ergebnisse aus eigener Recherche
ja
unbekannt
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 20
Zusammensetzung der Evaluationskommissionen Unabhängigkeitskriterien
Transparenz bei der Auswahl der Kommissionsmitglieder
Referat QM prüft objektive Indikatoren
Fachbereich informiert über mögliche Befangenheiten der Kommissionsmitglieder
Selbstauskunft der Kommissionsmitglieder
Aussagen über vollständige Erfüllung der Unabhängigkeitskriterien nur schwer möglich
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 21
Evaluationsergebnisse - Präzision
Evaluationsberichte weisen unterschiedlich großen Umfang und inhaltliche Präzision auf
Faktoren, die die Zielvereinbarungsverhandlungen zwischen Fachbereich und Präsidium beeinflussen
Präzision der Empfehlungen (allgemeine Ziele vs. konkrete Maßnahmenvorschläge)
Konkretisierung der Empfehlungen („zwischen den Zeilen“ vs. „Bullet points“)
Benennung von Verantwortlichen
Je präziser und konkreter die Empfehlungen der Evaluationskommission, desto eher finden sie Eingang in die Zielvereinbarungen
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 22
Beispiele für konkrete Empfehlungen (Nachwuchsförderung)
Evaluationsbericht
„Bei der Ausarbeitung des Master Programms sollte auch die Schaffung einer ‚Graduate School‘ in Erwägung gezogen werden. Im Rahmen der „Graduate School“ wäre die Schaffung von ‚PhD committees‘ zu prüfen. Diese beratenden Organe sind einerseits für die Doktorierenden äußerst nützlich, fördern aber auch die Interaktionen der Forschungsgruppenleitenden. Nach Ansicht der Kommission sind solche ‚Committees‘ eine äußerst erfolgreiches Mittel, um Interaktionen über die Departementsgrenzen hinaus zu initiieren und zu fördern.“
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 23
Beispiele für weniger konkrete Empfehlungen (Studium und Lehre)
Evaluationsbericht
„Der Anteil internationaler Studierender am Fachbereich erscheint der Evaluationskommission als recht gering, die Attraktivität könnte durch stärkere Wirkung nach außen gesteigert werden.“
Zielvereinbarung
„Der Fachbereich reagiert auf die teilweise geringe Nachfrage nach seinen Masterstudiengängen und nimmt entsprechende Anpassungen vor. Auf Grundlage der universitätsweiten Internationalisierungsstrategie prüft der Fachbereich die Möglichkeiten für eine Internationalisierung insbesondere im Masterbereich und entwickelt hierfür bis Ende 2016 ein Konzept.“
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 24
Evaluationsergebnisse - Verfahrenslänge
0 5 10 15
I
J
D
E
G
F
A
K
C
B
Dauer der Evaluationsverfahren – ausgewählte Aspekte
Dauer vom Zeitpunkt derBegehung bis zum Vorliegendes Evaluationsberichtes
Dauer vom Zeitpunkt desVorliegens desEvaluationsberichtes bis zumZielvereinbarungsgespräch
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 25
Eindrücke zur Zufriedenheit mit der Evaluation aus den Feedbackbefragungen
Die Mitglieder der Evaluationskommissionen zeigten durchschnittlich eine hohe bis sehr hohe Zufriedenheit mit dem Prozess
Unter den Fachbereichen variiert die Zufriedenheit mit dem Evaluationsprozess stärker.
In den Fachbereichen zeigt das technische und administrative Personal insgesamt eine höhere Zufriedenheit als die ProfessorInnenschaft
Studierende zeigen geringste Zufriedenheit mit der Evaluation
Für beide Gruppen unterschiedliche Grundlage für die Zufriedenheit
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 26
Geschlechter- und Nationalitätsverhältnis in den Evaluationskommissionen
Fachbereich
Geschlechterverhältnis Nationalitätsverhältnis
A w m i d
B
C
D
E
F
G
H
I
J
K
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 27
Anteil der Ziele zu Gleichstellung und Internationalisierung an allen Zielen der ZV
0% 5% 10% 15%
KJI
HGFEDCBA
Anteile der Ziele zu Gleichstellung
0% 5% 10% 15%
KJI
HGFEDCBA
Anteil der Ziele zu Internationalisierung
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 28
Beispiel für konkrete Empfehlungen (Internationalisierung)
Evaluationsbericht
„Ein wesentliches Ziel sollte sein, dem Fachbereich als Ganzes in kooperativen Forschungsprogrammen (DFG-Forschergruppen, SFB) eine noch größere nationale und damit auch internationale Sichtbarkeit zu geben. […] Notwendig ist in Darmstadt [...] eine Verstärkung internationaler Veröffentlichungen in Journalen mit peer-review-Verfahren.“
Zielvereinbarung
„Ziel des Fachbereichs ist es, die Zahl der Publikationen in hochrangigen internationalen referierten Zeitschriften zu erhöhen.“
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 29
Beispiel für weniger konkrete Empfehlungen (Gleichstellung)
Evaluationsbericht
„Bei künftigen Ausschreibungen und Berufungen ist auf eine Erhöhung des Frauenanteils zu achten. “
Zielvereinbarung
„Die Wiederbesetzung von Professuren wird dafür genutzt, den Frauenanteil unter der Professorenschaft zu erhöhen. Der Fachbereich berücksichtigt hierbei das Initiativprogramm der TU Darmstadt ‚Forschungsorientierte Gleichstellung von Wissenschaftlerinnen und Gewinnung von Professorinnen‘. “
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 30
Verhältnis Empfehlungen Gleichstellung und Internationalisierung
Konkrete Empfehlungen finden auch hier eher Eingang in die Zielvereinbarungen als weniger konkrete
Interessante Beobachtung: auch bei weniger konkret formulierten Empfehlungen treten dennoch konkrete Formulierungen der Ziele in den Zielvereinbarungen auf
Die Zielvereinbarungen orientieren sich neben dem Evaluationsbericht auch an den strategischen Zielen der Universität
Kein erkennbarer deutlicher Zusammenhang zwischen der Zusammensetzung der Evaluationskommission und der inhaltlichen Ausgestaltung der Empfehlungen
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 31
Fazit
Die Empfehlungen der Evaluationskommission können großen Einfluss auf die Zielvereinbarung haben
Konkrete Empfehlungen finden wahrscheinlicher Eingang in die Zielvereinbarung als weniger konkrete
Begutachtungserfahrung kann sich begünstigend auf die Präzision der Empfehlungen auswirken
Zentral für ein Evaluationsverfahren, welches von allen Beteiligten als konstruktiv empfunden wird, ist die Transparenz bei der Auswahl der Kommissionsmitglieder und deren Akzeptanz von den evaluierten Einheiten
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 32
Kontakt
Dipl.-Soz. Juliane Mosel
Referentin für Qualitätsmanagement
Technische Universität Darmstadt
Karolinenplatz 5
64289 Darmstadt
Tel. + 49 (0) 6151 16-6914
Fax + 49 (0) 6151 16-5584
E-Mail: [email protected]
http://www.tu-darmstadt.de/qualitaetsmanagement
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 33
Backup
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 34
Das Referat Qualitätsmanagement
Dr. Tina Klug (Leiterin des Referats)
Nadine Moldaner (Sekretariat)
Madeleine Hagemeister, M.A. (Referentin)
Dipl.-Soz. Sascha Strack (Referent,)
Carola Dubsky, M.A. (Referentin)
Dipl.-Soz. Juliane Mosel (Referentin)
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 35
Das Referat Qualitätsmanagement
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 36
Verhandlung und Unterzeichnung
Maßnahmenprogramm
Entwurf der Zielvereinbarung
Stellungnahme zur Zielvereinbarung
Zielvereinbarung und Maßnahmenprogramm
Erstellung des Maßnahmenprogramms durch FB
Zielvereinbarungsprozess
Zielvereinbarungsprozess
Verhandlung und Unterzeichnung
Stellungnahme zur Zielvereinbarung
Entwurf der Zielvereinbarung
Stellungnahme durch Hochschulrat und Senat
Zielvereinbarungsgespräch und Paraphierung
Maßnahmenprogramm
Unterzeichnung der Zielvereinbarung
Entwurf der Zielvereinbarung
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 37
Verhandlung und Unterzeichnung
Maßnahmenprogramm
Entwurf der Zielvereinbarung
Stellungnahme zur Zielvereinbarung
Zielvereinbarung und Maßnahmenprogramm
Umfang und Charakter der Zielvereinbarung
Umfang und Charakter der Zielvereinbarung
Entwurf der Zielvereinbarung
ca. 20 Ziele
Themenbereiche
Struktur und Organisation
Besetzung von Professuren
Forschung
Nachwuchsförderung
Studium und Lehre
keine Beschreibung/Festlegung von konkreten Maßnahmen
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 38
Umsetzung und Berichtswesen
Zentrales Monitoring
Umsetzung und Monitoring
Umsetzung und Berichtswesen
Zentrales Monitoring
Monitoring von Zielvereinbarungen
Grafik: M. Hagemeister, 2012.
11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 39
Umsetzung und Berichtswesen
Zentrales Monitoring
Umsetzung und Monitoring
Monitoring von Zielvereinbarungen
Zentrales Monitoring
Erfolgsfaktoren
Monitoring …
… verbindet Qualitätssicherung und Strategie
… schafft Transparenz
… erzeugt Verbindlichkeit und Verlässlichkeit
… befördert Kontinuität
… eröffnet Raum für Anerkennung und Wertschätzung