Upload
harman-rainer
View
103
Download
0
Embed Size (px)
Citation preview
1
GIVE Assessments
Gewinnung systematischer Informationen und Verfahren zur Evaluation
beruflicher Handlungskompetenzen Lehramtsstudierender
Assessment= Einschätzung, Beurteilung, Abwägung, Taxierung, Veranlagung, Bemessung, Festsetzung, Schätzung
Terrell, P.; Schnorr, V.; Morris & Breitsprecher (1991): PONS Großwörterbuch. Stuttgart: Klett.
Dr. Rainer Bodensohn
Dr. Christoph Schneider
2
GIVE five points of view Universität Campus Landau: ZLB / andere
Studierende Berufliche Handlungskompetenzen
Schülerinnen / Schüler und Lehrpersonen: Lehr- und UnterrichtsqualitätRückmeldung, Förderung, Nachfrage
Institutionen: Rückmeldung, Investition, Zuweisung, Angebot, Nachfrage, Zertifizierung, Selektion, PersonalmanagementWissenschaft: Information, Verfahren, Systematik,
KommunikationÖffentlichkeit: Schulqualität, Investition, ökonomischer Mitteleinsatz, Transparenz, Partizipation
3
GIVE orientation
Primat der Förderung und IntegrationStudienbegleitende Erhebungen, anonymZiel: Prozess-Steuerung im Studium, auch an Phasenübergängen
versusPrimat der SelektionErhebung an den Gelenkstellen, Steuerung an Phasenübergängen, hierarchisch
Mischformen
4
•Das Projekt VERBAL 2002 – 2004
„Verbesserung der Beratungsqualitätbei der Ausbildung beruflicher Handlungskompetenz von Lehramtsstudierendenim Kontext Schulpraktischer Studien“
•Das Projekt REBHOLZ 2004 - 2010
„Report Entwicklung beruflicher Handlungskompetenz im Organisationsbereich der Lehrerbildung des Zentrums für Lehrerbildung der Universität Koblenz – Landau in Landau“
GIVE proficiency at profession „Berufsreife“
Berufsreife ist das Bündel von Fähigkeiten, Eigenschaften und Werthaltungen, das erfolgreiches berufliches Handeln erwarten lässt
5
Projekt REBHOLZREBHOLZ diagnostiziert berufliche Handlungskompetenz Studierender, Lehramtsanwärter und Berufseinsteiger in der Lehrerausbildung vom ersten Semester bis in die Berufseinstiegsphase und meldet die allgemeine Kompetenzentwicklung in die im Zentrum für Lehrerbildung in Landau kooperierenden Institutionen der Lehrerbildung zurück. REBHOLZ systematisiert berufliche Handlungskompetenz mit Hilfe von Profilen und meldet diese individuell über das Internet an die Studierenden/ Lehramtsanwärter/ Berufsanfänger zurück. REBHOLZ präzisiert die Nachfrage nach Studien- und Ausbildungsangeboten der kooperierenden Institutionen der Lehrerbildung und überprüft Modelloptionen der Berufsreife. REBHOLZ implementiert die in der Reform der Lehrerausbildung in den Fächern und Fachbereichen projektierten Leitbilder und Standards der Curricularkommissionen als Bestandteil der beruflichen Handlungskompetenz.
REBHOLZ kooperiert und kommuniziert im Lehrerbildungszentrum mit allen Fachbereichen, die sich an der Professionalisierung der Lehrerbildung beteiligen.
6
REBHOLZ: Formative Evaluation und Ziele
Auf Individualebene:Ausbildungsbegleitend berufliche Handlungskompetenzen individuell zurückmelden; Stärken, Schwächen, Entwicklungsbedarf und –potential aufzeigen
mit dem Ziel der individuellen Entwicklung
Auf Systemebene:Rückmeldung des Status Quo in der Lehrerausbildung in Landau an die an der Ausbildung beteiligten Institute
mit dem Ziel der Verbesserung der Ausbildung
Auf wissenschaftlicher Ebene:Prüfung, Weiter- und ggf. Neuentwicklung von Modellen beruflicher Handlungskompetenz (auch unter dem Gesichtspunkt der Ökonomie der Verfahren)
mit dem Ziel der Verbesserung der Qualität der Aussage
7
REBHOLZ: Projektdesign
Studien-
beginn
Ende 2.
BP/RSP
1. Staats-examen
2. Staats-examen
Ende 1.
BP/RSP
I. Fach-kompetenzen
SelbstFremd
SelbstFremd
SelbstSelbstFremd ?
II. Sozial- und Methoden-kompetenzen
SelbstSelbstFremd
SelbstFremd
SelbstSelbstFremd ?
III. Personale Kompetenzen (Wert-haltungen)
Selbst Selbst Selbst Selbst Selbst
Längsschnittliche, ausbildungsbegleitende Evaluation von Kompetenzbündeln durchSelbst- und Fremd- (Mentoren-) einschätzung:
Erhebungen:
8
REBHOLZ: Erhebungsinstrumente
…….
9
Bündel „Fachkompetenzen“ (Teil 1)
• Lehrer-Schüler-Beziehungenz.B. „Schülern eine fördernde Rückmeldung geben“
• Schüler unterstützende Beobachtung und Diagnosez.B. „Diagnostizieren, welche Ursachen z.B. Misserfolg, Aggression oder Angst haben“
• Bewältigung von Disziplinproblemen und Schülerrisiken z.B. „Disziplinprobleme regeln“
• Ausbau und Förderung von sozialem Verhalten z.B. „Schüler in ihrem Konfliktlöseverhalten unterstützen“
• Lernstrategien vermitteln und Lernprozesse begleiten z.B. „Schüler ein Thema selbst erarbeiten lassen“
• Gestaltung und Methoden des Unterrichts z.B. „Phasen des Unterrichts eindeutig bestimmen“
• Leistungsmessung z.B. „Schülern die Kriterien, dessen was gefordert ist, vermitteln“ Oser & Oelkers,
2001
Seipp, 2003
10
Bündel „Fachkompetenzen“ (Teil 2)
• Medien des Unterrichts z.B. „Neue Technologien sinnvoll einsetzen“
• Zusammenarbeit in der Schulez.B. „Sich gemeinsam mit Kollegen auf Standards des Lehrerhandelns einigen“
• Schule und Öffentlichkeitz.B. „Anliegen von Schule und Lehrerschaft in der Öffentlichkeit vertreten“
• Selbstorganisationskompetenz der Lehrkraftz.B. „Sich ein persönliches Fortbildungsprogramm erstellen“
• Fachdidaktische Gesichtspunktez.B. „Fachlehrmittel bewerten, auswählen und einsetzen“
• Allgemeine didaktische Gesichtspunktez.B. „Lerninhalte sach- und lernlogisch gliedern“
Oser & Oelkers, 2001
Seipp, 2003
11
Bündel „Sozialkompetenzen“
• Selbstständigkeitz.B. „…ergreift Initiative“
• Kooperationz.B. „…hält beim Umgang mit anderen Regeln ein“
• Soziale Verantwortungz.B. „…sucht nach tragbaren Lösungen für alle Beteiligten“
• Konfliktfähigkeitz.B. „…nimmt konstruktive Kritik an“
• Kommunikationsfähigkeitz.B. „…lässt andere ausreden“
• Führungsfähigkeit z.B. „…setzt andere entsprechend ihrer Fähigkeiten ein“
Frey & Balzer, 2003
Frey, 2004
12
Bündel „Methodenkompetenzen“
• Reflexivitätz.B. „…überprüft, ob das eigene Handeln richtig ist“
• Analysefähigkeitz.B. „…erkennt komplexe Arbeitszusammenhänge“
• Flexibilitätz.B. „…bearbeitet gleichzeitig verschiedene Aufgaben“
• Zielorientiertes Handelnz.B. „…unterscheidet Wichtiges und Unwichtiges“
• Arbeitstechnikz.B. „…wendet Informationen auf neue Situationen an“
• Situationsgerechtes Auftreten z.B. „…wendet gute Umgangsformen an“
Frey & Balzer, 2003
Frey, 2004
13
Bündel „Personale Kompetenzen / Werthaltungen“
• Hilfsbereitschaft und Einfühlsamkeitz.B. „Tolerant zu sein“
• Gelassenheit und Geduldz.B. „Gerecht zu sein“
• Pflichtbewusstseinz.B. „Selbstdisziplin zu zeigen“
• Freiheitsliebez.B. „Das Leben zu lieben“
• Erfolgsorientierungz.B. „Etwas aufzubauen“
• Neugierdez.B. „Immer weiter zu lernen“
Frey, 2004
14
Dienstleistungen auf Individualebene
Ansatzpunkt: Individuelle Rückmeldung der Praktikumsbeurteilungen
Es werden zurückgemeldet:• Selbstbeurteilung• Fremdbeurteilung• Mittel aus Selbst- und Fremdbeurteilung• Mittel der Kohorte (alle Praktikanten zu einem Erhebungszeitpunkt)• Internationale Referenzwerte
Die Rückmeldung erfolgt internetgestützt und ist über einen individuellen Zugangscode geschützt
Für eine Demonstration unterhttp://www.www513.epl1.c.dnsbox.de/Rueckmeldungpdf/scripts/
den Code „TESTER“ eingeben
Ein automatisch erstellter Bericht (pdf-Format) dient als Grundlage für das Rückmeldegespräch an der Universität
15
Dienstleistungen auf Systemebene
Ansatzpunkt: Praktikumsleistungen im Quer- und Längsschnitt
• Berichte an die Institutionen und Beteiligten. Erster Berichtszeitraum 2005
VERBAL bisher 5 Zwischenberichte (2002-2004)
• Operationalisierung und Evaluation fachlicher Standards Entwicklung von Instrumenten auf fachlicher Ebene, bisher eingesetzt : NaWiKomp mit dem Projekt LeNa
FreSpraKomp mit dem Inst. für fremdsprachliche Philologien
Geplant: Ein Instrument in den Bildungswissenschaften
16
Dienstleistungen auf SystemebeneVergleich der Selbst- und Fremdbewertungen ausgewählter Dimensionen
"Fachkompetenzen"; Mittelwerte Blockpraktika Frühjahr und Herbst 2005. ZLB und SPS der Universität Koblenz-Landau in Landau, Dr. Rainer Bodensohn, Dr Christoph Schneider.
1,0
1,5
2,0
2,5
3,0
3,5
4,0
4,5
5,0
Kompetenzen
Skalie
rung: P
raktiz
iere
nde(r
) zeig
t die
Kom
pete
nz
1=
sehr
oft; 2=
oft; 3=
manchm
al;
4=
selte
n;
5=
sehr
selte
n; 6
= n
ie
Selbstbew. Fj. 05
Selbstbew. Herbst 05
Fremdbew. Fj. 05
Fremdbew. Herbst 05
Referenzwert
17
Dienstleistungen auf SystemebeneVergleich der Selbst- und Fremdbewertungen ausgewählter Dimensionen "Sozial- und
Methodenkompetenzen"; MittelwerteBlockpraktika Frühjahr und Herbst 2005. ZLB und SPS der Universität Koblenz-Landau in Landau, Dr. Rainer Bodensohn, Dr Christoph Schneider.
1,0
1,2
1,4
1,6
1,8
2,0
2,2
2,4
2,6
2,8
Kompetenzen
Ska
lieru
ng
: Pra
ktiz
iere
nd
e(r
) ze
igt d
ie K
om
pe
ten
z1
= s
eh
r o
ft;
2=
oft;
3
=m
an
chm
al;
4=
selte
n;
5=
se
hr
selte
n;
6=
nie
Selbstbew. Fj. 05
Selbstbew. Herbst 05
Fremdbew. Fj. 05
Fremdbew. Herbst 05
Referenzwert
18
Dienstleistungen auf Systemebene
Von den REBHOLZ-Ergebnissen zur Systembeeinflussung
• Entwicklung bedarfsbezogener Ausbildungsmodule:
Curricularkultur im Hinblick auf Anforderungssituationen durchAufgabenteilung
das Zentrum und dessen überfachliche Kooperationspartner in der
Bildungsforschung, Bildungspolitik etc.: wissenschaftliche Begleitung und überfachliche Hilfestellungen, z. B. in der Aufgabenkultur
die Fachinstitute, Fachbereiche und deren Kooperationspartner in Studienseminaren und Schulpraxis etc.: Gestaltung von Modulen / Lehr- und Erfahrungssituationen
19
Wissenschaftliche Fragestellungen und Perspektiven
Beurteilung der Ergebnisse der REBHOLZ-Erhebungen• Quer- und längsschnittlich• Vergleich Selbst- und Fremdbeurteilung• Betrachtung statistischer und praktischer Signifikanz der Effekte (anhand von Varianzanalysen)
• Beurteilung und Entwicklung der Güte der Erhebungsinstrumente
• Skalenkonsistenz (Reliabilitätsanalysen) • Konstruktvalidität (MTMM-Analysen)
• Modellprüfungen und zeitliche Stabilität der Modelle• explorative und konfirmatorische Faktorenanalysen auf Item- und Skalenebene• Lineare Strukturgleichungsmodelle (LISREL) zu Quer- und Längsschnitt
• Weitere Strategien zu zukünftig aufkommenden Fragen
20
Ausgewählte Fragestellungen am Beispiel des Vorgängerprojektes VERBAL
1. Effekte zwischen Erhebungsmodalitäten (Varianzanalysen)am Beispiel der Dimension „Führungsfähigkeit“RATING: F=29.7 ***
„Die Selbstwahrnehmung ist strenger als die Fremdwahrnehmung“
PRAKT: F=25.19 ***„Die Führungsfähigkeit wird im zweiten Praktikum besser beurteilt als im ersten“
PREPOST: F=909.51 ***„Die Beurteilung zum Ende eines Praktikums ist besser als zu Beginn“
RATING X PRAKT: F=7.14 **„Die Selbstwahrnehmung bessert sich vom 1. zum 2. Praktikum deutlich, die Fremdwahrnehmung nicht bzw. weniger deutlich“
Bodensohn & Schneider, in Druck
21
Fragestellungen zu VERBAL
2. Konsistenz der Skalen und Selbst-Fremd-Korrelationen
•Die Konsistenzen der Skalen sind sowohl im Selbst- als auch im Fremdurteil (sehr) hoch, die Korrelationen zwischen Selbst- und Fremdurteil jedoch niedrig
•Die Fachkompetenzen waren ursprünglich für Fremd- die SMK dagegen für Selbstbeurteilung vorgesehen
•Ursachenforschung / Weiterentwicklung erforderlich!
Anm.: Cronbachs Alpha > .90 „gut“, >. 80 „mittelmäßig“ ; Bortz & Döring, 1995
Konsistenz im
Selbsturteil (Cronbachs
Alpha)N: 465 -
502
Konsistenz im
Fremdurteil (Cronbachs
Alpha)N: 170 -
462
Korrelation zw.
Selbst- und FremdurteilN: 349-375
FK Fach-/ Theoriebezug in der Unterrichtsplanung
.742 .878 .242
FK Lernplanung in der Unterrichtsplanung
.805 .915 .273
FK Methoden der Unterichtsdurchführung
.841 .926 .294
FK Soziales in der Unterichtsdurchführung
.837 .928 .296
SK Selbstständigkeit .836 .937 .346
SK Kooperation .776 .952 .244
SK Verantwortungs-bewusstsein
.863 .962 .267
SK Kritikfähigkeit .822 .937 .217
SK Kommunikation .818 .927 .240
SK Führungsfähigkeit .812 .949 .230
MK Situationsgerechtes Auftreten
.734 .923 .206
MK Reflexivität .822 .956 .235
MK Analysefähigkeit .856 .953 .227
MK Flexibilität .838 .955 .276
MK Zielorientierung .817 .951 .300
MK Arbeitstechnik .843 .944 .295
22
Fragestellungen am Beispiel von VERBAL 3. Zeitstabilität des Selbsturteils: Grundmodell mit
Kompetenzbündeln Dargestellt:
Completelystandardizedsolution
Modellanpassung:
CHI² 1581.19df 396
RMSEA .087
GFI .79AGFI .76CFI .98
23
Fragestellungen am Beispiel von VERBAL 3. Zeitstabilität des Selbsturteils: Modifiziertes Modell
Dargestellt:
Completelystandardizedsolution
Modellanpassung:
CHI² 1468.9df 395
RMSEA .086
GFI .79AGFI .76CFI .98
24
Fragestellungen am Beispiel von VERBAL 4. Zeitstabilität der Beurteilung:
Berufliche Handlungskompetenz als „Metakompetenz“
Dargestellt:
Completelystandardizedsolution
Modellanpassung:
CHI² 149.99df 50
RMSEA .071
GFI .94AGFI .91CFI .98
25
Wissenschaftliche Perspektiven zu REBHOLZ• Geeignete Aggregatebene ist noch einzugrenzen
• Betrachtung auf Dimensions-, Dimensionsbündel- oder Metaebene ?• Gründe für geringe Konkordanz zwischen Selbst- und Fremdbeurteilung müssen identifiziert werden
• Modellrevision (empirische Skalenkonstruktion) u.U. sinnvoll
• weniger, dafür aussagekräftigere Skalen / Kompetenzberichte ?• Konstruktvalidität (MTMM-Analysen)
• Verschlankung des Instrumentariums erforderlich• mit möglichst wenig Informationsverlust möglichst viele Items eliminieren• ökonomischeres Instrumentarium erhöht die Akzeptanz der Befragung• und kann u.U. flexibler (öfter) eingesetzt werden
• Einbindung von fächerspezifischen Kompetenzen (LeNa und andere) in Modelle hat hohe Priorität
26
GIVE US MORE: Erweiterung des Blickwinkels im Bereich der Personalen
Kompetenzen/WerthaltungenFortlaufende Beobachtung :
Studierende scheitern im Praktikum fast immer bei stark differierenden Werthaltungen gegenüber Mentoren bzw. der Institution
Werthaltungen gegenüber Mensch und MitmenschenBeispiel Achtung versus Geringschätzung
Werthaltungen gegenüber Ziele der Schule Beispiel Integration versus Auslese
Werthaltungen gegenüber Zielen von Bildung und Erziehung Beispiel Autonomie versus Anpassung
Werthaltungen gegenüber Unterricht Beispiel individuelle Förderung versus Standardisierung