1

Reinhold Nickolaus

Kompetenzmessung in der Beruflichen Bildung

Vortrag im Rahmen der Fachtagung für Personal in der Beruflichen Bildung der IGM am 7.6.13

2

Aufbau

1. Vorbemerkungen

2. Kompetenzen und ihre Messung

3. Beispiele für neue Testformen

4. Ansprüche an Kompetenzmessungen und Probleme ihrer Einlösung

5. In ASCOT bearbeitete Fragen, zugleich eine Zusammenfassung

6. Ausblick: Erprobung neuer Aufgabenformate in Prüfungskontexten?

3

1. Vorbemerkungen

• Konzentration auf gewerblich-technischen Bereich

• Ziel: Einblicke in neue Testformen und wissenschaftliche Erkenntnisse zur Kompetenzmessung geben

• Unterschiedliche Ziele der Kompetenzmessung und damit verbundene Implikationen

• Individualdiagnostik

• Vergleiche auf institutioneller Ebene

• Internationale Vergleichsstudien (Problem der Vergleichbarkeit)

• Besondere Anforderungen in Prüfungskontexten

4

2. Kompetenzen und ihre Messung

Definition: Mit Kompetenzen bezeichnen wir erwerbbare Fähigkeiten/Fertigkeiten, die zur Leistungserbringung in spezifischen, auch problemhaltigen Anforderungen befähigen (sowie die Bereitschaft, diese Fähigkeiten/Fertigkeiten einzubringen)

Was verbirgt sich hinter diesen Fähigkeiten und Fertigkeiten und wie können wir diese erfassen?

Was haben diese Fähigkeiten und Fertigkeiten mit fachspezifischem und handlungsbezogenem explizitem und implzitem Wissen zu tun?

Wie ist die Bereitschaft/Motivation die eigenen Fähigkeiten in den Leistungserstellungsprozess einzubringen mit den Fähigkeiten und Fertigkeiten verknüpft?

5

Handlungsbezogenes Wissenssystem (HBS)

Repräsentationen expliziter Handlungsregeln

Repräsentationen impliziter Handlungsstrukturen

Motivation Metakognitives System

Evaluation/ Überwachung

Handlung/ Leistung

Umwelt

Nicht handlungsbezogenes Wissenssystem (NHBS)

Repräsentation expliziten statischen Wissens

Repräsentation impliziten statischen Wissens

explizit

implizit

Ziele

CLARION – Modell (Abele 2013)

6

Ansprüche an valide Kompetenzmessungen: Konstrukt-, inhalts- und kriterienbezogene Validität

Konstruktvalidität – Validitätsprobleme auf Konstruktebene

• Ist bzw. unter welchen Bedingungen ist das Gesamtkonstrukt beruflicher Handlungskompetenz (Fach-, Sozial- und Personalkompetenz) valide abbildbar?

• Wie kann gewährleistet werden, dass die Subdimensionen valide erfasst werden können?

a) bei Beschränkung auf Fähigkeiten/Fertigkeiten/Dispositionen

b) bei Einbezug von Bereitschaften

Inhaltsvalidität - Welche Inhalte bzw. Anforderungstypen sind zu berücksichtigen?

Kriterienbezogene Validität – Maßstab reale Arbeitsproben

7

Strukturmodelle berufsfachlicher Kompetenz im gewerblich - technischen Bereich

Grundlegende Fragen: Welche Kompetenzstruktur kann begründet unterstellt werden?

(1) I Wissen/ VerständnisII Anwendung des Wissens in problemhaltigen Situationen

III manuelle Fertigkeiten

(2) Methodenkompetenz ist bisher nicht als eigenständige Kompetenzdimension empirisch ausweisbar

(3) Es lassen sich z.T. Subdimensionen des Fachwissens und seiner Anwendung bestätigen.

(4) Es lassen sich im Verlauf der Ausbildung Ausdifferenzierungs- und Verschmelzungsprozesse der Subdimensionen beobachten

8

Beispiele empirisch bestätigter Kompetenzstrukturmodelle

9

TraditionelleInstallationstechnik

ElektrotechnischeGrundlagen

1 2 3 4 5 6 7 8 1 2 3 4 5 6

N = 337, Χ² = 160, df = 129, Χ²/df = 1.24, p = .03, CFI = .96, TLI = .97, RMSEA = .03

Fachwissen

0.37

Steuerungs-/moderne Installationstechnik (Bussysteme etc.)

1 2 3 4 5 6 7 8 9 10 11 12 13 14

0.650.89

EAP/PV = .54 EAP/PV = .74 EAP/PV = .78

Reliabilität

Strukturmodellierungen für Elektroniker a) Fachwissen

10

N = 382, Χ² = 217, df = 163, Χ²/df = 1.30, p = .01, CFI = .94, TLI = .96, RMSEA = .03

TraditionelleInstallationstechnik

ElektrotechnischeGrundlagen

Steuerungs-/moderne Installationstechnik

(Bussysteme etc.)

FachspezifischeProblemlösefähigkeit

0.33 0.57

0.24

0.37

0.64

0.64

Überschrift?Korrelationen zwischen den Subdimensionen der Fachkompetenz bei Elektronkern für Energie- und Gebäudetechnik

11

N = 382, Χ² = 226, df = 182, Χ²/df = 1.30, p = .01, CFI = .95, TLI = .96, RMSEA = .03

TraditionelleInstallationstechnik

ElektrotechnischeGrundlagen

Fachwissen

Steuerungs-/Moderne Installationstechnik

(Bussysteme etc.)

FachspezifischeProblemlösefähigkeit

0.86

0.39 0.700.81

Zusammenhang zwischen dem Fachwissen und der fachspezifischen Problemlösefähigkeit

12

Niveaumodell des Fachwissens (Elektroniker Energie- und Gebäudetechnik)

- 0,90

+ 2,00

Niveau 1

+ 1,44

MW = -1,19; SD = 0,97

60,5%

33,3%

6,2%

37,7%

34,8%

26,1%

- 4,00

+ 0,16

Niveau 3

Niveau 4

Niveau 2

MW = -,65; SD = 1,08

TeilzeitVollzeit TeilzeitVollzeit

1,4%

- 0,90

+ 2,00

Niveau 1

+ 1,44

MW = -1,19; SD = 0,97

60,5%

33,3%

6,2%

37,7%

34,8%

26,1%

- 4,00

+ 0,16

Niveau 3

Niveau 4

Niveau 2

MW = -,65; SD = 1,08

TeilzeitVollzeit TeilzeitVollzeit

1,4%

13

NIVEAU 1Rudimentäre

elektrotechnischeGrundkenntnisse

NIVEAU 2Basale

elektrotechnischeGrundkenntnisse

Analyse mit anschließendem regelbasierten Erarbeiten von Lösungen gelingt auch in weniger vertrauten Kontexten

Mehrere und mathematisch aufwändige Lösungsschritte

Lösungshinweise im Tabellenbuch implizit

Analyse mit anschließendem regelbasierten Erarbeiten von Lösungen gelingt in vertrauten Strukturen

Mehrere, jedoch mathematisch weniger aufwändige Lösungsschritte

Lösungsschritte im Tabellenbuch fast vollständig und explizit

Elektroniker: Kompetenzniveaus

NIVEAU 3Bewältigung

vertrauterAnforderungen

NIVEAU 4Bewältigung

auch wenig vertrauterAnforderungen

Aufgaben, die eine Benennung / Beschreibung erfordern, werden bewältigt

Wissensanwendung gelingt bei wenigen Schritten und bezogen auf Einzelheiten

Lösungshinweise im Tabellenbuch fast vollständig und explizit

Aufgaben die Benennung / Beschreibung erfordern werden nicht mit hinreichender Sicherheit bewältigt

Auch Wissensanwendungen gelingen selbst bei Einzelheiten nicht sicher

Auch explizite Lösungshinweise können aus dem Tabellenbuch nicht vollständig entnommen werden

14

Niveaumodellierungen

Schwierigkeitsbestimmende Merkmale (Schumann & Eberle im Druck; Gschwendtner, Geißel & Nickolaus 2011, Nickolaus 2011)

• Bloomsche Taxonomie

• Inhaltliche Komplexität

• Modellierungsleistungen

• Vertrautheit/ curriculare Gewichtung

15

Fachspezifische Problemlösefähigkeit: Zentrale Fragen

1. Wie kann man fachspezifische Problemlösefähigkeit valide messen?

2. Welches fachspezifische Problemlöseniveau erreichen Auszubildende am Ausbildungsende?

3. Welchen Anforderungen werden die Auszubildenden dabei gerecht?

16

Computersimulation zur Erfassung der fachspezifischen PLF

Computersimulation zur Erfassung der Diagnosekompetenz bei Kfz-Mechatronikern

17

Befunde einer Validierungsstudie

Zusammenhänge zwischen Realität (Fehleranalyse am realen Kfz und mit realen Expertensystemen) und Simulation:

Realitäts- und Simulationsitems korrelieren zu r~.94!!

Das bedeutet, dass die Messung in der Simulation zu nahezu identischen Ergebnissen führt, wie am realen Kfz!!!

18

1

2

3

Mess-einheit

Personen-fähigkeit

Item-schwierigkeit

4

1

0

-1

-2

hoch

Kompetenz-niveau

niedrig

2

3

n1 = 212

n2 = 208

n3 = 84

n0 = 100

1

Ergebnisse: Niveaumodell fachspezifisches Problemlösen(KFZ- Ende der Ausbildung)

19

Ergebnisse: Schwierigkeitsbestimmende Merkmale (Fehleranalyse)

• Komplexität (Anzahl zwingend nötiger eigenständiger Bearbeitungsschritte)

• Art des Prüfmittels (Multimeter/Sichtprüfung vs. Stromesszange/Oszilloskop)

• Informationsbeschaffung (keine vs. lineare, vs. kombinierte)

• Diagnoseart (routinisierte vs. regelbasierte vs. nicht geführte)

• Fehlerart (defekte Komponente vs. Kabelbruch)

• Modellierungsleistung (Aufgabeninformationen ausreichend vs. nicht ausreichend)

20

Sind Reparaturfertigkeiten über Simulationen abschätzbar?

1. Wie hängen das handlungsbezogene Wissen und die Reparaturfertigkeiten zusammen? Gibt es auch einen solch starken Zusammenhang wie zwischen dem Fachwissen und der Fehleranalysefähigkeit?

2. Welches Leistungsniveau erreichen Auszubildende am Ausbildungsende?

3. Welchen Anforderungen werden die Auszubildenden dabei gerecht?

4. Wie wird das handlungsbezogene Wissen erhoben?

Simulation

21

Computersimulation zur Erfassung des handlungsbezogenen

Wissens bei Reparaturaufgaben

Computersimulation zur Erfassung der des handlungsbezogenen Wissens

bei Kfz-Mechatronikern

22

Validierung der Testversionen für Reparatur und Instandhaltung

Abgleich mit realen Arbeitsleistungen in den Unternehmen Beurteilung der Arbeitsleistungen bezogen auf die in den Videos präsentierten

Aufgaben Beurteilungskriterien

Grad der EigenständigkeitAusführungsgüteInterne, externe BeanstandungenAusführungszeit

23

5. Ansprüche an Kompetenzmessungen und Probleme ihrer Einlösung

Validität Reliabilität Trennschärfe Objektivität Praktikabiltität

Anzahl der notwendigen Aufgaben

Notwendige Testzeiten

Vergleichbarkeit der Aufgaben

24

5. Ausblick

Entwicklungsstand simulationsbasierten Testens

In welchen Bereichen sind simulationsbasierte Testformen besonders geeignet?

Herausforderungen bei der Abschätzung manueller Fertigkeiten

Zur Notwendigkeit, die Kompetenzabschätzungen zunächst auf Ausschnitte der beruflichen Handlungskompetenz zu beschränken

Probleme, in den gängigen Prüfungsformen den Ansprüchen einer validen Abschätzung beruflicher Kompetenzen zu genügen

Erprobung der neuen Testformen in Prüfungskontexten

25

Vielen Dank für Ihre Aufmerksamkeit!

26

Anhang

27

Prüfungsergebnisse in den neu geordneten Metallberufen

(IHK Stuttgart, Sommer 2008)

28

Prüfungsergebnisse in den neu geordneten Metallberufen

(IHK Stuttgart, Sommer 2008)

29

2. Das ASCOT Programm

Übergreifende ZieleProjekte/ einbezogen Berufe:• Elektroniker für Automatisierungstechnik• Kfz-Mechatroniker• Pflege• Medizinische Fachangestellte• Industriekaufleute• Übergreifend: Basiskompetenzen und

Ausbildungsbedingungen

30

In ASCOT bearbeitete Fragestellungen

Validität: Welche Teilkompetenzen müssen unterstellt und getestet werden? Welche Aufgabenformate sind zur Testung geeignet? Erweisen sich die Simulationen als valide?

Reliabilität: Ist mit den entwickelten Tests eine reliable Messung möglich und wieviel Aufgaben sind dafür notwendig?

Praktikabiltität: Ist mit den entwickelten Tests eine reliable Messung in einem akzeptablen Zeitraum möglich?

Adaptives Testen als Option?

31

Ausblick: Erprobung entwickelter Testelemente in Prüfungskontexten?

Fehleranalysen

Videovignetten

Fachwissenstests

• Geschlossene Aufgabenformate• Adaptives Testen• Offene Aufgabenformate

32

Niveau 1: Routiniertes und computergestütztes Lösen einfacher Kfz-Probleme

Personen dieser Niveaustufe können die Informationen des Arbeitsauftrags erfassen und für die Diagnosearbeit nutzen. Zudem sind sie in der Lage, vertraute Fehlzustände zu diagnostizieren (Routinediagnose) und bei Aufgaben geringer Komplexität eine computergestützte Diagnose erfolgreich durchzuführen. Es wird also der standardmäßige Umgang mit dem Expertensystem (lineares Vorgehen, typischerweise bestehend aus: Fehlerspeicher auslesen, Eigendiagnose, computergestütztes Aufsuchen von Fahrzeugkomponenten, regelbasierte Diagnose) und mit dem Multimeter (für Spannungs- und Widerstandsmessungen) beherrscht. Die von den Personen vorgeschlagenen Reparaturmaßnahmen beziehen sich in der Regel auf den Tausch einfacher Fahrzeugkomponenten.

Kompetenzniveaumodelle

33

Kompetenzniveaumodelle

Niveau 2: Computergestütztes und nicht geführtes Lösen mittelkomplexer Kfz-Probleme

Personen dieser Niveaustufe weisen zusätzlich zu den Fähigkeiten von Niveaustufe 1 die Fähigkeit auf, Fehlzustände mittlerer Komplexität entweder anhand einer computergestützten Diagnose oder einer nicht geführten Diagnose zu identifizieren. Außerdem sind sie in der Lage, Stromlaufpläne und auf Niveaustufe 1 nicht benötigte Funktionen des Expertensystems (z. B. Aufrufen von Stromlaufplänen) für die Diagnosearbeiten zu nutzen. Personen des Kompetenzniveaus 2 können eigenständig einfachere Diagnosestrategien entwickeln und einfachere technische Systeme mental modellieren. Die von den Personen vorgeschlagenen Reparaturmaßnahmen beziehen sich auch auf die Beseitigung von Kontakt- und Verbindungsprobleme (z.B. Ersetzen defekter Kabel).

34

Kompetenzniveaumodelle

Niveau 3: Eigenständiges Lösen komplexer Kfz-Probleme

Im Gegensatz zur Niveaustufe 1 und 2 können Personen des Niveaus 3 Aufgaben hoher Komplexität anhand einer nicht geführten Diagnose erfolgreich bearbeiten. Gegenüber Niveau 2 beherrschen sie außerdem den Umgang mit weniger häufig verwendeten elektronischen Messgeräten (Oszilloskop und Stromesszange). Zudem sind sie in der Lage, komplexere technische Systeme eigenständig kognitiv zu modellieren. Auf dieser Niveaustufe beziehen sich die vorgeschlagenen Reparaturmaßnahmen sowohl auf das Ersetzen defekter Kabel als auch auf den Tausch komplexer Fahrzeugkomponenten.