Konstruktion und Überprüfung eines curriculumbasierten ... · 346 Julia Rensing, Carolina Käter, Tobias Käter & Clemens Hillenbrand Empirische Sonderpädagogik, 2016, Nr. 4, S

346 Julia Rensing, Carolina Käter, Tobias Käter & Clemens Hillenbrand

Empirische Sonderpädagogik, 2016, Nr. 4, S. 346-366ISSN 1869-4845 (Print) · ISSN 1869-4934 (Internet)

Konstruktion und Überprüfung einescurriculumbasierten Testverfahrens im FachMathematik für die vierte Klasse

Julia Rensing, Carolina Käter, Tobias Käter & Clemens Hillenbrand

Universität Oldenburg

ZusammenfassungSchülerinnen und Schüler sollten arithmetische Operationen am Ende der Grundschulzeit si-cher beherrschen (Humbach, 2009; Moser Opitz, 2009), damit eine gesicherte Grundlage fürden weiteren mathematischen Kompetenzerwerb in der Sekundarstufe I besteht (Bos et al.,2007). An Lehrkräfte wird die Forderung gestellt, Lernverläufe sensibel zu dokumentieren(Strathmann & Klauer, 2010). Diese Dokumentation stellt jedoch für viele Grundschullehrkräfteeine große Herausforderung dar (Knopp & Hartke, 2010). Eine evidenzbasierte Möglichkeit desMonitorings von Lernverläufen sind dabei curriculumbasierte Messverfahren (Hartke & Diehl,2013). In Form von Kurztests, die den Standards der wissenschaftlichen Güte entsprechen, kanndie Leistungsentwicklung in einer spezifischen schulischen Domäne erhoben und dokumentiertwerden. Im vorliegenden Beitrag wird ein solches curriculumbasiertes Messverfahren für dasFach Mathematik für die Jahrgangsstufe 4, das anhand eines Konstruktionsleitfadens entwickeltwurde, vorgestellt und der Überprüfung der Güte unterzogen. Die Ergebnisse zeigen, dass essich um ein valides und reliables Instrument zur Messung des Lernverlaufs handelt.

Schlüsselwörter: Curriculumbasiertes Messen, CBM, formative Leistungsevaluation, Transition,Inklusion, Mathematik

Construction and Analysis of a cbm for School Mathematics in Grade four

AbstractWhen leaving primary school, pupils should be able to master arithmetical operations (Hum-bach, 2009; Moser Opitz, 2009), a skill that will serve as a basis for additional mathematicalskills acquisition (Bos et al., 2007). Teachers need to monitor children’s progress sensitively(Strathmann & Klauer, 2010). However, this is very challenging for many teachers at primaryschools (Knopp & Hartke, 2010). One evidence-based method to monitor children’s progress iscurriculum-based measurement (cbm) (Hartke & Diehl, 2013). These short tests that meet scien-tific standards document and assess school student’s learning process in a specific scholastic do-main. In this paper a cbm that was developed by using a guideline for the school subject mathsfor grade four, and its psychometric criteria are presented. Analyses confirm that the developedcbm is a valid and reliable instrument to document learning process.

Key words: Curriculum-based measurement, cbm, formative assessment, transition, inclusion,mathematics

347Konstruktion und Überprüfung eines curriculumbasierten Testverfahrens

Schülerinnen und Schüler sollen am Endeder Grundschulzeit arithmetische Operatio-nen zum halbschriftlichen, schriftlichenund zum Kopf-Rechnen als „grundsätzlicheMethoden zur Bewältigung von Rechenan-forderungen“ (Krauthausen & Scherer,2007, S. 43) mit ausreichender Sicherheitbeherrschen und durchführen können, umdarauf aufbauend in der Sekundarstufe IKompetenzen in weiteren mathematischenBereichen zu erwerben (Humbach, 2008,2009; Moser Opitz, 2009; Stern, 2008). DasNichtbeherrschen dieser grundlegendenarithmetischen Fertigkeiten hat schwerwie-gende Folgen (Humbach, 2009; MoserOpitz, 2009). Besorgniserregend ist, dass et-wa ein Fünftel der Schülerinnen und Schü-ler die Grundschule mit Defiziten im Be-reich Mathematik verlässt (Bos et al., 2007).Die Ergebnisse der PISA-Untersuchung zei-gen zudem, dass sich Probleme beim Er-werb grundlegender mathematischer Kom-petenzen in der Sekundarstufe I weiter ver-schärfen (Bos et al., 2007). Dabei wird dieEinführung eines inklusiven Bildungssys-tems innerhalb einer einzelnen Schulklassezu weitaus größeren Differenzen individu-eller Lernvoraussetzungen und Lernleistun-gen von Schülerinnen und Schülern führen(Wilbert, 2014). Daher kommt der frühenPrävention von Schwierigkeiten im Erwerbmathematischer Kompetenzen in der Se-kundarstufe I eine hohe Relevanz zu. Die-sen kann z. B. durch eine gelungene Transi-tion vorgebeugt werden, in der die indivi-duelle Leistungsentwicklung in den zentra-len mathematischen Inhalten schon weitvor dem Übergang dokumentiert und über-prüft werden (van Ophuysen & Harazd,2011; Peter-Koop, Hasemann & Klep,2006).

Bezüglich der Erhebung von Lernstän-den in der Grundschule fordert auch dieKultusministerkonferenz (2015) die Aner-kennung des individuellen Lernfortschritts:„An den individuellen Stärken orientierte,lernprozessbegleitende Rückmeldungenzeigen den Kindern ihre Lernentwicklungauf und machen Lernfortschritte und Kom-

petenzen bewusst. Dadurch gewinnen sieeine positive Einstellung zum Lernen sowieSelbstvertrauen und können Verantwortungfür ihr eigenes Lernen übernehmen“ (S. 6)(s. auch Gebhardt, Diehl & Mühling, 2016).

Für Lehrkräfte ist es jedoch eine Heraus-forderung, im Schulalltag den individuellenLernverlauf eines jeden Lernenden objektiv,reliabel, valide und sensibel zu erheben(Diehl, Hartke & Knopp, 2009; Knopp &Hartke, 2010; Wilbert, 2014). Eine mögli-che Unterstützung darin stellen curriculum-basierte Messverfahren (CBM) dar.

Curriculumbasierte Messverfahren

CBM gelten als formative Leistungsmessun-gen, die sich inhaltlich am Unterricht orien-tieren und deren Durchführung im Regelfalleine bis drei Minuten dauert. Diese zeitli-che Ökonomie stellt gegenüber herkömmli-chen standardisierten Messverfahren, wiebeispielsweise die Reihe des DeutschenMathematiktests (Gölitz, Roick & Hassel-horn, 2006), einen Vorteil für einen regel-mäßigen Einsatz im Unterricht dar (imGruppentest nimmt die Durchführung die-ser Verfahren eine Gesamtzeit von 45 Mi-nuten in Anspruch). CBM dokumentierenden Leistungsverlauf von Schülerinnen undSchülern über einen längeren Zeitraum, dergrafisch abgebildet wird. Sie versprechenein systematisches Monitoring von Lern-und Entwicklungsverläufen (Limbach-Reich,2015). Besonderes Merkmal curriculumba-sierter Messverfahren ist dabei eine engeBindung an wissenschaftliche und diagnos-tische Standards (Voß & Hartke, 2014). Inder Konstruktion curriculumbasierter Mess-verfahren ist die Erfüllung der hohen wis-senschaftlichen Güte in Anbetracht der ver-sprochenen Unterrichtsnähe eine große He-rausforderung. Die deutsche Forschung zuformativer Leistungsdiagnostik ist gegen-über der in den USA noch nicht weit fortge-schritten (Klauer, 2014; Voß & Hartke,2014).

Formative Leistungsdiagnostik kannauch innerhalb des Response-to-Interven-


tion-Ansatz (RtI) verortet werden (Hartke &Diehl, 2013). Dabei tauchen unterschiedli-che Begrifflichkeiten auf. Der oftmals ver-wendete Terminus des curriculum-based assessment (CBA) gilt als „übergeordneterBegriff jegliche[r] Maßnahmen des Informa-tionsgewinns zur pädagogischen Entschei-dungsfindung “ (Voß & Hartke, 2014, S.85). Diesem Oberbegriff sind CBM unterzu-ordnen, wobei sich ebendiese durch ihreenge Bindung an wissenschaftliche diagnos-tische Standards von anderen CBA-Instru-menten unterscheiden (Voß & Hartke,2014). Innerhalb der Literatur werden dreiMethoden genannt, die weiterhin dem Kon-zept von CBM unterzuordnen sind: generaloutcome measures (GOM), skills-basedmeasures (SBM) sowie mastery measures(MM) (s. Abbildung 1).

Die drei Methoden unterscheiden sichhinsichtlich des Einsatzes, des Aufbaus so-wie der Struktur und weisen somit verschie-dene Vor- und Nachteile auf, wie Tabelle 1zeigt.

Die Güte curriculumbasierterMessverfahren

Ziel der Lernverlaufsdiagnostik als Ände-rungsmessung ist es, auf Individualebenedie Entwicklung der Lernleistung sichtbarzu machen und somit Zustandsänderung inAbhängigkeit von Wirkfaktoren zu finden(Petermann, 2010; Wilbert & Linnemann,2011). Für das Messen und Testen von Ver-änderungen im Lernen existiert bis heutekeine allgemeingültige methodologischeGrundlegung. „Folglich gibt es eine unüber-sichtliche Vielzahl von Methoden und Ma-ßen auf technischer Ebene“ (Waldmann &Petermann, 2014, S. 86). Die Auseinander-setzung mit der Verortung von CBM in Test-theorien ist jedoch höchst relevant, denn„sicher hat man es nicht mit Tests gemäßder klassischen Testtheorie zu tun“ (Strath-mann & Klauer, 2010). Fuchs (2004, S. 189)schlägt für die Erstellung von CBM eine Ori-entierung auf drei Ebenen vor: (1) „Technical features of the static score“, (2) „Technical features of slope“ und (3) „Instructional utility“.

Curriculum-Based Measurement (Deno, 1985)

General Outcome Measures (GOMs)

(Hosp, Hosp, & Howell, 2007)

Curriculum-Based Assessment

(Tucker, 1985)

Skills-Based Measures (SBMs)

(Hosp et al., 2007)

Mastery Measures

(MMs) (Hosp et al.,

2007)

„formative assessment“ (Fuchs & Fuchs, 1986; Maier, 2010)

Abbildung 1: Formen des formative assessments (adaptiert nach Voß & Hartke, 2014, S. 86)


General outcome measures (GOM)

Skills-based measures(SBM)

Mastery measures(MM)

Beispiel

Messung der Leseflüssigkeit Überprüfung der halbschriftli-chen Addition und Subtrak-tion

Überprüfung der Addition imZahlenraum bis 10

Einsatz

Screening–Lernverlaufsdokumentation–

Screening–Lernverlaufsdokumentation–

Spezifische Überprüfung–eines bestimmten Lernbe-reichsEvaluation eher im diag-–nostischen Sinne

Aufbau und Struktur

Messung einer „globalen“–Kompetenz Latente Teilfertigkeiten–werden nicht berücksich-tigtFür einen längeren Doku-–mentationszeitraum ange-legtEnthält zumeist allgemeine–„Klassenaufgaben“

Gemischte Aufgabentypen–auf Grundlage des Curricu-lums oder des UnterrichtsAufgaben können übergrei-–fende Kompetenzen über-prüfen Fähigkeiten/ Kompetenzen–können isoliert betrachtetwerden

Überprüfung einer be-–stimmten TeilfertigkeitFür einen kürzeren Doku-–mentationszeitraum ange-legtGrößerer Aufgabenpool–Items beziehen sich auf be-–stimmte Fähigkeiten oderLeistungsstufen Fähigkeiten/ Kompetenzen–können isoliert betrachtetwerden

Vorteile

Ermöglicht langfristigen–Überblick über die Ent-wicklung Gut geeignet für Dokumen-–tation der EntwicklungGeringe Messverzerrung–Zeigt Stagnationen auf und–ermöglicht Aussagen überallgemeine Entwicklung

Gibt einen Überblick über–KompetenzstandGut geeignet für Dokumen-–tation der EntwicklungGeringe Messverzerrung–Zeigt Stagnationen auf–

Kann als Ergänzung zu ei-–nem SBM genutzt werdenNützlich zur gezielten Hy-–pothesenprüfungSehr fokussiert–

Nachteile

Geringe diagnostische In-–formationKeine Aussagen über Teil-–kompetenzenBeinhaltet oftmals Aufga-–ben, die noch nicht gelöstwerden könnenEntwicklungsziele sind oft-–mals per definitionem nichtfestgelegt

Geringe diagnostische In-–formation aufgrund gerin-ger Aufgabenzahl eines Be-reichsBeinhaltet oftmals Aufga-–ben, die noch nicht gelöstwerden könnenVerallgemeinerung oder–praktisches Ausführen derFähigkeiten sind nicht er-forderlich

Gibt keinen großen Über-–blick über allgemeine Kom-petenzenGeneralisierung oder Her-–stellen von Zusammenhän-gen ist nicht möglichVerhältnis Teilkompetenz-–Kompetenz ist unpassendEher nicht für langfristige–Verlaufsdokumentation an-gelegt

Tabelle 1: Vergleich der drei CBM-Typen GOM, SBM und MM (Hosp et al., 2007, S. 15 [eigeneÜbersetzung])


Die erste Ebene setzt sich dabei mit Fragennach traditionellen psychometrischen Kenn-zeichen hinsichtlich Reliabilität und Objek-tivität auseinander. Ebene 2 geht der Fragenach, ob zunehmende Werte in den CBMtatsächlich mit der Verbesserung innerhalbder jeweiligen akademischen Domäne ein-hergehen. Die Auseinandersetzung mit dempraktischen Nutzen der Ergebnisse für Prak-tikerinnen und Praktiker in Bezug auf dieVermittlung findet auf einer dritten Ebene,„Instructional utility“, statt.

Die Klassische Testtheorie (KTT) zeigt inder Überprüfung der Güte von Verfahrender Lernverlaufsmessung Grenzen auf. Bei-spielsweise weist Rost (2004) auf ein Validi-tätsproblem hin, das bei Veränderungsmes-sungen auftritt, „weil normalerweise mit Hil-fe der Korrelation zwischen zwei Variablengeprüft wird, inwieweit beide Variablen das-selbe messen“ (S. 280). Dahingegen ist esgerade das Ziel von Veränderungsmessun-gen, dass sich Personenwerte auf individuellunterschiedliche Weise ändern sollen(Knopp & Hartke, 2010; Rost, 2004). Zudemist das Reliabilität-Validitäts-Dilemma zu dis-kutieren. Denn für änderungssensible Ver-fahren gilt, dass sie nur mäßige Retest- undParalleltestreliabilitäten bei einer hohenSplit-half Reliabilität aufweisen (Strathmann,2014). Hohe Retest- oder Paralleltestreliabi-litäten „sprechen vielmehr dafür, dass dieProbandinnen und Probanden sich in ihrenWerten nicht oder alle im gleichen Ausmaßund in der gleichen Richtung verändert ha-ben“ (Waldmann & Petermann, 2014, S.86). Da zwischen einzelnen Tests Lernfort-schritte stattfinden, ist zu erwarten, dassTests notwendigerweise leichter werdenund ihre Mittelwerte somit ansteigen (Strath-mann & Klauer, 2010).

Wilbert und Linnemann (2011) schlagenein Vorgehen vor, das zugleich Aspekte derKlassischen und der Probabilistischen Test-theorie berücksichtigt. Um die Güte zu er-mitteln, sind folgende vier Schritte zu ge-hen: 1. Anwendung einer Itemanalyse gemäß

der Klassischen Testtheorie, um Trenn-

schärfe, Schwierigkeit, interne Konsis-tenz, Homogenität und Retest-Reliabili-tät des entwickelten Tests zu ermitteln.

2. Untersuchung der Eindimensionalitätdes Konstrukts anhand einer konfirmato-rischen Faktoranalyse.

3. Durchführung der polytomen Raschmo-dellierung für die Erfassung der Item-schwierigkeit.

4. Berechnung der Differential ItemFunctioning-Werte anhand ordinal logis-tischer Regressionsanalysen basierendauf der Item-Response-Theorie zur Be-stimmung der Testfairness.

Bisherige deutschsprachigecurriculumbasierte Messverfahrenim Bereich Mathematik und ihreGrenzen

Aktuell liegen in Deutschland bereits stan-dardisierte Verfahren der Lernverlaufsdiag-nostik im Bereich Mathematik vor. Sie be-ziehen sich vornehmlich auf den Grund-schulbereich mit dem Schwerpunkt Arith-metik. International ist eine größere Anzahlan Instrumenten der Lernverlaufsdiagnostikzu verzeichnen. Die Adaption vorhandenerInstrumente aus dem internationalenSprachraum auf das deutsche Bildungssys-tem ist jedoch nicht ohne weiteres möglich.Ein Grund dafür sind u. a. die unterschiedli-chen Bildungssysteme, unter denen dasdeutsche mit seiner kurzen, vierjährigenGrundschule eher eine Ausnahme darstellt(Schmitt, 2001). Somit beginnt das Curricu-lum, das in jedem Land unterschiedlich ge-staltet ist, für den Sekundarstufenbereichhierzulande in der Klasse fünf, in anderenLändern tendenziell eher später. Bekannt istdabei, dass Transitionen sogar einen negati-ven Einfluss auf die akademische Leistungs-entwicklung der Schülerinnen und Schülernehmen können (Racherbäumer & Kohnen,2014).

Weitere Verfahren befinden sich nochin der Entwicklung, wie beispielsweise dasgemeinsame Forschungsprojekt LeVuMi(Lern-Verlaufs-Monitoring) von Gebhardt,


Diehl und Mühling. Es liegen bereits Lern-verlaufstests für die Bereiche Leseflüssigkeitund Buchstabentests vor, die Entwicklungweiterer Reihen, wie auch eine für das FachMathematik, befindet sich noch in Planung(Gebhardt & Mühling, in Planung).

Die vorhandenen Verfahren zeigen,dass die Forschung zu und Entwicklung vonInstrumenten der Lernverlaufsdiagnostik inDeutschland seit der Jahrtausendwende vo-rangeschritten ist. Dennoch gibt es Barrie-ren, weshalb diese CBM bisher nicht in denUnterrichtsalltag implementiert werden.Mögliche Gründe dafür sind eine fehlende

Passung für den individuellen Unterricht,die begrenzte und geringe Anzahl an Test-bögen, kein öffentlicher sondern ggf. kos-tenpflichtiger Zugang zu den Verfahren auf-grund interner Plattformen o. ä. und diez. T. lange Durchführungsdauer, die auchdie konzeptionell vorgeschlagene Testdauerfür CBM-Kurztests überschreitet (Käter, Kä-ter, Martenstein & Hillenbrand, 2016). Ge-mäß internationaler Studien lassen sich ins-besondere die folgenden Antworten auf dieFrage nennen, weshalb Lehrkräfte häufigkeine curriculumbasierten Messungendurchführen: Die Gründe sind vorrangig

Prog

ram

m

Diagnose- undFörderblätter

in dreiBänden

Lernverlaufs-diagnostik

Mathematikfür zweite bisvierte Klassen (LVD-M 2-4)

Lernfort-schritts-

diagnostikGrundrechen-

arten

InventarRechenfische

„quop“-Projekt

RügenerInklusions-

modell

Aut

orIn

, Ja

hr

Klauer (1994) Strathmann &Klauer (2012)

Hartmann &Müller (2014)

Knopp &Hartke (2010)

Souvignier,Förster &Salaschek (seit 2008)

Voß & Hartke(2010–2015)

Eins

atz Klasse 2–4 Klasse 2–4 Klasse 1–4 Klasse 1 Klasse 1–6 Klasse 1–4

Inha

lte

Addition,Subtraktion,

Multiplikation,Division,Größen


Multiplikation,Division




Zahlenzerlegen,

Zahlreihenergänzen,

Textaufgabenoder

Zahlenstrahl

Mathema-tische

Vorläufer-kompetenzen,

curriculareKompetenzen



Dau

er

(Min

.) k. A. 15 3 unbegrenzt 10–15 k. A.

Para

llel-

vers

ione

n 30 unbegrenzt 120 3 Versionen (in je A- und

B-Form)

8 proSchuljahr

k. A.

Der

zeit

öffe

ntlic

h zu

gäng

lich

ja ja ja nein nein nein

Tabelle 2: Bisher in Deutschland veröffentlichte Verfahren bzw. in Projekten implementierte Instru-mente zur Lernverlaufsdiagnostik für das Fach Mathematik


der zeitliche Aufwand, ein zu geringesFachwissen, das benötigte Material, die Un-wissenheit über Auswertungstechniken, lo-gistische Herausforderungen oder eine an-gezweifelte Anschauungsvalidität (Deno,1993; Wesson, King & Deno, 1984; Yell,Deno & Marston, 1992). Križan und Vossen(2016) sehen als weitere Gründe für dienicht vorhandene Implementation von CBMin den schulischen Alltag das wissenschaft-liche Eigenleben, in dem Forschungsergeb-nisse Praktikerinnen und Praktikern nichtzur Verfügung gestellt werden. Zudem nen-nen sie als weitere Gründe die schulischeTradition, in der sogar oftmals pseudowis-senschaftliche Förderverfahren zum Einsatzkommen und letztlich die politische Koordi-nation, in der ein Austausch zwischen Wis-senschaft und Schule nicht intensiv genugforciert wird.

Aus diesen Gründen überprüft der vor-liegende Beitrag, ob die anhand eines amspezifischen Unterricht orientierten Kon-struktionsleitfadens entwickelten CBM denhohen Ansprüchen an die wissenschaftlicheGüte entsprechen. Bewährt sich ein solchesVorgehen, eröffnet sich für Lehrkräfte dieMöglichkeit einer spezifischen Adaption ih-res Handelns: Sie können auf ihren eigenenUnterricht angepasste, individuelle und zu-verlässige CBM entwickeln, um die Lernent-wicklung ihrer Schülerinnen und Schüler zudokumentieren und zum Anlass weitererUnterstützung zu nehmen. Eine solche Ori-entierung des Unterrichts an der Bedürfnis-lage der Lernenden entspricht den Forde-rungen evidenzbasierter sonderpädagogi-scher Praxis (Casale, Hennemann & Gro-sche, 2015; Hillenbrand, 2015). Vorausset-zung für den Einsatz eines Konstruktionsleit-fadens ist jedoch die wissenschaftlich nach-gewiesene Güte des Instruments.

Forschungsziel undForschungsfrage

In dem vorliegenden Beitrag wird ein Instru-ment der Lernverlaufsdiagnostik für dieJahrgangsstufe 4 im Fach Mathematik vorge-

stellt, das anhand eines siebenschrittigenLeitfadens konstruiert wurde. Die darin be-inhalteten arithmetischen Grundoperatio-nen (Addition, Subtraktion, Multiplikation,Division & Stellenwertsystem) stellen alsmathematische Basiskompetenzen notwen-dige Lernvoraussetzungen für weiterführen-de Inhalte des Mathematikunterrichts in derSekundarstufe I dar. Das hier vorgestellte In-strument fokussiert sich somit auf den In-haltsbereich „Zahlen und Operationen“ derBildungsstandards für das Fach Mathematikfür die Grundschule (Kultusministerkonfe-renz, 2005).

Die zentrale Forschungsfrage des vorlie-genden Beitrags lautet: Entspricht ein leitfa-dengestützt entwickeltes curriculumbasier-tes Messverfahren für das Fach Mathematikin der Jahrgangsstufe 4 den hohen, an CBMgestellten, wissenschaftlichen Standards derGüte?

Methode

Design

Zur Überprüfung der Fragestellung wurdeein Parallelgruppen-Design gewählt und miteinem Cross-Over-Design kombiniert. Da-bei bearbeiteten Probandinnen und Proban-den in zwei Gruppen über insgesamt 12Messzeitpunkte dieselben entwickeltenCBM, jedoch in einer anderen Reihenfolge(s. Tabelle 3: Forschungsdesign). Die Grup-pen bearbeiteten dabei jeweils die A- und B-Version eines CBM zum selben Messzeit-punkt, da für die schulische ImplementationParallelversionen, zum Beispiel zur Vermei-dung des Abschreibens bei Sitznachbarn,notwendig sind. Die A- und B-Formen einesCBM stellen also Paralleltests dar. Die Grup-pe, die zunächst alle A-Formen bearbeitethat, wird im Folgenden mit „Versuchsgrup-pe A“ (VG-A) bezeichnet, die andere Grup-pe mit „Versuchsgruppe B“ (VG-B).

Ein Vorteil des Cross-Over-Designs liegtdarin, dass im Sinne klinischer Studien jedeProbandin und jeder Proband seiner eige-


nen Kontrolle dient (Schumacher & Schul-gen, 2009). Zudem kann in Anlehnung anVoß (2014) ein möglicher Übungs- bzw.Lerneffekt kontrolliert werden. Vor dem ers-ten und nach dem letzten Messzeitpunkt er-folgte eine Prä- bzw. Postmessung durchden Heidelberger Rechentest (HRT 1-4)(Subskala Rechenoperationen) (Haffner, Ba-ro, Parzer & Resch, 2005).

Instrumente

Die curriculumbasierten Testbögen. ZurEntwicklung der Testbögen wurde ein Leit-faden zur Konstruktion von CBM hinzuge-zogen, der bereits für den Bereich Lesen po-sitiv evaluiert wurde (Käter et al., 2016). Indiesem Leitfaden wird ein von Fuchs (2004)vorgeschlagener Konstruktionsweg für CBMverfolgt. Sie empfiehlt dabei eine Präzisie-rung der jeweiligen interessierenden Kom-petenz, die dann durch die Definition vonAufgabentypen operationalisiert wird. Derhier genutzte Leitfaden ist etwas differen-zierter und besteht aus insgesamt siebenSchritten, die in der Konstruktion der Reihenach durchlaufen werden. Schritt 1: Auswahl des Lehr-/LerninhaltesSchritt 2: Bestimmung des AufgabentypsSchritt 3: Definition der Aufgaben- und

SchwierigkeitsbereicheSchritt 4: Bestimmung des TestumfangsSchritt 5: Generierung der Aufgabenstich-

probeSchritt 6: Erstellung der TestblätterSchritt 7: Auswertung und Dokumentation

des Lernverlaufs

Inhaltlich orientieren sich die hier entwi-ckelten CBM an dem Kompetenzbereich„Zahlen und Operationen“ der Bildungs-standards für das Fach Mathematik für dieGrundschule (Jahrgangsstufe 4) (Kultusmi-nisterkonferenz, 2005) (Schritt 1). Als Auf-gabentyp wurde hier der Typ Skills-basedmeasures (SBM) gewählt, da die Kompeten-zen in verschiedenen Grundrechenarten zu-gleich geprüft werden sollen (Müller &Hartmann, 2009) (Schritt 2). Die Definitionder Aufgaben- und Schwierigkeitsbereicheist in Tabelle 4 ersichtlich (Schritt 3). EinAufgabenblatt besteht aus insgesamt 15 di-chotomen Aufgaben, die in drei Schwierig-keitsblöcke (Niveaus) eingeteilt werden. Injedem Schwierigkeitsblock befindet sich jeeine Aufgabe zum Stellenwertsystem, zurAddition, Subtraktion, Multiplikation undDivision. Es wurden zwölf Parallelversio-nen mit insgesamt 180 Aufgaben entwi-ckelt. Davon fallen je 36 Aufgaben auf diejeweiligen Grundrechenarten resp. das Stel-lenwertsystem (Schritt 4). Die Generierungder Aufgaben erfolgte mittels des Pro-gramms „Rechenblatt“, das auf Grundlagevorgegebener Definitionen unendlich vielezufällige Rechenaufgaben generiert (Schritt5). Anschließend wurden die generiertenAufgaben jeweils parallel in Testbögen fest-gehalten (Schritt 6) und im vorliegendenBeitrag ausgewertet (Schritt 7).

Der Heidelberger Rechentest 1–4 (HRT1–4). Der Heidelberger Rechentest 1-4(HRT 1–4) (Haffner et al., 2005) ist ein stan-dardisiertes Instrument zur Erfassung der,von curricularen Stoffplänen unabhängigen,mathematischen Basiskompetenzen imGrundschulalter. Das Verfahren umfasst die

Prä T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12 Post

VG

-A HRT1–4

CBM1A

CBM2A

CBM3A

CBM4A

CBM5A

CBM6A

CBM1B

CBM2B

CBM3B

CBM4B

CBM5B

CBM6B

HRT1–4

VG

-B HRT1–4

CBM1B

CBM2B

CBM3B

CBM4B

CBM5B

CBM6B

CBM1A

CBM2A

CBM3A

CBM4A

CBM5A

CBM6A

HRT1–4

Tabelle 3: Forschungsdesign

Anmerkung: VG-A = Versuchsgruppe A,VG-B = Versuchsgruppe B


Aufgabe Bezeichnung Definition Beispielitem

Aufgabe 1 StellenwertsystemNiveau 1

E < 10Z < 10

Aufgabe 2 AdditionNiveau 1

T+H < 10.000 8000 + 300 =

Aufgabe 3 Subtraktion Niveau 1

T-H >0 8000 – 400 =

Aufgabe 4 Multiplikation Niveau 1

ZE · E < 1.000 24 · 6=

Aufgabe 5 Division Niveau 1

ZE:E < 100(E≠0)

63 : 7 =


10 ≥ E ≤ 20Z < 10H < 10(Übertrag bei Z)

Aufgabe 7 Addition Niveau 2

THZE + ZE< 10.000 (Übertrag bei Z)

2569 + 14 =


THZE – TH > 0 (Übertrag bei H)

9119 – 8800 =


ZE · ZE < 10.000 59 · 57 =


HZE:E < 1.000E≠0

637 : 7 =


10 ≥ E ≤ 2010 ≥ Z ≤ 20H < 10(Übertrag bei Z und H)

Aufgabe 12 Addition Niveau 3

THZE+THZE < 20.000 (Übertrag bei Z und H)

3656 + 3095 =


THZE – THZE> 0(Übertrag bei Z und H)

8614 – 4487 =


HZE · ZE < 100.000 567 · 53 =


THZE: E < 10.000(E≠0)

3395 : 7 =

Anmerkung: T = Tausender, H = Hunderter, Z = Zehner, E = Einer

Z E°°° °°

H Z E°°°°°°°°

°° °°°°°°

H Z E°°°°° °°°°°

°°°°°°

°°°°°°°°°°°°°°°

Tabelle 4: Überblick über Aufgaben und zugrundeliegende Definitionen. Die Bearbeitung konntehalbschriftlich, schriftlich oder im Kopf erfolgen


Bereiche „Rechenoperationen“ und „Nume-risch-logische und räumlich-visuelle Fähig-keiten“. Normiert wurde das Verfahren an-hand einer Stichprobe von N=2.262Grund- und Förderschülerinnen und -schü-lern der ersten bis vierten Klasse. In der vor-liegenden Studie wurde ausschließlich dieSkala „Rechenoperationen“ genutzt. DieReliabilität der einzelnen Untertests beläuftsich auf .68 bis .89 (Haffner et al., 2005).Zusätzlich wurde die Validität über Außen-kriterien, wie Schulnoten in den FächernDeutsch und Mathematik, andere Testver-fahren (Aufmerksamkeits-Belastungs-Test(d2) (Brickenkamp, 2002), DEMAT 4 (Gölitzet al., 2006), Würzburger-Leise-Leseprobe(WLLP) (Küspert & Schneider, 1998), Wein-gartener Grundwortschatz Rechtschreibtestfür 3. Und 4. Klassen (WRT3+) (Birkel,2007) sowie das Prüfsystem für Schul- undBildungsberatung (PSB) (Horn & Lukesch,2002)) positiv evaluiert.

Stichprobe

Die Größe der Stichprobe beläuft sich auf N=143 (s. Tabelle 5). Die Schülerinnenund Schüler stammen dabei aus drei ver-schiedenen Grundschulen und insgesamtsieben Klassen in Niedersachsen. Die

durchschnittliche Klassengröße liegt bei20.43 Schülerinnen und Schülern. Es han-delt sich um eine anfallende Stichprobe, dadie Schulen nicht randomisiert gewähltwurden. Die Schülerinnen und Schüler nah-men an der Untersuchung teil, nachdem ei-ne Zustimmung der Schulleitung und derKlassenlehrkräfte vorlag. Weder Schulleiter,Klassenlehrkräfte noch Schülerinnen undSchüler erhielten eine Entschädigung für dieErhebung.

Dropout. Tabelle 6 ist zu entnehmen,wie viele Schülerinnen und Schüler in denjeweiligen Messzeitpunkten fehlten. Feh-lende Werte entstanden hier lediglich durchnicht anwesende Schülerinnen und Schüler.Alle anderen haben die CBM bearbeitet undwurden in die Analyse mit aufgenommen.Daher kann hier von zufälligen fehlendenWerten die Rede sein.

Durchführung

Die Bearbeitung der zwölf CBM-Testbögendurch die Schülerinnen und Schüler erfolg-te zwischen den Oster- und Sommerferienim Jahr 2014. Die Prä- und Posterhebungwurden von geschulten Studierendendurchgeführt und fanden in den ersten Stun-den des Schultags statt. Sie dauerten in je-

Versuchsgruppe

n = 143

n Schulen = 3

n Klassen = 7

Ø Klassengröße = 20.43 Schülerinnen und Schüler

männlich weiblich k. A.

n = 77 (53.8 %) n = 63 (44.1 %) n = 3 (2.1 %)

Alter (in Jahren) ≈ 10.52 (k. A.: 18.3 %)

Tabelle 5: Zusammensetzung der Stichprobe

T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12

Fehlend 9.09 10.49 8.05 7.69 5.59 9.09 6.99 5.59 6.29 9.09 5.59 8.39

Anmerkung: Angaben in Prozent

Tabelle 6: Dropout-Werte zu den einzelnen Messzeitpunkten


der Klasse ca. eine Schulstunde. Nachdemdie Prä-Testung in den Klassen vorgenom-men wurde, wurde in der jeweils direkt fol-genden Stunde die erste CBM-Testungdurchgeführt. Auch diese Durchführung er-folgte durch die Studierenden, damit denanwesenden Mathematiklehrkräften exem-plarisch gezeigt werden konnte, wie dieweitere Durchführung erfolgen soll. DieSchülerinnen und Schüler lösten in den ers-ten fünf Minuten die Aufgaben mit einemschwarzen Stift (Speed-Test-Komponente),für die weitere benötigte Zeit schrieben siemit einem blauen Stift weiter. Dieses Vorge-hen wurde gewählt, um im Nachhinein er-mitteln zu können, wie viele Aufgaben dieSchülerinnen und Schüler in fünf Minutenlösen konnten und ob die Anzahl der ge-stellten Aufgaben für eine CBM-Messung alsKurztest angemessen ist. Die Durchführungder CBM erfolgte folglich nicht ausschließ-lich in Form eines Speed-Tests. Die Schüle-rinnen und Schüler hatten ausreichend Zeit,die Bögen zu bearbeiten. Eine Durchfüh-rung benötigte insgesamt ca. 20 Minuten.Für diejenigen, die schon früh mit der Bear-beitung der Aufgaben fertig waren, standenfür jede der zwölf Durchführungen Knobel-aufgaben bereit. Die weiteren elf CBM führ-ten die Lehrkräfte wie beschrieben orien-tiert am eigenen schulischen Alltag im Ma-thematikunterricht nach der Vorgabe durch,dass zwei CBM pro Woche durchgeführtwerden sollten, wobei die jeweiligen Tes-tungen nicht an aufeinanderfolgenden Ta-gen stattfanden.

Statistische Analyse

Die Vorgehensweise stützt sich auf den o. g.Vorschlag von Wilbert und Linnemann(2011). Konkret mündet dies in folgendenErwartungen:

Die CBM stellen ein valides Instrumentzur Lernverlaufsdiagnostik im Bereich derarithmetischen Kompetenzen dar (Validität).

Die Lösung der CBM ist frei von Fähig-keiten oder Umständen außerhalb des ge-wählten Inhaltsbereichs (Homogenität).

Die CBM messen die Fähigkeiten derKinder im Bereich der arithmetischen Kom-petenzen zuverlässig und in vergleichbaremMaße (Reliabilität).

Die CBM eignen sich gemäß ihrer ange-dachten Verwendung als Speed-Test.

Die Items der einzelnen CBM-Tests wer-den zunehmend, aber zwischen den ver-schiedenen CBM-Tests in vergleichbaremMaße schwerer.

Ergebnisse

Allgemeine Entwicklung

Bezüglich der allgemeinen Entwicklungzeigt sich, dass sowohl bei den in fünf Mi-nuten gelösten Aufgaben als auch bei deninsgesamt richtig gerechneten Aufgaben einpositiver Entwicklungstrend einsetzt (lineareRegression: R2=0.66 bzw. R2=0.85) (s.Abb. 2).

Innerhalb der Messzeitpunkte (1, 2, 3 ...12) ergaben sich in den meisten Fällen kei-ne Unterschiede zwischen den jeweiligenFormen A und B (siehe Tabelle 7). Ausnah-men bildeten dabei die Messzeitpunkte 2,6, 9 und 10. Bei der zweiten Bearbeitungdieser Testbögen in den Messzeitpunkten 8,12, 3 und 4 ließen sich wiederum keine sig-nifikanten Unterschiede feststellen.

Untersuchungen gemäß derKlassischen Testtheorie

Validität. Zur Überprüfung der Kriteriums-validität wurden alle Messzeitpunkte derCBM mit den Werten des HRT 1–4 (Haffneret al., 2005) korreliert. Da die vorherigeAnalyse keine Unterschiede zwischen denA- und B-Formen innerhalb eines Messzeit-punkts aufgezeigte, wurden für die Korrela-tionen jeweils die CBM in A- und B-Form ei-nes Messzeitpunktes gemeinsam einbezo-gen. Es ergaben sich stabile signifikante Kor-relationen zwischen r=.36 und r=.54 mitdem Prä-Zeitpunkt und ebenso signifikanteKorrelationen zwischen r=.49 und r=.60


Gem

ittl

elte

Tes

tsco

res

Abbildung 2: CBM-Score mit und ohne Zeitlimit

T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12

t 0.72 2.29 0.54 1.68 1.77 2.41 1.92 –0.59 2.26 0.72 2.29 0.54

df 114 126 129 130 110 114 115 122 108 114 126 129

Diff 0.354 1.21* 0.26 0.77 0.78 1.15* 0.89 –0.25 0.98* 0.354 1.21* 0.26

Anmerkung: * – auf 0.05-Niveau signifikant

Tabelle 7: Prüfung von Unterschieden zwischen den Parallelversionen A und B mittels entsprechen-der t-Tests

HRT T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12

Prä .51 .54 .36 .44 .42 .44 .45 .43 .51 .51 .48 .50

Post .53 .55 .49 .53 .52 .56 .54 .52 .54 .60 .57 .51

Tabelle 8: Korrelationen der CBM mit den Werten des HRT 1-4 zum Prä- und Postzeitpunkt. Alle Kor-relationen sind signifikant auf dem .001-Niveau

zum Post-Zeitpunkt. Es besteht ein mittlererZusammenhang (Diaz-Bone, 2006) derCBM mit den Werten des HRT.

Reliabilität. Zur Betrachtung der Paral-leltest-Reliabilität der CBM wurden die je-weils aufeinander folgenden CBM in derDarstellung einer Simplex-Struktur korre-liert (siehe Tabelle 9) (s. Schneider & Trei-ber, 1986). Die CBM benachbarter Zeit-punkte korrelieren in mittlerem bis hohemMaße miteinander (.62 ≤ r ≤.83 auf derDiagonalen). Es ist erkennbar, dass die Kor-relationskoeffizienten tendenziell abneh-

men, je weiter entfernt diese von der Diago-nalen liegen (minimal r=.49 bei T1/T8).

Interne Konsistenz. Um die interne Kon-sistenz zu bestimmen, wurde in einem ers-ten Schritt Cronbachs Alpha der CBM allerMesszeitpunkte anhand der jeweils erreich-ten Gesamtrohwerte ermittelt. Es ergibt sichein Alpha von αc=.96.

In einem zweiten Schritt wurde die in-terne Konsistenz der einzelnen CBM ermit-telt. Die Werte liegen bei fast allen CBM imakzeptablen Bereich (.68 < αc< .78 für diegesamte Stichprobe).


Um von den Ergebnissen der bisherigenAnalysen (CBM ohne Zeitvorgabe) auf dieCBM mit Zeitvorgabe schließen zu können,wurden die Werte der CBM ohne eine Zeit-vorgabe mit denen mit Zeitvorgabe korre-liert (siehe Tabelle 11). Mit den vorliegen-den Werten kann von einem linearen Zu-sammenhang zwischen den zeitoffenen und-limitierten Werten in allen CBM-Formenausgegangen werden.

Schwierigkeiten und Trennschärfen. Beidichotomen Items entspricht der Mittelwertüber die Antworten aller Probandinnen undProbanden der Itemschwierigkeit – im Sin-ne eines Schätzers für die Lösungswahr-

scheinlichkeit. Um für jedes Item eine Aus-sage treffen zu können, wurden hier alle Lö-sungen, die ohne Zeitlimit entstanden sind,mit einbezogen. Für jedes der 15 dichoto-men Items ergaben sich bei paarweisen Ver-gleichen zwischen allen zwölf Messzeit-punkten in lediglich 58 Fällen signifikanteMittelwertunterschiede auf dem .05-Ni-veau. Dies entspricht einer Quote von5.86%, sodass angenommen werden kann,dass innerhalb eines Items die Schwierigkei-ten zwischen den CBM-Formen gleich sind.In Abbildung 3 sind die gemittelten Item-schwierigkeiten für die Aufgabenitems a biso der 12 CBM-Tests dargestellt. Wie zu se-

T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12

T1 .62 .61 .56 .56 .55 .56 .49 .51 .53 .55 .57

T2 .71 .71 .65 .67 .65 .59 .65 .67 .62 .57

T3 .79 .76 .77 .74 .75 .73 .73 .72 .66

T4 .75 .75 .76 .67 .67 .76 .72 .72

T5 .78 .79 .75 .75 .77 .74 .72

T6 .79 .72 .75 .78 .75 .72

T7 .67 .77 .79 .72 .71

T8 .74 .80 .78 .74

T9 .83 .78 .77

T10 .79 .78

T11 .80

Tabelle 9: Inter-Item-Korrelationsmatrix für CBM in den 12 Messzeitpunkten

Gruppe 1A 1B 2A 2B 3A 3B 4A 4B 5A 5B 6A 6B

Alle .70 .78 .75 .76 .73 .70 .75 .75 .68 .75 .77 .74

VG A .48 .66 .70 .60 .66 .52 .62 .77 .47 .68 .71 .61

VG B .79 .76 .78 .79 .78 .75 .82 .63 .77 .78 .79 .79

Tabelle 10: Cronbachs Alpha für jede CBM-Form sowohl für die gesamte Stichprobe als auch für diebeiden Versuchsgruppen A und B

1A 1B 2A 2B 3A 3B 4A 4B 5A 5B 6A 6B

r .82 .87 .85 .82 .86 .84 .83 .93 .83 .87 .89 .85

Tabelle 11: Korrelation der Ergebnisse nach fünf Minuten mit denen ohne Zeitvorgabe


hen ist, sind die Aufgaben zu Beginn sehreinfach und wurden zum Ende eines jedenCBM-Tests schwieriger. Im Falle der Trenn-schärfen (korrigierte Item-Skala-Korrelationfür das jeweilige Item) ergibt sich ein gegen-läufiger Trend. Gemäß den Erwartungenbzgl. der Beziehung zwischen Trennschärfeund Schwierigkeit sind die leichtesten Itemsam wenigsten trennscharf. Zum Ende einesjeden CBM-Tests steigt die Trennschärfe ineinen mittleren Trennschärfebereich.

Aus Tabelle 12 wird ersichtlich, dasssich alle CBM-Formen auf Testebene imleichten bis sehr leichten Bereich beweg-ten. Alle CBM bewegten sich etwa auf dem-selben Niveau um p≈.75.

Untersuchung gemäß der Item-Response-Theorie

Da die Ermittlung der Itemparameter auf dasVorhandensein immer gleich vieler beant-

worteter Items aufbaut, konnten für die Ana-lyse lediglich die Fälle mit einbezogen wer-den, in denen alle Items des jeweiligenCBM beantwortet wurden. Weiter war we-gen der gleichzeitigen Berücksichtigungvon Itemschwierigkeit und Personenpara-meter in der Analyse nicht notwendig, zwi-schen den Versuchsgruppen A und B zu un-terscheiden.

In Abbildung 4 sind die Itemparameteraller 12 CBM-Formen zu sehen. Die Item-schwierigkeiten bilden in der Grafik ein en-ges Band, aus dem in einzelnen Ausnahme-fällen Werte herausstechen. Zu erkennenist, dass die Items in allen CBM schwererwerden. Der Verlauf der Itemparamter ver-läuft für alle CBM vergleichbar zackig.

In Tabelle 13 sind die Testwerte des An-derson-Likelihood-Ratio-Tests (LRT) (Test-wert annähernd χ2-verteilt) ersichtlich. Hierzeigt sich in fast allen CBM durch hohe Sig-nifikanzwerte Subgruppeninvarianz.

1A 1B 2A 2B 3A 3B 4A 4B 5A 5B 6A 6B

Schwierigkeit .72 .74 .79 .75 .77 .80 .79 .80 .79 .79 .82 .80

Tabelle 12: Schwierigkeitskoeffizienten der 12 CBM-Formen

Klassifizierung: p > 0.8 = klein, : 0.8 > p > 0.2 = mittel, : p < 0.2 = hoch (Bühner, 2011)

Klassifizierung nach Bühner (2011) Schwierigkeiten: p > 0.8 = klein, : 0.8 > p > 0.2 = mittel, : p < 0.2 = hoch Trennschärfen: rTS < 0.3 = klein, : 0.3 < rTS < 0.5 = mittel, : rTS > 0.5 = hoch

Abbildung 3: Gemittelte Itemschwierigkeiten und Trennschärfen für die Items a bis o über alle 12CBM-Formen hinweg


Diskussion

Dieser Beitrag verfolgte die Frage, ob dasleitfadengestützt entwickelte CBM-Verfah-ren den hohen Anforderungen wissen-schaftlicher Gütekriterien entspricht.

Diskussion der Ergebnisse

Die Auswertung der Ergebnisse anhand desVorschlags von Wilbert und Linnemann(2011) zeigte, dass es sich bei den entwi-ckelten CBM mit Rückbezug auf die vonFuchs (2004) vorgeschlagene Dreistufungder Überprüfung von CBM auf den erstenbeiden Stufen um ein reliables und validesInstrument der Lernverlaufsdiagnostik han-delt. Mit Rückbezug auf Fuchs (2004) wur-den Überprüfungen auf Ebenen der ersten

beiden Stufen, (1) „Technical features of thestatic score“ und (2) „Technical features ofslope“, vorgenommen. Der Leitfaden zur Er-stellung der CBM liefert demzufolge imRahmen der natürlichen Variabilität gleichschwere und konsistente CBM, die zu un-terschiedlichen Zeitpunkten erfolgreich ein-gesetzt werden konnten. Über die dritte Stu-fe, (3) „Instructional utility“, kann an dieserStelle keine Aussage getroffen werden, hiersind unter anderem weiterführende Unter-suchungen der Implementationsforschungnötig (vgl. Petermann, 2014).

Allgemein zeigt sich, dass die Schülerin-nen und Schüler über die 12 Messzeitpunktehinweg einen kontinuierlichen Kompetenz-zuwachs in den mathematischen Basiskom-petenzen verzeichneten. Unterschiede zwi-schen den jeweiligen Parallelversionen

-3

-2

-1

0

1

2

3

4

a b c d e f g h i j k l m n o1A 1B 2A 2B 3A 3B4A 4B 5A 5B 6A 6B

Abbildung 4: Aus der Rasch-Analyse gewonnene Itemparameter β (kleine Werte bedeuten eine hoheSchwierigkeit) für alle 12 CBM

Parameter 1A 1B 2A 2B 3A 3B 4A 4B 5A 5B 6A 6B

Testwert 6.53 7.84 4.33 18.93 10.60 11.78 10.15 8.36 12.96 2.82 10.13 8.47

df 10 12 9 10 14 10 10 7 12 6 8 11

Sig. .77 .80 .89 .04 .72 .30 .43 .30 .37 .83 .26 .67

Tabelle 13: Testwerte des LRT zur Bewertung der Subgruppeninvarianz der 12 CBM-Formen


konnten nicht ausgemacht werden. Bezüg-lich der Validität konnte zwischen den Wer-ten der CBM und dem standardisierten Au-ßenkriterium ein moderater Zusammenhangfestgestellt werden. Hinsichtlich der Reliabi-lität bilden die 12 eingesetzten CBM mit ei-nem Wert von αc=.96 ein konsistentes Kon-strukt zur Lernverlaufsdiagnostik. Die inter-ne Konsistenz der einzelnen CBM beläuftsich auf Werte von αc=.68 bis .78. Die Er-wartungen hinsichtlich der zunehmendenSchwierigkeit der Items innerhalb der CBMsowie einer adäquaten Trennschärfe derAufgaben konnten bestätigt werden.

In den Ergebnissen wird deutlich, dassin der Überprüfung der Unterschiede zwi-schen den Testzeitpunkten Unregelmäßig-keiten aufgetreten sind. Die CBM-Formen4A, 5A und 6A weisen einen (nicht signifi-kanten) positiven Unterschied zwischenden Testzeitpunkten auf. Dies ist insofernungewöhnlich, als dass eigentlich ein nega-tiver Mittelwertunterschied zu erwarten ist.Außerdem ist diese Unregelmäßigkeit inden zeitgleich eingesetzten Formen 4B, 5Bund 6B nicht zu verzeichnen. Dieser Sach-verhalt erfordert weiterführende Analysen.

Ähnliche Unregelmäßigkeiten konntenauch in der analogen Analyse zu den Mess-zeitpunkten 2, 6, 9 und 10 verzeichnet wer-den. Obwohl hier keine Unterschiede vor-liegen sollten, konnten zu diesen Zeitpunk-ten signifikante Unterschiede zwischen denCBM-Formen ermittelt werden. Die redun-danten Zeitpunkte 7, 12, 3 und 4 wiesendiese Unterschiede hingegen nicht auf.Ebenso waren entsprechende Mittelwertun-terschiede nicht zu verzeichnen, wenn dieredundanten Zeitpunkte zusammen auf Un-terschiede getestet wurden. Da die CBMselbst innerhalb einer Klasse zufällig nachA- und B-Form verteilt wurden, scheidenhier auch Durchführungseffekte als mögli-cher Grund aus, womit dessen Ursache bis-lang nicht weiter ermittelt werden kann.

Die mittleren Korrelationen mit demHRT 1–4 konnten durch die unterschiedli-chen inhaltlichen Konzeptionen der Mess-instrumente erklärt werden. Während beim

HRT 1–4 in der Subskala Rechenoperatio-nen auch Aufgaben zu Größenrelationenund Ergänzungsaufgaben erhoben wurden,die in den CBM nicht enthalten sind, prüf-ten die CBM im Gegenzug auch Aufgabenzum Stellenwertsystem, die im HRT 1–4nicht zu verzeichnen sind. Trotz dieses Un-terschieds scheint die Wahl des HRT 1–4als Bezugsnorm angesichts mangelnder pas-senderer Instrumente als geeignet, da derHRT 1–4 im Gegensatz zu anderen Instru-menten einerseits entsprechende Rechen-operationen erfasst und zugleich gut im un-teren Leistungsbereich differenziert.

Die innere Konsistenz der einzelnenCBM fiel mit αc≈.7 lediglich in den geradeakzeptablen Bereich. Diese ist nicht als ver-minderte Konsistenz, sondern vielmehr alskonstruktionsbedingt anzusehen. In denCBM wurden unterschiedliche Aufgabenty-pen behandelt, die alle theoretisch fundiertin dem Bereich der mathematischen Basis-kompetenzen zu verorten sind. Dennochwurden unterschiedliche Rechenarten (z. B.Addition vs. Division) von Schülerinnenund Schülern unterschiedlich gut gelöst undsind damit nicht als untereinander konsis-tent anzusehen. Der dennoch akzeptableWert des Cronbachs Alpha deutet daraufhin, dass die CBM insgesamt ein reliablesund valides Instrument zur Testung der ma-thematischen Basiskompetenzen darstellen.

Bezüglich der Itemschwierigkeiten erga-ben sich sowohl nach der Analyse in derKlassischen Testtheorie als auch im Rasch-Modell sehr hohe Lösungswahrscheinlich-keiten für die ersten beiden Items. Wegender daraus resultierenden ungünstigenTrennschärfe ist zu prüfen, ob diese Itemsfür ein CBM grundsätzlich geeignet sind. Ei-ne mögliche Ursache kann hier im zur Lern-gruppe nicht ganz passend gewählten in-haltlichen Schwierigkeitsgrad der beidenItems liegen.

Diskussion der Methodik

Bei der herangezogenen Stichprobe handel-te es sich um eine anfallende, nicht rando-


misierte Stichprobe. Schulen in nahen Ein-zugsgebieten der Universität sind oftmalsmit Forschungsprojekten ausgelastet, sodassgezielt Schulen im Umland angeschriebenwurden. Dabei musste der Faktor „Erreich-barkeit“ gewährleistet bleiben, um einemöglichst problemlose Projektdurchfüh-rung zu ermöglichen. Ein weiterer Diskussi-onspunkt ist die Durchführung der CBM-Er-hebungen durch die Mathematiklehrkräftein den einzelnen Klassen. Zwar erhieltendie Lehrkräfte schriftliche Durchführungsan-weisungen mit den verbalen Instruktionen,jedoch ist zu berücksichtigen, dass einigeLehrkräfte Unterstützungen oder Hilfen ge-leistet haben könnten, was jedoch im Rah-men des Projekts nicht kontrolliert wurde.Zudem könnte die Durchführung der Erhe-bungen durch die Lehrkräfte dazu geführthaben, dass diese gezielt Inhalte noch ein-mal im Mathematikunterricht wiederholtenresp. vertieften, um möglichst gut bei denErhebungen abzuschneiden. Grafische Dar-stellungen über die Entwicklungsverläufeerhielten die Lehrkräfte erst nach Projektab-schluss, um inhaltliche Reaktionen auf Un-terrichtsebene möglichst zu vermeiden.

Um die Zuverlässigkeit und Validität derPrä- und Posterhebungen mittels des HRT1–4 möglichst hoch zu halten, wurden die-se jeweils von denselben Studierendendurchgeführt. Diese wurden im Vorfeld ge-schult, um eine standardisierte Testung zugewährleisten. Ebenso positiv hervorzuhe-ben ist, dass die Testungen nicht in Formvon Speed-Tests durchgeführt wurden. DieSchülerinnen und Schüler hatten ausrei-chend Zeit, die CBM auszufüllen; durchden Wechsel der Stiftfarbe konnten die in 5Minuten gelösten Aufgaben dennoch ermit-telt werden. Das Bearbeiten eines Aufga-benblatts beanspruchte ca. 20 Minuten. DerVerzicht auf eine Speed-Testung ermöglich-te eine zuverlässige Berechnung vonSchwierigkeitsindizes. Schwierige Aufga-ben wären vermutlich wegen der zeitlichenBegrenzung nur von wenigen Schülerinnenund Schülern bearbeitet worden. Für denEinsatz in der Praxis wird ein Zeitaufwand

von drei bis fünf Minuten empfohlen, derhier eingehalten wurde.

Forschungsausblick

Der dritten Stufe zur Erstellung von CBMnach Fuchs (2004) (Untersuchung der Ein-setzbarkeit und Effektivität) wurde in demvorliegenden Beitrag nicht nachgegangen.

Es schließen sich somit weiterführendeFragestellungen bezüglich der Untersu-chung der Implementationsqualität an, umder Forderung nach evidenzbasierter Praxiszu entsprechen: Wie viel Zeit benötigenLehrkräfte, um CBM zu erstellen? Wie hochist die Hemmschwelle für den Einsatz im ei-genen Unterricht? Entsprechen auch dieCBM der Lehrkräfte den Ansprüchen derGüte?

Zudem sollte in weiterführenden Analy-sen oder Replikationen Unregelmäßigkeitenzwischen den Testzeitpunkten (CBM- For-men 4A, 5A, 6A sowie 4B, 5B, 6B) nachge-gangen werden. Ebenso sollte die Schwie-rigkeit der Items überdacht werden, da so-wohl die Klassische Testtheorie als auch dieErgebnisse der Rasch-Modellierung hoheLösungswahrscheinlichkeiten mit ungünsti-gen Trennschärfen der Items anzeigten. Zu-künftig gilt es auch, die prognostische Vali-dität zu überprüfen, um Aussagen darübertreffen zu können, ob es sich bei den vorlie-genden CBM um ein Instrument handelt,das dazu geeignet ist, frühzeitig Lernrück-stände zu identifizieren. Hierfür gilt es, wei-tere CBM nach dem vorliegenden Leitfadenzu entwickeln und über einen längerenZeitraum einzusetzen. Somit können auchÄnderungsindizes ermittelt und darauf ba-sierend geeignete Auswertungsstrategien fürLehrkräfte formuliert werden.

Fazit

Die Ergebnisse der Überprüfung von CBMmittels der Klassischen Testtheorie sowieder Rasch-Modellierung zeigten, dass essich bei den leitfadengestützt konstruiertenCBM um ein reliables und valides Instru-


ment der Lernverlaufsdiagnostik für dasFach Mathematik in der vierten Jahrgangs-stufe handelt. Nach einer noch anstehendenpositiven Evaluation der Implementation indie Praxis (Schritt 3 nach Fuchs, 2004),könnten Lehrkräfte zukünftig leitfadenge-stützt CBM für ihren eigenen Mathematik-unterricht erstellen. Aus der Überprüfungdes curriculumbasierten Messverfahrens inder vorliegenden Untersuchung ergebensich jedoch vorerst weitere Forschungsnot-wendigkeiten.

Bei dem vorliegenden Verfahren zurLernverlaufsdiagnostik handelt es sich zu-letzt um einen weiteren wichtigen Beitragzur deutschen CBM-Forschung, die gegen-über dem Forschungsstand in den USA bis-lang noch in den Kinderschuhen steckt(Voß & Hartke, 2014).

Literaturverzeichnis

Birkel, P. (2007). Weingartener Grundwort-schatz Rechtschreib-Test für dritte undvierte Klassen : WRT 3+ (2., neu nor-mierte Auflage). PSYTEST, Göttingen[u.a.]: Hogrefe.

Bos, W., Lankes, E.-M., Prenzel, M., Schwip-pert, K., Valtin, R. & Walther, G. (2007).Erste Ergebnisse aus IGLU : Schülerleis-tungen am Ende der vierten Jahrgangsstu-fe im internationalen Vergleich. Sozial-wissenschaftlicher Fachinformations-dienst soFid, (1), 9–46.

Brickenkamp, R. (2002). Test d2 : Aufmerk-samkeits-Belastungs-Test : Manual. PSY-TEST, Göttingen [u.a.]: Hogrefe.

Bühner, M. (2011). Einführung in die Test-und Fragebogenkonstruktion. (3., aktuali-sierte Auflage). München: Pearson

Casale, G., Hennemann, T. & Grosche, M.(2015). Zum Beitrag der Verlaufsdiagnos-tik für eine evidenzbasierte sonderpäda-gogische Praxis am Beispiel des Förder-schwerpunkts der emotionalen und sozia-len Entwicklung. Zeitschrift für Heilpäda-gogik, 66(7), 325–334.

Deno, S. L. (1985). Curriculum-Based Measu-rement: The Emerging Alternative. Excep-tional Children, 52(3), 219–232.

Deno, S. L. (1993). Curriculum-Based Measu-rement. In J. J. Kramer (Hrsg.), Curricu-lum-based measurement (S. 1–23). Lin-coln, Neb: Buros Institute of Mental Mea-surements, University of Nebraska-Lin-coln.

Diaz-Bone, R. (2006). Statistik für Soziologen.Konstanz: UVK Verlagsgesellschaft.

Diehl, K., Hartke, B. & Knopp, E. (2009). Cur-riculum-Based Measurement & Leerlin-gon- derwijsvolgsysteem – Konzepte zurtheoriegeleiteten Lernfortschrittsmessungim Anfangsunterricht Deutsch und Mathe-matik? Zeitschrift für Heilpädagogik, (4),122–130.

Fuchs, L. S. (2004). The Past, Present, and Fu-ture of Curriculum-Based MeasurementResearch. School Psychology Review,33(2), 188–192.

Fuchs, L. S. & Fuchs, D. (1986). Effects of Sys-tematic Formative Evaluation: A Meta-Analysis. Exceptional Children, 53(3),199–208.

Gebhardt, M. , Diehl, K. & Mühling, A.(2016). Online-Lernverlaufsmessung füralle Schülerinnen und Schüler in inklusi-ven Klassen. Zeitschrift für Heilpädago-gik, 10, 444-453.

Gebhardt, M. & Mühling, A. (in Planung).Über LeVuMi. Zugriff am 16.01.2017.Verfügbar unter http://www.levumi.de/?page=about.

Gölitz, D., Roick, T. & Hasselhorn, M. (2006).Deutscher Mathematiktest für vierte Klas-sen (DEMAT 4). Göttingen [u.a.]: Hogrefe.

Haffner, J., Baro, K., Parzer, P. & Resch, F.(2005). HRT 1-4. Heidelberger Rechen-test. Erfassung mathematischer Basiskom-petenzen im Grundschulalter. Göttingen[u.a.]: Hogrefe.

Hartke, B. & Diehl, K. (2013). Schulische Prä-vention im Bereich Lernen. Problemlö-sungen mit dem RTI-Ansatz. Stuttgart:Kohlhammer.


Hartmann, E. & Müller, C. (2014). Lernfort-schrittsdiagnostik Grundrechenarten.Hamburg: Persen.

Hillenbrand, C. (2015). Evidenzbasierung son-derpädagogischer Praxis: Widerspruchoder Gelingensbedingung. Zeitschrift fürHeilpädagogik, 66(7), 312–324.

Horn, W. & Lukesch, H. (2002). Prüfsystemfür Schul- und Bildungsberatung für 4. Bis6. Klassen : PSB-R 4-6 (Rev. Fassu.). PSY-TEST, Göttingen [u.a.]: Hogrefe.

Hosp, M. K., Hosp, J. & Howell, K. W. (2007).The ABCs of CBM. A practical guide tocurriculum-based measurement. NewYork: Guilford Press.

Humbach, M. (2008). Arithmetische Basis-kompetenzen in der Klasse 10. Berlin: Dr.Köster.

Humbach, M. (2009). Arithmetisches Basis-wissen in der Jahrgangsstufe 10. In A.Fritz & S. Schmidt (Hrsg.), Fördernder Ma-thematikunterricht in der Sek. I (S. 58–72). Weinheim, Basel: Beltz Verlag.

Käter, C., Käter, T., Martenstein, R. & Hillen-brand, C. (2016). Leitfadengestützte Kon-struktion eines Instruments der Lernver-laufsdiagnostik (CBM) im Bereich Lesen.Zeitschrift für Heilpädagogik, 66, 168–179.

Klauer, K. J. (1994). Diagnose- und Förderblät-ter. Rechenfertigkeiten im 4. Schuljahr.Berlin: Cornelsen.

Klauer, K. J. (2014). Formative Leistungsdiag-nostik: Historischer Hintergrund und Wei-terentwicklung zur Lernverlaufsdiagnos-tik. In M. Hasselhorn, W. Schneider & U.Trautwein (Hrsg.), Lernverlaufsdiagnostik:Neue Folge Band 12 (1. Auflage, S. 1–17).Göttingen: Hogrefe Verlag.

Knopp, E. & Hartke, B. (2010). Das InventarRechenfische – Anwendung, Reliabilitätund Validität eines Verfahrens zur Erfas-sung des Leistungsstandes von Erstkläss-lern in Mathematik. Empirische Sonderpä-dagogik, 2(3), 5–25.

Krauthausen, G. & Scherer, P. (2007). Einfüh-rung in die Mathematikdidaktik (3. Aufla-ge.). Heidelberg, Berlin: Spektrum.

Križan, A. & Vossen, A. (2016). Zeitschrift fürHeilpädagogik. Zeitschrift für Heilpäda-gogik, 62, 419–431.

Kultusministerkonferenz (2005). Beschlüsseder Kultusministerkonferenz – Bildungs-standards im Fach Mathematik für denPrimarbereich (Jahrgangsstufe 4). (Sekre-tariat der Ständigen Konferenz der Kultus-minister der Länder in der Bundesrepu-blik Deutschland, Hrsg.). München [u.a.]:Luchterhand.

Kultusministerkonferenz (2015). Empfehlun-gen zur Arbeit in der Grundschule. Abge-rufen von http://www..kmk.org/filead-min/veroeffentlichungen_beschluesse/1970/1970_07_02_Empfehlungen_Grund-schule.pdf

Küspert, P. & Schneider, W. (1998). Würzbur-ger Leise-Leseprobe : (WLLP). PSYTEST,Göttingen [u.a.]: Hogrefe.

Limbach-Reich, A. (2015). „Response to Inter-vention“ (RTI) im Spannungsfeld Inklusi-ver Diagnostik. In H. Schäfer & C. Ritt-meier (Hrsg.), Handbuch Inklusive Diag-nostik (S. 478–495). Weinheim, Basel:Beltz.

Maier, U. (2010). Formative Assessment – Einerfolgsversprechendes Konzept zur Re-form von Unterricht und Leistungsmes-sung? Zeitschrift für Erziehungswissen-schaft, 13, 293–308.

Moser Opitz, E. (2009). Erwerb grundlegenderKonzepte der Grundschulmathematik alsVoraussetzung für das Mathematiklernenin der Sekundarstufe I. In A. Fritz & S.Schmidt (Hrsg.), Fördernder Mathematik-unterricht in der Sek. I. Rechenschwierig-keiten erkennen und überwinden (S. 29–45). Weinheim, Basel: Beltz Verlag.

Müller, C. M. & Hartmann, E. (2009). Lernfort-schritte im Unterricht erheben – Möglich-keiten und Grenzen des curriculum-ba-sierten Messens. Schweizerische Zeit-schrift für Heilpädagogik, (10), 36–42.

Ophuysen, S. van & Harazd, B. (2011). DerÜbergang von der Grundschule zur wei-terführenden Schule – Gestaltung, Bera-tung, Diagnostik. Handreichungen desProgramms SINUS an Grundschulen.


Peter-Koop, A., Hasemann, K. & Klep, J.(2006). SINUS-Transfer Grundschule Ma-thematik Modul G10: U� bergänge gestal-ten.

Petermann, F. (2010). Veränderungsmessung.In D. H. Rost (Hrsg.), Handwörterbuchpädagogische Psychologie (4., überarbei-tete Auflage, S. 896–902). Weinheim:Beltz.

Petermann, F. (2014). Implementationsfor-schung: Grundbegriffe und Konzepte.Psychologische Rundschau, 65(3), 122–128.

Racherbäumer, K. & Kohnen, M. (2014).Schulstufenübergreifende Kooperationenvon Lehrkräften der Primar- und Sekun-darstufe zur Gestaltung anschlussfähigerBildungsprozesse am Beispiel Naturwis-senschaften und Mathematik. In A. Lieg-mann, I. Mammes & K. Racherbäumer(Hrsg.), Facetten von Übergängen im Bil-dungssystem (S. 95–109). Münster: Wax-mann.

Rost, J. (2004). Lehrbuch Testtheorie – Test-konstruktion. Bern: Verlag Hans Huber.

Schmitt, R. (2001). Grundlegende Bildung inund für Europa. Frankfurt am Main:Grundschulverband – Arbeitskreis Grund-schule e. V.

Schneider W. & Treiber B. (1986). Determi-nanten der Leistungsveränderung im Ma-thematikunterricht: Ein Modellvergleichin unterschiedlichen Schulklassentypen.In C. Möbius & W. Schneider (Hrsg.),Strukturmodelle für Längsschnittdatenund Zeitreihen (S. 209–220) Stuttgart: Hu-ber.

Schumacher, M. & Schulgen, G. (2009). Me-thodik klinischer Studien. MethodischeGrundlagen der Planung, Durchführungund Auswertung (3., überarbeitete Aufla-ge). Berlin, Heidelberg: Springer.

Souvignier, E., Förster, N. & Salaschek, M.(2014). quop: Ein Ansatz internetbasierterLernverlaufsdiagnostik mit Testkonzeptenfür Lesen und Mathematik. In M. Hassel-horn, W. Schneider & U. Trautwein(Hrsg.), Lernverlaufsdiagnostik: Neue Fol-

ge Band 12 (1. Auflage, S. 239–256). Göt-tingen: Hogrefe Verlag.

Stern, E. (2008). Verpasste Chancen? Was wiraus der LOGIK-Studie über den Mathema-tikunterricht lernne können. In W. Schnei-der (Hrsg.), Entwicklung von der Kindheitbis zum Erwachsenenalter: Befunde derMünchner Längsschnittstudie LOGIK (1.Auflage, S. 187–202). Weinheim, Basel:Beltz Verlag.

Strathmann, A. M. (2014). Lernverlaufsdiag-nostik Mathematik für zweite bis vierteKlassen (LVD-M). In M. Hasselhorn, W.Schneider & U. Trautwein (Hrsg.), Lern-verlaufsdiagnostik: Neue Folge Band 12(1. Auflage, S. 203–220). Göttingen: Ho-grefe Verlag.

Strathmann, A. M. & Klauer, K. J. (2010). Lern-verlaufsdiagnostik: Ein Ansatz zur länger-fristigen Lernfortschrittsmessung. Zeit-schrift fur Entwicklungspsychologie undPadagogische Psychologie, 42(2), 111–122.

Strathmann, A. M. & Klauer, K. J. (2012). LVD-M2-4. Lernverlaufsdiagnostik – Mathema-tik für zweite bis vierte Klassen. Manual.Göttingen [u.a.]: Hogrefe.

Tucker, J. A. (1985). Curriculum-Based Assess-ment: An Introduction. Exceptional. Ex-ceptional Children, 52(3), 199–204.

Voß, S. (2014). Curriculumbasierte Messver-fahren im mathematischen Erstunterricht.Zur Güte und Anwendbarkeit einer Adap-tion US-amerikanischer Verfahren imdeutschen Schulsystem. Saarbrücken:SHV.

Voß, S. & Hartke, B. (2014). Curriculumbasier-te Messverfahren (CBM) als Methode derformativen Leistungsdiagnostik im RTI-Ansatz. In M. Hasselhorn, W. Schneider& U. Trautwein (Hrsg.), Lernverlaufsdiag-nostik: Neue Folge Band 12 (1. Auflage,S. 83–100). Göttingen: Hogrefe Verlag.

Waldmann, H.-C. & Petermann, F. (2014).Veränderungsmessung – MethodischeVorschläge für Forschung und klinischePraxis. Zeitschrift für Psychiatrie, Psycho-logie und Psychotherapie, 62(2), 85–92.


Wesson, C. L., King, R. P. & Deno, S. L.(1984). Direct and Frequent Measurementof Student Performance: If It’s Good forUs, Why Don’t we Do It? Learning Dis-ability Quarterly, (7), 45–48.

Wilbert, J. (2014). Vermittlung von Basiskom-petenzen zum Rechnen. In G. W. Lauth,M. Grünke & J. C. Brunstein (Hrsg.), Inter-ventionen bei Lernstörungen: Förderung,Training und Therapie in der Praxis (2.,überarbeitete Auflage, S. 209–2199). Göt-tingen, Bern, Toronto, Seattle: Hogrefe.

Wilbert, J. & Linnemann, M. (2011). Kriterienzur Analyse eines Tests zur Lernverlaufs-diagnostik. Empirische Sonderpädagogik-dagogik, (3), 225–242.

Yell, M., Deno, S. L. & Marston, D. E. (1992).Barriers to implementing curriculum-ba-sed measurement. Diagnostique, 18, 99–105.

Julia Rensing (M. Ed.)Carl von Ossietzky UniversitätOldenburgInstitut für Sonder- undRehabilitationspädagogik26129 [email protected]

Carolina Käter (M. Ed.)Carl von Ossietzky UniversitätOldenburgInstitut für Sonder- undRehabilitationspädagogik26129 Oldenburg

Tobias Käter (M. Ed.)Carl von Ossietzky UniversitätOldenburgInstitut für Sonder- undRehabilitationspädagogik26129 Oldenburg

Clemens HillenbrandCarl von Ossietzky UniversitätOldenburgInstitut für Sonder- undRehabilitationspädagogik26129 Oldenburg

Erstmalig eingereicht: 09.08.2016Überarbeitung eingereicht: 17.01.2017Angenommen: 25.01.2017

Documents

Konstruktion und Überprüfung eines curriculumbasierten ... · 346 Julia Rensing, Carolina Käter, Tobias Käter & Clemens Hillenbrand Empirische Sonderpädagogik, 2016, Nr. 4, S