Vortrag DIN-Workshop Oktober 2007Abt. Weiterbildungstests - Alfred TöpperFolie 1 Alfred Töpper Stiftung Warentest, Berlin 8. Oktober 2007, Berlin Abteilung

Vortrag DIN-Workshop Oktober 2007

Abt. Weiterbildungstests - Alfred Töpper Folie 1

Alfred Töpper Stiftung Warentest, Berlin8. Oktober 2007, Berlin Abteilung Weiterbildungstests

Workshop im Hause des DIN

Informationsqualität bei Weiterbildungsdatenbanken

Anforderungen an die Qualität der Informationen an Weiterbildungsdatenbanken



Was Sie in meinem Beitrag erwartetWas Sie in meinem Beitrag erwartet

1. Informations- und Beratungsbedarf im Kontext Bildung, Beruf und Beschäftigung

2. Bildungstests und deren Wirkungen

3. Weiterbildungsdatenbanken im Test

4. Ergebnisse und Anforderungen an die Informationsqualität für Ratsuchende

Kundensouveränität durch Informationsqualität?



• Lebenslanges Lernen erfordert Unterstützungsinstrumente (Informationen und Beratung), die Orientierungs- und Entscheidungshilfen bieten

• Fehlende Souveränität für Bildungsentscheidungen

• Information über die Qualität einzelner Angebote

1. Informations- und Beratungsbedarf im Kontext Bildung, Beruf und Beschäftigung

• Mangelnde Qualitätssicherheit; fehlende Vergleichskriterien

• Höhere Eigenverantwortlichkeit und Eigeninvestitionen

• Zentraler Fokus ist die Unterstützung für Ratsuchende; aber auch die Nutzung der Informationssysteme durch andere Gruppen (Berater/innen, Bildungseinrichtungen, KMU-Betriebe) gewinnt an Bedeutung



• Höhere Eigenverantwortlichkeit, höhere Eigeninvestitionen

• Fehlende Souveränität für Bildungsentscheidungen

• Orientierungs- und Entscheidungshilfe für Verbraucher

• Information über die Qualität einzelner Angebote

• Sensibilisierung der Verbraucher für Qualitätsfragen

2. Bildungstests und deren Wirkungen: Warum Bildungstests?

• Impulse für getestete und nicht getestete Anbieter

• Mangelnde Qualitätssicherheit; fehlende Vergleichskriterien



Passende Weiter-bildungsangebote

Qualität vonWeiterbildung

VerschiedeneLernformen

Preis-Leistungs-Verhältnis

6%

6%

7%

6%

37%

40%

35%

34%

45%

38%

40%

38%

12%

16%

18%

22%

Sehr starkverbessert

Starkverbessert

Etwasverbessert

Überhaupt nichtverbessert

Haben Tests Weiterbildungstransparenz verbessert?Haben Tests Weiterbildungstransparenz verbessert?Basis: Personen, die Weiterbildungstests gelesen haben (n=185), Quelle: H. Kuwan, 2005

Bildungstests Ergebniswirkungen



Ergebniswirkungen allgemein Ergebniswirkungen allgemein

Fachwelt Fachwelt • Größten Ergebniswirkungen • Themenspezifische Fachvorträge, Vorstellungen der Resultate auf Fachtagungen • Veröffentlichungen der Ergebnisse in Fachzeitschriften und -büchern • Mitwirkung in verschiedensten Gremien (z.B. Normung)

MedienMedien• Stark themenabhängig - und abhängig von den Ergebnissen Für die Zielgruppe wichtige und nutzwertorientierte Themen und Inhalte sind nicht unbedingt medienwirksam



Wie sehen Bildungstests aus?

Vorgehensweise:

Veröffentlichung

Findungsphase

Konzeptionsphase

Feldphase

Auswertungsphase

verdeckte Teilnahme

Inanspruchn. durch Testpersonen

Begehung der Lernorte

Usability-Prüfung

Expertengutachten

Teilnehmerbefragung

Prüfmethodik (Beispiele):



• Zentrale Ausgangsbasis für die Erstellung von Anforderungsprofile und auch der Prüfkriterien sind u.a.

• das Leistungsversprechen des Anbieters

• Mindestanforderungen an das Angebot

• welche Qualitäts- und Inhaltsanforderungen

Wie sehen Bildungstests aus?

Anforderungsprofile Anforderungsprofile



• Weiterbildungsdatenbanken (Internet 02/07 und 4/07, test 7/03)

• Selbsttestverfahren (Internet 04/07, FINANZtest 11/04)• Beratung: Bildungsträgern (z.B. bei Kursen in den Bereichen

Neue Medien und Facility-Management 7/02) Existenzgründung (FINANZtest 11/03)

Fernunterricht (FINANZtest 11/05) "trägerneutrale" Beratung ((test 5/04) Berufsberatung (FINANZtest 10/07)

Untersuchungsbeispiele

Projekte zur Informationssystemen, Projekte zur Informationssystemen, Selbsttestverfahren, BeratungSelbsttestverfahren, Beratung



Ergebnisse der Beratungstests

• Unzureichende Einbindung bzw. Existenz von Informationssystemen

• Unzureichende Kooperation verschiedener, an Bildungsberatung beteiligter Akteure

• Sehr unterschiedlicher Professionalisierungsgrad

• Für einige Beratungsmodelle ergeben sich Angebotsprobleme

• Fehlende Klientenzentrierung



• Datenbanktest 1 Datenbanktest 1 in test 7/03in test 7/03

WB-Datenbanken im Test

14 Datenbanken: acht bundesweite, sechs landesweite WB-DBen in test 16 DBen (bundes-/landesweit, regional, themenspezifische) im Internet Marktübersicht im Internet

• Datenbanktest 2 Datenbanktest 2 Internet 2/07Internet 2/07

25 Datenbanken: zehn bundesweite, neun landesweite, drei regionale und drei themen- bzw. angebotsformspezifische WB-DBen Marktübersicht im Internet (Ende März 2007)

• Beschreibung in Beschreibung in test 7/01test 7/01

13 Datenbanken beschrieben, mit wenigen wertenden Aussagen



Methodisches Vorgehen

zwei Bildungs- und Datenbankspezialisten prüften Infos über die DBen, die Anbieter und Angebote, das Suchen und Eingrenzen und die Bedienbarkeit zwei weitere Experten (darunter ein Blinder) beurteilten die Barrierefreiheit (Basis WCAG und BITV) drei Nutzer/innen (Schulungs-/Auswerteveranstaltung) beurteilten die Suche und Bedienbarkeit anhand von 17 verschiedener Aufgaben

Test 2: Test 2: Internet 2/07Internet 2/07

zwei Bildungs- und Datenbankspezialisten prüften Infos über die DBen, die Anbieter und Angebote, das Suchen und Eingrenzen und die Bedienbarkeit (Basis PAS 1045) und Umfang/Qualität von Zusatzinfos ergänzend beurteilten Experten die durchschnittliche Vollständigkeit (n=30)

Test 1: Test 1: test 7/03test 7/03



Weiterbildungsdatenbanken in test 7/2003Information über die Datenbank 10%Informationen über Bildungsangebote/-anbieter 55%Bildungsangebote/ Bildungsanbieter / Infos für BehinderteUmfang und Vollständigkeit / AktualitätSuchen und Eingrenzen 20%Bedienbarkeit 15%Anwendung, Barrierefreiheit, Geschwindigkeit

Weiterbildungsdatenbanken im Internet 01/2007Information über die Datenbank 5%Informationen über Bildungsangebote/-anbieter 60%Suchen und Eingrenzen 20%Bedienbarkeit 15%

WB-Datenbanken im Test



Einige Ergebnisse

Kernaussage: Viel Mittelmaß, überwiegend "befriedigend" insgesamt: 13 x "befriedigend", 1x "ausreichend" Info über die DB: 1 x "++", 1 x "+", 6 x "O", 4 x "(-)", 2 x "-" Nutzer haben die Suchfunktionen häufiger beanstandet (kompliziert, unverständlich) Barrierefreiheit: Bei sechs DBen gab es Schwierigkeiten bei der Bedienung; keine nach BITV, aber auch nicht relevant

Test 2: Test 2: Internet 2/07Internet 2/07

Kernaussage "Die Suche lohnt": 18 von 25 gut bzw. sehr gut Fast alle der im letzten Test befindlichen DBen haben sich um 0,5-1 verbessert Info über die DB: 5 x "++", 9 x "+", 5 x "O", 6 x "(-)" Neue DBen (lernende Regionen) guten Qualitätsstandard Zunehmend gute Zusatzinfos

Test 1: Test 1: test 7/03test 7/03



Ergebnisse, Fazit, Thesen

keine systematischen, qualitativen Unterschiede zwischen kommerziellen und nicht kommerziellen, regionalen, landesweiten oder bundes- weiten Weiterbildungsdatenbanken

Qualität der Datenbanken gestiegen gegenüber 2003; These aus 2003: "Die Datenbanken sind noch lange nicht ausgereift" gilt nicht mehr, dennoch Verbesserungspotenzial und einige nach wie vor Datenbanken mit unverständlichen (leicht abzustellenden) Defiziten

aberaber



WB-Datenbanken: Thesen / Veränderungsbedarf

Die Nichtberücksichtigung des Nutzertest hat das Ergebnis teilweise positiv beeinflusst Der Informationsnutzen "leidet" u.a. durch die Entwicklung in Richtung Modularisierung, Individualisierung und Flexibilisierung der Angebote

Das wirkliche Qualitätsniveau der Daten konnte im Test nicht ermittelt werden. Ein Mindestniveau und die Sicherstellung der Einhaltung sind wünschenswert.

Zur Stärkung der Verbraucherposition sind nach wie vor mehr Qualitätsinfos über Anbieter und Angebote wünschenswert

Aus der Marktrecherche der Abt. WB-Tests: Nach wie vor müssen wir in verschiedensten Systemen recherchieren, um den Markt einigermaßen abzubilden. Wir erhalten noch zu häufig veraltete Daten, manchmal unter- schiedliche Info zum gleichen Produkt und wären einige Vereinheit- lichungen wünschenswert



Vielen Dank für Ihre Aufmerksamkeit!

Alfred TöpperProjektleiterStiftung Warentest - Abt. [email protected]. +49 / (0) 30 / 66669-3114, Fax -3150

Documents

Vortrag DIN-Workshop Oktober 2007Abt. Weiterbildungstests - Alfred TöpperFolie 1 Alfred Töpper Stiftung Warentest, Berlin 8. Oktober 2007, Berlin Abteilung