1x1 Trainer mit Handschrifterkennung

u www.tugraz.at

W I S S E N n T E C H N I K n L E I D E N S C H A F T

1x1 Trainer mit Handschrifterkennung

22.11.2017

Institute of Interactive Systems and Data Michael Rabko, BSc

1

Agenda

§  Einleitung

§  1x1 Trainer

§  Evaluation

§  Ergebnisse

§  Zusammenfassung und Ausblick

1x1 Trainer mit Handschrifterkennung

22.11.2017 Michael Rabko

2

Einleitung

Einleitung


3

Forschungsfragen

§  Wie reagieren Kinder auf die interaktive Eingabe mit ihrer Handschrift?

§  Wie wirkt sich das auf die Usability der Applikation aus?

§  Bewährt sich dieser intuitive Einsatz einer Handschrifterkennung gegenüber einer herkömmlichen Ziffernblockeingabe?

Einleitung


4

1x1 Trainer

1x1 Trainer


5

Technologien

§  Mobiles Betriebssystem iOS

§  Swift

§  “Simple Object Access Protocol“ (SOAP)

§  Convolutional Neural Network (CNN)

§  Learning Analytics - Algorithmus

1x1 Trainer


6

Algorithmus

§  Learning Analytics §  Auswahl der Rechenaufgaben §  Lernfähigkeit §  Vortest §  Klassifizierung der Fragen

§  Nicht gekonnt §  Gekonnt §  Gut gekonnt

1x1 Trainer


7

Quelle: Schön et al.,2012

Handschrifterkennung - Teil 1

§  Convolutional Neural Network (CNN) §  Feed-Forward Neuronales Netz §  Besondere Struktur

1x1 Trainer


8

Quelle: Bishop, 2006


§  Convolutional Schicht §  Max-Pooling Schicht §  Vollständig verbundene Schicht

1x1 Trainer


9

Quelle: Peemen et al.,2011


§  Training

§  TensorFlow

§  MNIST Datenbank

§  Anwendung

§  „Basic neural network subroutines“ (BNNS)

-  Apple‘s Neural Network API

1x1 Trainer


10

Spielmodi

§  TRAINER §  Online - Benutzerkonto §  20 Fragen §  Server bzw. Algorithmus ermittelt Rechenaufgaben §  Lernfortschritt wird gespeichert

§  KURZSPIEL §  Offline §  Auswahl von zufälligen Rechenaufgaben

1x1 Trainer


11

User Interface 1x1 Trainer


12

Haupt-Screen Anleitung-Screen

Spiel-Screen Ergebnis-Screen

Evaluation

Evaluation


13

Aufbau

§  iPad-Klasse der Volksschule Graz-Hirten §  20 Kinder §  7 iPads

§  Aufteilung in 3 Gruppen §  15 Minuten Spielzeit §  Keine Spielerklärung

Evaluation


14

Durchführung

§  Anschließend Befragung in kleineren Gruppen

§  Jede Gruppe 4 Fragen

§  5 Smileys als Hilfestellung

Evaluation


15

Fragen

1.  Das Spiel hat mir gefallen.

2.  Ich habe mich gleich im Spiel zurechtgefunden.

3.  Mit dem Finger die Zahlen zu schreiben, macht mir

Spaß.

4.  Ich würde den „1x1 Trainer“ auch zu Hause spielen.

Evaluation


16

Smileys

Sehr gut / Ja auf alle Fälle

Gut / Ja denke schon

Normal / Naja ich bin mir nicht sicher

Schlecht / Nein eher nicht

Sehr schlecht / Nein auf keinen Fall

Evaluation


17

Ergebnisse

Ergebnisse


18

Auswertung

§  Evaluation verlief ohne große Probleme

§  Positives Feedback

§  Dennoch einige Probleme…

Ergebnisse


19

Auswertung - Probleme

§  Erkennung der Handschrift

§  Spielstart

§  Anmeldung im Trainer-Modus

§  Einstelliges Ergebnis

Ergebnisse


20

Zusammenfassung und Ausblick



21

Zusammenfassung

§  Großes Potenzial von Handschrifterkennung §  Kinder hatten viel Freude, die Zahlen mit dem Finger zu

schreiben §  Geteilte Meinung, ob Handschrift- oder

Ziffernblockeingabe §  Erkennungsfehler wirkt sich negativ auf Motivation aus §  Positiver Nebeneffekt

§  Kinder versuchen schöner zu schreiben



22

Ausblick

§  Algorithmus-Vortest durchführen

§  Handschrifterkennung verbessern

§  Spielerklärung besser formulieren

§  Gamification-Elemente

§  Spielmotivation hoch zu halten



23

Vielen Dank für Ihre Aufmerksamkeit

Fragen?

Ende


24

Literatur

•  Peemen, Maurice, Bart Mesman und Henk Corporaal (2011).Speed signdetection and recognition by convolutional neural networks. In: Proceedings of the 8th International Automotive Congress, S.162–170.

•  Schön, Martin, Martin Ebner und Georg Kothmeier (2012). It’s Just About Learning the Multiplication Table. In: Proceedings of the 2Nd International Conference on Learning Analytics and Knowledge. LAK ’12. Vancouver, British Columbia, Canada: ACM, S.73–81. isbn: 978-1-4503- 11113. doi: 10.1145/2330601.

•  Bishop, Christopher M (2006). Pattern recognition and machine learning. springer.


25

„Ich werde den 1x1 Trainer spielen, wenn ich Stress habe“

- Zitat Kind

Michael Rabko 1x1 Trainer mit Handschrifterkennung

26

Education

1x1 Trainer mit Handschrifterkennung