Experimentaufbau und -design Radoslaw Rudnicki

11.01.2006

Gliederung

Wir sammeln Daten

Was ist eigentlich ein Experiment?

Definition

Planung

Durchführung

Probleme

Wir sammeln Daten

Wir sammeln Daten

• zwei Computer

• jeweils zwei Fragen

• 15 Sekunden Zeit je Aufgabe

• keine Kommunikation untereinander

• Entschädigung: Ferrero Küsschen1

Wir sammeln Daten

2

3

Rudnicki

3

Rudnicki

Fabig

3

Gliederung

Wir sammeln Daten

Was ist eigentlich ein Experiment?

Definition

Planung

Durchführung

Probleme

Was ist eigentlich ein Experiment?

Definition

Was ist eigentlich ein Experiment?

Definition (1)

• methodisch

• kontrolliert

• quantifizierbar

• reproduzierbar

• randomisiert

4

Was ist eigentlich ein Experiment?

Definition (2)• Analyse des Arbeitsprozesses

• hinsichtlich der Richtigkeit und des Zeitbedarfs

• in der Absicht Einflüsse der Farbe rot zu erkennen

• aus der Sicht eines Softwareentwicklers

• im Kontext der Oberflächengestaltung

5

Gliederung

Wir sammeln Daten

Was ist eigentlich ein Experiment?

Definition

Planung

Durchführung

Probleme

Was ist eigentlich ein Experiment?

Planung

Was ist eigentlich ein Experiment?

PlanungExperimentdefinition

Contextselection Hypothesis

formulation Variablesselection Selection of

subjectsExperimentdesignInstrumen-

tationValidityevaluation

Experimentdesign

Experimentplanning

6

Was ist eigentlich ein Experiment?

Planung – Context selection (1)

• Offline vs. Online

• Student vs. Professional

• Toy vs. Problems

• Specific vs. General

7

Was ist eigentlich ein Experiment?

Planung – Context selection (1)

• Offline vs. Online

• Student vs. Professional

• Toy vs. Problems

• Specific vs. General

7

Was ist eigentlich ein Experiment?

Planung – Hypothesis formulation (2)

• Nullhypothese

• Alternative Hypothese

8

Was ist eigentlich ein Experiment?

Planung – Variables selection (3)

Prozess

unabhängige

Variablen abhängige

Variable

9

Was ist eigentlich ein Experiment?

Planung – Variables selection (3)

Prozess

unabhängige

Variablen abhängige

Variable

9

Was ist eigentlich ein Experiment?

Planung – Selection of subject (4)

• Personenauswahl

• Kontrollgruppe

Versuchsgruppe M1 X M2

Kontrollgruppe M1 P M1'

10

Was ist eigentlich ein Experiment?

Planung – Experiment design (5)

• was wird gemessen

• wie wird getestet

• Anzahl der Personen festlegen

• Anzahl der Tests

11

Was ist eigentlich ein Experiment?

Planung – Experiment design (5)

• randomisieren

• blocking

• balancing

12

Was ist eigentlich ein Experiment?

Planung – Instrumentation (6)

• Leitfaden

• Messung

13

Was ist eigentlich ein Experiment?

Planung – Validity evaluation (7)

• interne Gültigkeit

• externe Gültigkeit

14

Was ist eigentlich ein Experiment?

PlanungExperimentdefinition

Contextselection Hypothesis

formulation Variablesselection Selection of

subjectsExperimentdesignInstrumen-

tationValidityevaluation

Experimentdesign

Experimentplanning

15

Gliederung

Wir sammeln Daten

Was ist eigentlich ein Experiment?

Definition

Planung

Durchführung

Probleme

Was ist eigentlich ein Experiment?

Durchführung

Was ist eigentlich ein Experiment?

Durchführung

Prozess

unab

häng

ige

Var

iabl

en

abhängige

Variable

Exp

eri

me

nt

des

ign{

unabh.Variablen

in def. Zuständen

Experiment

16

Gliederung

Wir sammeln Daten

Was ist eigentlich ein Experiment?

Definition

Planung

Durchführung

Probleme

Probleme

Probleme

Hypothesis formulation (2)

• Type-1-Error

• Type-2-Error

17

Probleme

Variables selection (3)

• nicht alle bekannt

• nicht alle kontrollierbar

18

Probleme

Experiment design (5)

• Männer/Frauen unterscheiden?

• Was ist ein Plazebo im SE?

19

Probleme

Validity evaluation (7)

• Anzahl der Personen?

• Anzahl der Aufgaben?

20

21

Probleme

Allgemein

• neue Methoden meist schlecht

• Zeit/Kosten

22

Zusammenfassung

23

Literatur• Claes Wohlin, Per Runeson, Martin Höst, Magnus C. Ohlsson, Björn Regnell

Anders Wesslen: Experimentation in Software Engineering, Lund University, Schweden

• Stefan Opferkuch: Eine Untersuchung zum Einsatz komplexer Simulationsmodelle in der Projektmanagementausbildung, Diplomarbeit, 2002

• Wolfram Twelker: Experimente in Medizin, Psychologie und Informatik im Stilvergleich, Seminararbeit, 2005

• Jörg Eggermann: Konzept und Realisierung eines Werkzeuges zur Charakterisierung und Analyse von Software-Engineering Experimenten, Bachelorarbeit, 2005

24