11
20/11/2013 1 MARKETINŠKO ISTRAŽIVANJE Novembar 2013 Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd 2 VI. Uzročno istraživanje: izvođenje eksperimenata 1. Klasičan eksperimentalni dizajn 2. Statistički eksperimentalni dizajn 3. Laboratorijski i eksperimenti na terenu Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd 3 Izvori podataka i vrste istraživanja Vrste podataka po izvorima 1. Primarni, 2. Sekundarni, 3. Standardizovani. Vrste istraživanja 1. Eksplorativno, 2. Deskriptivno, 3. Uzročno-posledično. Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd 4 Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov povezanih varijacija Dokaz da postoji jaka povezanost između neke aktivnosti i posmatranog ishoda. 2. Uslov vremenske uređenosti događaja Dokaz da aktivnost prethodi ishodu. 3. Nepostojanje alternativnih uzročnih objašnjenja Dokaz da ne postoje jaka alternativna objašnjenja, t.j. da postoji visok nivo interne validnosti.

VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

  • Upload
    lynga

  • View
    213

  • Download
    0

Embed Size (px)

Citation preview

Page 1: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

1

MARKETINŠKO ISTRAŽIVANJE

•  Novembar 2013

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

2

VI. Uzročno istraživanje: izvođenje eksperimenata

1.  Klasičan eksperimentalni dizajn 2.  Statistički eksperimentalni dizajn 3.  Laboratorijski i eksperimenti na terenu

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

3

Izvori podataka i vrste istraživanja

•  Vrste podataka po izvorima 1.  Primarni, 2.  Sekundarni, 3.  Standardizovani.

•  Vrste istraživanja 1.  Eksplorativno, 2.  Deskriptivno, 3.  Uzročno-posledično.

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

4

Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi

1.  Uslov povezanih varijacija –  Dokaz da postoji jaka povezanost između neke

aktivnosti i posmatranog ishoda.

2.  Uslov vremenske uređenosti događaja –  Dokaz da aktivnost prethodi ishodu.

3.  Nepostojanje alternativnih uzročnih objašnjenja –  Dokaz da ne postoje jaka alternativna objašnjenja,

t.j. da postoji visok nivo interne validnosti.

Page 2: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

2

Osim toga…

•  Da bi uzročnost bila i korisna, veza bi trebalo: – Da bude podložna uopštavanju (eksterna

validnost) – Održiva (da traje kako bi se mogla doneti

prava odluka)

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

5

Pojmovi

VALIDNOST – postoji ako dajemo pravu sliku onoga što bi

trebalo; INTERNA VALIDNOST

– postoji kada nema alternativnih objašnjenja; EKSTERNA VALIDNOST

– postoji kada se rezultati mogu ispravno primeniti i van eksperimentalnih uslova.

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

6

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

7

Osnovna pitanja za eksperimentalno istraživanje

1.  Koju vrstu eksperimentalnog dizajna bi trebalo primeniti?

2.  Da li eksperiment treba izvesti u „laboratorijskim“ uslovima ili na terenu?

3.  Koje su interne i eksterne pretnje po validnost eksperimenta i kako se može kontrolisati uticaj različitih pretnji na internu i eksternu validnost eksperimenta?

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

8

Osnovni simboli i oznake O opservacija ili merenje zavisne varijable X izloženost test-jedinica eksperimentalnoj

manipulaciji ili tretmanu. EG eksperimentalna grupa test-jedinica izložena

eksperimentalnom tretmanu. CG kontrolna grupa test-jedinica koje nisu izložene

eksperimentalnom tretmanu. R postupak slučajnog izbora u dodeljivanju test-

jedinica i eksperimentalnog tretmana grupama. M označava da su eksperimentalna grupa i kontrolna

grupa uparene na bazi neke karakteristike.

Page 3: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

3

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

9

Vrste eksperimentalnog dizajna I.  Klasičan eksperimentalni dizajn

–  Vodi računa o uticaju samo jednog nivoa nezavisne varijable u određenom vremenskom trenutku

1.  Pre-eksperimentalni dizajn 2.  Eksperimentalni dizajn 3.  Kvazi-eksperimentalni dizajn

II.  Statistički eksperimentalni dizajn –  Meri uticaj različitih nivoa više nezavisnih varijabli

1.  Potpuno slučajan dizajn 2.  Slučajan blok-dizajn 3.  Dizajn latinskih kvadrata 4.  Faktorijalni dizajn.

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

10

VI.1. Klasičan eksperimentalni dizajn

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

11

EKSPERIMENTALNI DIZAJN

Pre-eksperimen-talni dizajn

Klasičan dizajn

Statistički dizajn

Pravi eksperimen-talni dizajn

Kvazi-eksperimen-talni dizajn

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

12

Pre-eksperimentalni dizajn

•  Dizajn „samo-posle“ sa jednom grupom •  Dizajn neuparene kontrolne grupe •  Dizajn uparene kontrolne grupe •  Dizajn „pre-posle“ sa jednom grupom

Page 4: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

4

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

13

1. Pre-eksperimentalni dizajn •  Eksplorativna vrsta studije gde nema skoro

nikakve mogućnosti da se kontroliše uticaj eksterno-uslovljenih varijabli

•  Nije pravi eksperimentalni dizajn, služi samo za formulisanje hipoteza a ne i donošenje zaključaka. Deli se na:

1.  Dizajn „samo-posle“ sa jednom grupom; 2.  Dizajn neuparene kontrolne grupe; 3.  Dizajn uparene kontrolne grupe; i 4.  Dizajn „pre-posle“ sa jednom grupom.

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

14

Dizajn „samo-posle“ sa jednom grupom

•  Eksperimentalni tretman se samo primeni na subjekat ili grupu, a zatim se izmere rezultati:

•  Opservacija je obavljena pošto je test-jedinica izložena eksperimentalnom tretmanu

•  Problemi: –  Istorijski efekat (spoljni uticaji, aktivnosti konkurencije) raste

sa dužinom trajanja eksperimenta –  Sazrevanje (promene samih ispitanika tokom vremena

(starenje, umor, i sl.)

EG X O

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

15

Dizajn neuparene kontrolne grupe

•  Uvodi se kontrolna grupa, kako bi se rešili problemi istorijskog efekta i sazrevanja:

•  Rezultat je O1 – O2 •  Međutim, i dalje postoji problem pristrasnosti izbora

(rezultat specifičan za testiranu jedinicu) –  postoji i ovde i u prethodnom dizajnu, –  posebno je uočljiv kod samoizbora (dobrovoljci)

EG X O1 ..................... CG O2

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

16

Dizajn uparene kontrolne grupe

•  Uparivanjem eksperimentalne i kontrolne grupe se smanjuje efekat pristrasnosti izbora

•  Posebno korisno kada postoje ograničenja načinu formiranja uzorka i troškovna ograničenja

•  Generalno, dve grupe se ne mogu upariti po svim karakteristikama, pitanje je samo koliko ih je relevantnih po kojima je neophodno uparivati

EG M X O1 .................................. CG M O2

Page 5: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

5

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

17

Dizajn „pre-posle“ sa jednom grupom

•  Prethodni pristupi su bili tipa „samo-posle“, budući da nije bilo merenja „pre“

•  Veća kontrola uz uključivanje merenja-pre:

•  Merenje-pre povećava eksternu validnost, ali povećava opasnosti po internu validnost: –  Efekat merenja-pre –  Efekat mortaliteta –  Instrumentalni efekat

EG O1 X O2

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

18

Pravi eksperimentalni dizajn

•  Dizajn “pre-posle” sa dve grupe •  Dizajn “samo posle” sa dve grupe •  Solomonov dizajn sa četiri grupe

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

19

2. Pravi eksperimentalni dizajn

•  Slučajan izbor kao osnovna karakteristika –  Rešava veći broj prethodno navedenih problema

•  Pravi eksperimentalni dizajn karakterišu: –  Prisustvo jedne ili više kontrolnih grupa –  Slučajan izbor test-jedinica za EG i CG

•  Češće korićeni oblici su: 1.  Dizajn “pre-posle” sa dve grupe 2.  Dizajn “samo posle” sa dve grupe 3.  Solomonov dizajn sa četiri grupe

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

20

Dizajn „samo-posle“ sa dve grupe

•  Slično pre-eksperimentalnom dizajnu uparene kontrolne grupe, ali

•  Umesto uparivanja koristi slučajan izbor test-jedinica u kontrolnu i eksperimentalnu grupu

•  Budući da nema “merenja-pre” testiranja, ne postoji efekat interakcije testiranja kao kod dizajna koji sledi

EG R X O1 .............................. CG R O2

Page 6: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

6

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

21

Dizajn „pre-posle“ sa dve grupe •  Dodavanjem kontrolne grupe u pre-eksperimen-

talni dizajn “pre-posle” sa jednom grupom

•  Uključuje CG za kontrolu istorijskog efekta i sazrevanja, kao i nad jednim delom efekta “merenja pre”: Rezultat je O1-O2 i O3-O4

•  I dalje ostaju problemi koji se vezuju za “merenje pre”

EG R O1 X O2 ......................................... CG R O3 O4

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

22

Solomonov dizajn sa četiri grupe

•  Proširenje dizajna „pre-posle“ sa dve grupe, sa još jednim „samo-posle“ dizajnom, užasno skup

•  Rezultati: (O2-O4), (O2-O1)-(O4-O3), (O5-O6)

EG R O1 X O2 ............................................. CG R O3 O4 ............................................. EG R X O5 ............................................. CG R O6

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

23

Kvazi-eksperimentalni dizajn

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

24

3. Kvazi-eksperimentalni dizajn

•  Pruža istraživaču izvestan stepen kontrole (više nego u pre-eksperimentalnom dizajnu), ali

•  Nema slučajnog izbora kao u pravom eksperimentalnom dizajnu

•  Pruža veći broj merenja i više informacija nego tipičan pre-eksperimentalan dizajn

•  Najpopularniji i najčešći je dizajn sa vremenskom serijom

Page 7: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

7

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

25

Dizajn sa vremenskom serijom

•  Sličan dizajnu “pre-posle” sa jednom grupom, ali se primenjuje serija merenja tokom koje se dešava eksperimentalni tretman

•  Npr. studije trenda: merenja se vrše na nizu odvojenih slučajnih uzoraka iz iste populacije

•  Problemi: istorijske i instrumentalne promene •  Sazrevanje nije problem

EG O1 O2 O3 O4 X O5 O6 O7 O8

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

26

VI.2. Statistički eksperimentalni dizajn

•  Potpuno slučajan dizajn •  Slučajan blok-dizajn •  Dizajn latinskih kvadrata •  Faktorijalni dizajn

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

27

EKSPERIMENTALNI DIZAJN

Potpuno slučajan

dizajn

Klasičan dizajn

Statistički dizajn

Slučajan blok-dizajn

Dizajn latinskih kvadrata

Faktorijalni dizajn

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

28

II. Statistički dizajn

•  Razlikuje se od klasičnog dizajna jer: –  Dozvoljava ispitivanje efekata različitih nivoa tretmana

eksperimentalne varijable –  Dozvoljava ispitivanje efekata za više

eksperimentalnih varijabli •  Predstavlja dizajn tipa “samo posle”, •  Zahteva relativno kompleksnu analizu da se

odvoje efekti različitih nezavisnih varijabli, kao i za različite nivoe tretmana

Page 8: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

8

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

29

II. Statistički dizajn •  Dva osnovna aspekta:

1.  Eksperimentalne sheme kojima se određuje koji nivo tretmana će biti primenjen na test-jedinice,

2.  Tehnike koje se koriste za analizu rezultata eksperimenta

•  Glavne sheme i najčešće korišćeni dizajn: 1.  Potpuno slučajan dizajn 2.  Slučajan blok-dizajn 3.  Dizajn latinskih kvadrata 4.  Faktorijalni dizajn.

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

30

1. Potpuno slučajan dizajn •  Eksperimentalni tretman se određuje test-jedinici po

principu slučajnog izbora

(Xi su različiti nivoi eksperimentalnog tretmana)

•  Slučajan uzorak, a zatim slučajno dodeljivanje tretmana. Svaki tretman je kontrolni za ostale.

EG1 R X1 O1 .................................. EG2 R X2 O2 .................................. EG3 R X3 O3

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

31

2. Slučajan blok-dizajn •  Kombinacija slučajnog izbora i uparivanja

–  Identifikuje se najvažnija varijabla i po njoj kontroliše dodavanjem blok-efekta (uparivanje), t.j. kontrolnom varijablom se definišu grupe, a slučajan eksperiment, za različite nivoe tretmana ili varijable, sprovodi unutar svake

EG1 R X O1 ................................. CG1 R O2 ................................. EG2 R X O3 ................................. CG2 R O4

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

32

3. Dizajn latinskih kvadrata •  Metod za smanjenje broja grupa kada nema značajnih

interakcija nivoa tretmana i kontrolnih varijabli •  Dozvoljava da se kontroliše uticaj dve varijable bez

proširivanja uzorka •  Neophodno je da bude isti broj redova, kolona i nivoa

tretmana •  Ne može se koristiti da bi se odredilo postojanje efekta

interakcije

Page 9: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

9

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

33

Dizajn latinskih kvadrata

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

34

4. Faktorijalni dizajn •  Posmatra se dve ili više varijabli istovremeno

EG1 R X1 (y1, z1) O1 .................................................... EG2 R X2 (y1, z2) O2 .................................................... EG3 R X3 (y2, z1) O3 .................................................... EG4 R X4 (y2, z2) O4 .................................................... EG5 R X5 (y3, z1) O5 .................................................... EG6 R X6 (y3, z2) O6

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

35

Laboratorijski i eksperimenti na terenu

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

36

Laboratorijski i eksperimenti na terenu

•  Laboratorijski eksperimenti: eksperimentalni tretman se obavlja u veštačkim uslovima –  Varijansa gotovo svih varijabli uticaja minimizirana –  Veštački, efekat testiranja, manja eksterna validnost

(mogućnost generalizacije van konkretnih okolnosti) –  Jeftiniji, veća kontrola, veća interna validnosti (mogućnost

alternatnivnih i konkurentskih rešenja) •  Eksperimenti na terenu: u potpuno prirodnom

okruženju, ispitanici ne treba da budu svesni –  Prirodnost, realnost, visoka eksterna validnost –  Manja kontrola, manja interna validnost

Page 10: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

10

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

37

Pretnje internoj validnosti (uticaj eksterno-uslovljenih

varijabli) A.  Istorijat –  Eksterni događaji utiču na ponašanje test-jedinica

B.  Sazrevanje C.  Testiranje D.  Promena instrumenta E.  Statistička regresija

–  Grupe odabrane na bazi ekstremnih vrednosti F.  Pristrasnost izbora G.  Mortalitet H.  Interakcija izbora i sazrevanja

Pretnja po internu validnost Kako kontrolisati njen uticaj

Istorijat Slučajan izbor, slučajno dodeljivanje

Sazrevanje Uparivanje, slučajan izbor

Testiranje Uvođenje kontrolne grupe

Promena instrumenta

Povećati konzistentnost, alternativna provera pouzdanosti

Statistička regresija Izuzeti ekstremne rezultate, slučajan izbor

Pristrasnost izbora Slučajan izbor, slučajno dodeljivanje

Mortalitet Uparivanje Novembar 2013 Istraživanje tržišta

Ekonomski fakultet, Beograd 38

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

39

Pretnje eksternoj validnosti •  Sve pretnje internoj validnosti su istovremeno i

pretnje eksternoj validnosti, posebno izbora, ali i: I.  Efekat reakcije na, ili interakcije sa testiranjem

–  Smanjuje osetljvost ispitanika J.  Efekat interakcije pristrasnosti izbora i

eksperimentalne varijable K.  Efekti koji su posledica eksperimentalnih aranžmana

–  Ugrožavaju donošenje uopštenih zaključaka L.  Interferencija višestrukih tretmana

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

40

Interni izvori Ekster. izvori A B C D E F G H I J K L

Pre-eksperimentalni dizajn 1. Dizajn „samo-posle“

sa jednom grupom - - - - - 2. Dizajn „pre-posle“

sa jednom grupom - - - - ? + + - - - ? 3. Dizajn sa

neuparenom kontrolnom grupom + ? + + + - - - -

4. Dizajn sa uparenom kontrolnom grupom + ? + + + + - -

Izvori pretnji validnosti (1)

Page 11: VI. Uzro no istraživanje: MARKETINŠKO …w3.ekof.bg.ac.rs/nastava/istrazivanje_trzista_mis/13-14...Uslovi za ispravno donošenje zaključka o uzročno-posledičnoj vezi 1. Uslov

20/11/2013

11

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

41

Interni izvori Ekster. izvori A B C D E F G H I J K L

Pravi eksperimen-talni dizajn

5. Dizajn „pre-posle“ sa dve grupe + + + + + + + + - ? ? 6. Solomonov dizajn sa četiri grupe + + + + + + + + ? ? ? 7. Dizajn „samo-posle“ sa dve grupe + + + + + + + + ? ? ? Kvazi-eksperimen-talni dizajn

8. Dizajn sa vremenskom serijom - + + ? + + + + - ? ?

Izvori pretnji validnosti (2)

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

42

Smernice za sprovođenje eksperimentalnog istraživanja

•  Prepoznavanje i definisanje problema •  Izbor faktora i nivoa •  Izbor varijable ishoda •  Izbor eksperimentalnog dizajna •  Obavljanje eksperimenta •  Analiza podataka •  Zaključak i preporuke

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

43

Uobičajene pogrešne primene eksperimentalnog istraživanja

1.  Kada se na osnovu testiranja za samo dva nivoa izdataka na medije zaključi da je prodaja neelastična u odnosu na medije i da se reklamiranje može obustaviti u potpunosti.

2.  Kada se na osnovu toga što povećanje cene od 10% nije proizvelo nikakvo dejstvo na obim prodaje zaključi da prodaja ne zavisi od cene, te da se cena može povećati za 25%.

3.  Kada se zaključi da „kišobran“ reklama koja pokriva više brendova neće delovati, na osnovu toga što se nije isplatila slična testirana reklama koja se, međutim, odnosila samo na jedan brend.

Novembar 2013 Istraživanje tržišta Ekonomski fakultet, Beograd

44

Ograničenja izvođenju eksperimenata

•  Troškovi –  Pritisak na visinu troškova i dužinu eksperimenta –  Odlaganje donošenja odluke vs validnost eksperim

•  Bezbednost –  Trošak. Eksperiment na terenu se ne može sakriti. –  Akcije konkurencije: sabotaža ili imitiranje...

•  Problemi primene –  Podrška unutar, kontaminacija, ekst-uslov varijacije

•  Neizvesna održivost rezultata (da se reaguje)