Pogreške u istraživanjima

Zašto?

http://www.ted.com/talks/ben_goldacre_battling_bad_science

Uvod

Pogrešno zaključivanje o uzročnoj povezanosti može nastati zbog: Slučajne pogreške (engl. random error) Sustavne pogreške (engl. systematic error)

Zabune (engl. confounding)

Osnovni pojmovi

Slučajna pogreška niska preciznost Sustavna pogreška niska točnost (validnost)

Osnovni pojmovi Dobra preciznost, ali

niska točnost

Slučajna pogreška

Sustavna pogreška

Dobra preciznost, dobra točnost

Niska preciznost

Slučajna pogreška

Slučajna pogreška javlja se povremeno i nema jedinstveni obrazac pojavljivanja igra bacanja kovanice 10 puta

vjerojatnost pojavljivanja slučajne pogreške možemo smanjiti

povećanjem uzorka – povećanjem broja bacanja kovanice na 1000 puta vjerojatnije je da će dobiveni omjer "pismo" : "glava" biti bliži očekivanom omjeru od 1:1

Slučajna pogreška

Otklon rezultata od istine koji se dogodio samo zbog djelovanja slučajnosti

Postoje dva tipa slučajne pogreške: Pogreška tipa 1 Pogreška tipa 2

Pogreške tipa I i II

Slučajna pogreška

α = P vrijednost 1-β = snaga statističkog testa (power)

Postoji znač. razlika

Ne postoji znač. razlika

Postoji razlika Točno (1-β)

Pogreška tipa 1 (α)

Ne postoji razlika Pogreška tipa 2 (β) Točno (1-α) Rez

ult

at

Stvarnost

IZBOR α I β OVISE O:

Medicinskim i praktičnim posljedicama dviju vrsti grešaka Početnoj prihvatljivosti hipoteze Poželjnom učinku rezultata

Zadatak

Ispitivanja lijeka X pokazala su da njegovo korištenje izaziva vrlo štetne posljedice te je lijek X povučen iz uporabe. Ispitan je novi alternativni lijek Y i ustanovljeno je smanjenje štetnog utjecaja u odnosu na lijek X. Koju razinu značajnosti treba upotrijebiti za ocjenu značajnosti smanjenja štetnog utjecaja lijeka Y u odnosu na lijek X?

Zadatak

Na slučajnom uzorku vozača ispitivan je utjecaj alkohola na vrijeme reagiranja. Mjerenja vremena reakcije prije i nakon konzumacije određene količine alkohola pokazala su prosječno povećanje vremena reakcije nakon konzumacije alkohola. Koju razinu značajnosti treba upotrijebiti za

ocjenu značajnosti pronađene razlike?

ODABIR NIVOA ZNAČAJNOSTI

Pitanje štetnih posljedica pogreške: 1. Odluka/zaključak da razlike postoje onda kada ih u

stvarnosti nema može prouzročiti štetne posljedice => smanjiti vjerojatnost nastajanja pogreške tipa 1, tj.

odabrati manji α

ODABIR NIVOA ZNAČAJNOSTI

2. Odluka/zaključak da nema razlike onda kada u stvarnosti razlika postoji može prouzročiti štetne posljedice =>

smanjiti vjerojatnost pogreške tipa 2, tj. odabrati veći α

IZBOR α I β α<β (najčešći pristup 0.05 i 0,2) ako se kontrolna terapija

relativno široko primjenjuje i razumski je sigurna i efektivna, dok je testna terapija nova i skupa te dovodi do ozbiljnijih nuspojava.

α>β ako nije provedena kontrolna terapija, a testna terapija je relativno jeftina, jednostavna za aplikaciju i ne postoje ozbiljnije nuspojave.

Slučajna pogreška

Izvori slučajne pogreške su:

nepreciznost/nepouzdanost mjerenja biološka varijabilnost pojedinca uzorkovanje

Slučajna pogreška

nepreciznost/nepouzdanost mjerenja Pri višekratnom mjerenju konstantnog krvnog tlaka

stetoskopom i živinim tlakomjerom mjeritelj dobije različite vrijednosti koje odstupaju u oba smjera od stvarne vrijednosti

Slučajna pogreška

biološka varijabilnost pojedinca Ako ispitaniku mjerimo krvni tlak nekoliko puta s

vremenskim odmakom (ujutro, popodne, navečer), uz pretpostavljene identične uvjete i savršeno točan postupak mjerenja, nećemo dobiti jednake vrijednosti zbog djelovanja autonomnog živčanog sustava, učinka hormona, psihičkog stanja ispitanika i sl.

Slučajna pogreška

uzorkovanje Ako iz kutije u kojoj se nalazi 50 plavih i 50 crvenih

kuglica nasumce izvučete njih 20, mogu se pukom slučajnošću dobiti sve kuglice plave boje, što je odstupanje od stvarnog stanja (50% plavih i 50% crvenih)

Slučajna pogreška Slučajnu pogrešku nemoguće je u potpunosti izbjeći, ali se

vjerojatnost njenog nastanka može smanjiti: povećanjem uzorka (izračunati potrebnu veličinu

uzorka što će smanjiti vjerojatnost pojave slučajne pogreške!)

ponavljanim mjerenjima što preciznijim pojedinačnim mjerenjem

Može se procijeniti različitim statističkim testovima (raspon

pouzdanosti, P vrijednost)

Sustavna pogreška

Sustavna pogreška (za razliku od slučajne) ima pravilan obrazac pojavljivanja, tj. rezultate iskrivljuje u jednom, posebnom smjeru

Sustavna pogreška je nepoželjna odlika istraživanja zbog koje su dobiveni rezultati sustavno različiti od stvarnih vrijednosti u populaciji Jedan mjeritelj ispitanicima uvijek izmjeri viši arterijski krvni tlak,

u usporedbi s drugim mjeriteljem. Razlog tome može biti njegova slabija educiranost i nesigurnost, slabiji sluh, neispravan stetoskop…

Sustavna pogreška - odstupanje

Može se javiti kod svih vrsta istraživanja i u svakoj fazi istraživanja

Uglavnom zbog grešaka u planiranju i provođenju istraživanja (moguća pojava i za vrijeme neprimjerene analize podataka)

Ponekad odstupanje može rezultate istraživanja učiniti posve nevjerodostojnim

Odstupanje Pod pojmom sustavna pogreška podrazumijevamo

dosljedno odstupanje od prave vrijednosti u populaciji zbog greške u metodologiji istraživanja

Najznačajniji oblici odstupanja vezani su uz : neodgovarajući izbor ispitanika (selection bias) prikupljanje podataka (information/measurment bias) dijagnostički postupak (detection/diagnostic bias) osipanje ispitanika (drop out bias)

Odstupanje

Neodgovarajući odabir ispitanika (selection bias) Odstupanje uzorkovanja (sampling bias) Odstupanje svrstavanja ispitanika u grupe (allocation

bias) Odstupanje neodziva ispitanika (non-response bias)

Odstupanje Neodgovarajući odabir ispitanika

Odstupanje uzorkovanja (sampling bias)

U svrhu utvrđivanja prevalencije hipertenzije u određenom području,

stanovnici su preko radija pozvani na mjerenje krvnog tlaka Tko se u najvećoj mjeri odazvao? Dobrovoljci – nisu reprezentativni za opću populaciju na koju se

zaključak o prevalenciji projicira (poznato je da su dobrovoljci zdraviji od opće populacije jer se više zanimaju za svoje zdravstveno stanje, bolje surađuju s liječnicima, među njima ima više hipohondara, itd.)

Odstupanje svrstavanja ispitanika u grupe (allocation bias)

U istraživanju učinkovitosti novog lijeka za hipertenziju, ispitanike trebamo podijeliti u dvije skupine od kojih će jedna primiti postojeći lijek, a druga lijek koji se istražuje

U prvu skupinu odabiremo prvih 20 pacijenata koji su došli u bolnicu, a u drugu sljedećih 20 pacijenata

Izbor nije bio slučajan - pacijenti koji dođu prvi u bolnicu mogu biti lošijeg zdravstvenog i socio-ekonomskog stanja, a postoji i mogućnost da je liječnik teže slučajeve naručio ranije od drugih pacijenata

Odstupanje Neodgovarajući odabir ispitanika

Odstupanje neodziva (non-response bias)

U svrhu istraživanja povezanosti karcinoma cerviksa s brojem spolnih partnera, odlučili smo kontrolnoj skupini ispitanika (odabrana slučajnim odabirom iz opće populacije) upitnik poslati poštom

Udio ispunjenih upitnika u dvije skupine zasigurno će se razlikovati – kontrole neće biti osobito zainteresirane za njihovo ispunjavanje, veći postotak odaziva bit će među ženama koje su imale manji broj spolnih partnera, ženama s višim socioekonomskim statusom…

Osobe koje se ne odazovu imaju sustavno drugačije karakteristike – demografske, socioekonomske, psihološke, kulturološke…

Odstupanje Neodgovarajući odabir ispitanika

Odstupanje Neodgovarajući odabir ispitanika

Svaki uzorak koji nije odabran slučajno – može biti izvor pogreške nastale zbog neodgovarajućeg izbora ispitanika

Pogrešku nije moguće ukloniti nakon provedenog istraživanja zbog čega je prije početka istraživanja potrebno: definirati kriterije za uključivanje i isključivanje osoba iz studije osigurati što višu stopu sudjelovanja (response rate) poznavati prirodni tijek bolesti (stanje koje istražujemo)

Kvaliteta uzorka procjenjuje se na temelju metode

uzorkovanja i veličine uzorka

Odstupanje prikupljanja podataka

Odstupanje pri prikupljanju podataka (information/measurment bias) – nastaje prilikom prikupljanja podataka, mjerenju ili klasifikaciji

Kvaliteta prikupljenih podataka može biti loša ako je mjerni instrument ili mjeritelj netočan (odstupanje od prave vrijednosti u jednom smjeru) što dovodi do pogrešnog rezultata

Za izbjegavanje ove vrste pogreške potrebno je osigurati što točnije mjerne instrumente i mjeritelje

Prilikom pisanja znanstvenog rada potrebno je detaljno opisati način dobivanja podataka, kako bi čitatelj mogao donijeti sud o kvaliteti podataka

Odstupanje prikupljanja podataka

Odstupanje pri prikupljanju podataka

loše baždareni tlakomjer mjeritelj tlaka s oslabljenim sluhom sustavna pogreška zbog prisjećanja (recall bias) - anketni upitnici

u kojima se traži prisjećanje – npr. majke s malformiranom djecom puno će se bolje prisjetiti izloženosti rizičnim čimbenicima tijekom trudnoće za razliku od majki zdrave djece

sustavna pogreška zbog načina na koji se prikupljaju podaci (recording bias) - medicinska dokumentacija u pravilu sadrži više podataka za pacijente kod kojih se dokaže bolest nego kod zdravih osoba

Odstupanje dijagnostičkog postupka Odstupanje dijagnostičkog postupka (detection

bias) - nastaje kada u istraživanim skupinama nisu jednako kvalitetno provedeni dijagnostički/terapijski postupci, s jednakim kriterijima

Liječnik uvjeren u djelotvornost ispitivanog analgetika ima

drugačije (strože) kriterije za skupinu koja uzima placebo u odnosu na skupinu koja dobiva istraživani lijek

Izbjegava se provođenjem „dvostruko slijepog“, odnosno

„trostruko slijepog“ pokusa

Odstupanje osipanja Osipanje ispitanika (drop out) Tijekom istraživanja nemoguće je prikupiti parametre za sve

ispitanike koji su odabrani u slučajni uzorak Najčešći razlozi za to su:

Smrt Naknadno odbijanje sudjelovanja Selidba Odaziv onemogućen bolešću Pogreške u evidenciji, itd.

Ako je gubitak selektivan, tj. “izgubljeni” imaju neko zajedničko obilježje, različito od onih koji su ostali u istraživanju, postoji mogućnost sustavne pogreške

Potrebno je utvrditi razloge osipanja i obilježja izgubljenih ispitanika (analiza)

Odstupanje osipanja

Osipanje ispitanika (drop out) Na kontrolni pregled pozvano je 500 ispitanica koje sudjeluju u

kontroliranom kliničkom pokusu (cilj istraživanja bio je utvrditi incidenciju osteoporoze među ispitanicama koje su dobile ispitivani lijek i najbolji lijek na tržištu - zlatni standard)

Od 100 osoba koje se nisu odazvale, 85 ispitanica je bilo teško pokretno i visoke životne dobi

Ovakvo osipanje očito može izazvati lažno nisku procjenu incidencije jer je osteoporoza najučestalija u skupini koja se nije odazvala kontrolnom pregledu - pogreška se može izbjeći omogućavanjem pregleda kod kuće za teško pokretne ili osiguranjem njihovog prijevoza do liječnika

Zabuna - confounding

Zbog sustavne (i slučajne) pogreške zaključujemo da povezanost postoji, iako to nije točno

Zbog zabune zaključujemo da povezanost postoji, što je točno, ali je promatrani ishod posljedica djelovanja nekog drugog čimbenika koji nije uzet u obzir, a ne istraživanog čimbenika

Zabuna - confounding

zabune

Zabuna - confounding

Ključne karakteristike čimbenika zabune: Od prije poznat (ali u istraživanju neidentificiran)

rizični čimbenik za pojavu istraživane bolesti

Povezan s promatranim rizičnim čimbenikom, ali nije posljedica njegovog djelovanja

Zabuna - confounding

Zabuna - confounding Najčešći čimbenici koji dovode do zabune su:

Dob Spol Socio-demografske značajke Obrasci ponašanja (pušenje, pijenje alkohola, pridržavanje

liječničkih uputa)

Učinak zabune može se neutralizirati prilikom dizajna

istraživanja, a za razliku od sustavnih pogrešaka, i pri analizi rezultata

Nemoguće ju je u potpunosti ukloniti, kao i pojavu slučajne pogreške

Downov sindrom i dob majke

Zašto statistika?

http://www.ted.com/talks/ben_goldacre_battling_bad_science