View
1
Download
0
Category
Preview:
Citation preview
Esercitazione:La kappa di Cohen
Maria Pia Sormanimariapia.sormani@unige.it
Esercitazioni Stat Med per Metodologia Clinica
Obiettivi
1. Come si calcola la kappa2. Significato della concordanza casuale
Accordo “per caso”
Supponiamo che a due medici a cui vengachiesto di esaminare 100 esamimammografici.
Il primo medico non ha la più pallida idea dicome sia un esame positivo e li dichiaratutti negativi
Il secondo li esamina con grande attenzionee ne identifica 4 come positivi.
Accordo “per caso”I due medici si trovano d’accordo nella
classificazione di 96 esami su 100
1001000Med1
96960-
440+Med2-+
Accordo osservato=(0+96)/100
E’ giusto dire che la concordanza è il 96%?
Accordo “per caso”
Altra situazione: altri due medici inespertidecidono ognuno per conto suo diclassificare gli esami lanciando unamoneta, ed entrambi ne classificanometà come positivi e metà comenegativi
Accordo “per caso”I due medici si trovano d’accordo nella
classificazione di 25++ e 25-- esami su 100
1005050Med1
502525-
502525+Med2-+
E’ giusto dire che concordano su 50 esami su100 e che quindi la concordanza è il 50%?
Accordo “per caso”
Esiste una quota di concordanza che c’ècomunque ed è dovuta al caso.
Per calcolare la concordanza vera, bisognavedere quanta parte della concordanzatotale è dovuta al caso e quanta al realeaccordo tra gli osservatori
Calcolo dell’accordo “per caso”
La concordanza dovuta al caso si calcola daimarginali della tabella 2x2.
Osserviamo questa situazione:
200100100Med1
1007525-
1002575+Med2-+
Calcolo dell’accordo “per caso”
I valori attesi si calcolano in ogni cella
200100100Med1
100100*100
200100*100
200-
100100*100
200100*100
200+
Med2-+
Calcolo dell’accordo “per caso”
I valori attesi per caso si calcolano in ognicella
200100100Med1
1005050-
1005050+Med2-+
Accordo per caso: (50+50)/200=50%
Calcolo dell’accordo osservato
200100100Med1
1007525-
1002575+Med2-+
Accordo osservato: 150/200=75%
Calcolo di kappa
Accordo per caso: 50%
Accordo residuo non casuale: 100%-50%=50%
Accordo osservato: 75%
Accordo dovuto a concordanza vera=75%-50%=25%
Kappa=25%/50%= 50%
Calcolo di kappa
Un’altra situazione
1004060Med1
40328-
60852+Med2-+
Calcolo dell’accordo “per caso”
I valori attesi si calcolano in ogni cella
1004060Med1
4040*40100
60*40100-
6060*40100
60*60100+
Med2-+
Calcolo dell’accordo “per caso”
I valori attesi per caso si calcolano in ognicella
1004060Med1
401624-
602436+Med2-+
Accordo per caso: (36+16)/100=52%
Calcolo dell’accordo osservato
1004060Med1
40328-
60852+Med2-+
Accordo osservato: (52+32)/100=84%
Calcolo di kappa
Accordo per caso: 52%
Accordo residuo non casuale: 100%-52%=48%
Accordo osservato: 84%
Accordo dovuto a concordanza vera=84%-52%=32%
Kappa=32%/48%= 67%
Calcolo di kappa
Formula per il calcolo di kappa
( )( )AA
AAAOk
!
!=
1
Dove AA=accordo atteso per caso
AO= accordo osservato
Kappa e concordanzaKappa valori concordanza
<0,01 nulla
0,01-0,20 scarsa
0,21-0,40 modesta
0,41-0,60 moderata
0,61-0,80 sostanziale
0,81-1,00 quasi perfetta(Landis e Koch, 1977)
Test per kappa
Fare un test di significatività per kappasignifica rispondere alla domanda:
La concordanza trovata èsignificativamente diversa da zero?
H0 : k=0
Test per kappa
Devo vedere se il valore trovato di k ècompatibile con l’ipotesi che la realeconcordanza sia nulla e che quello chesto osservando sia solo una fluttuazionecasuale.
Test per kappa
Devo costruire la statistica z:
( )KVar
Kz =
e vedere che probabilità ha di presentarsiper caso; se la probabilità (la p) è bassa(inferiore a 5%) rifiuto H0.
Test per kappa
Mi manca la var(K).
( )( )( )2
2
1 AAN
AOAOkVar
!"
!=
Esercizi
Esercizio 1
Due osservatori fanno diagnosi di depressionesu 29 pazienti
291910Med1
12120-
17710+
Med2-+
Calcolo dell’accordo “per caso”
I valori attesi si calcolano in ogni cella
291910Med1
1212*19
2912*10
29-
1717*19
2917*10
29+
Med2-+
Calcolo dell’accordo “per caso”
I valori attesi per caso si calcolano in ognicella
291910Med1
127.864.14-
1711.145.86+Med2-+
Accordo per caso: (5.86+7.86)/29=47% (AA)
Calcolo dell’accordo osservato
291910Med1
12120-
17710+Med2-+
Accordo osservato: (10+12)/29=76% (AO)
Calcolo di kappa
Kappa=(0.76-0.47)/(1-0.47)=0.53
( )( )AA
AAAOk
!
!=
1
Calcolo di Var(kappa)
( )( )( )
( )( )
022,047,0129
76,076,0
12
2
2
2
=!"
!=
!"
!=
AAN
AOAOkVar
Test di ipotesi
( )( ) ( )57,3
022,0
53,0===
kVar
kz
Cerco sulle tavole z il valore di probabilitàche corrisponde ad una z di 3.57
Z=3.57 si osserva con p=0.0004
Test di ipotesi
Z=3.57 si osserva con p=0.0004
La p piccola (p<0.05) significa che laprobabilità che la Z osservata provengadalla distribuzione Z che vale sottol’ipotesi nulla è piccola, e quindi rifiutol’ipotesi nulla.
Un campione di 100 soggetti positivi al virus HIVUn campione di 100 soggetti positivi al virus HIVviene esaminato da due medici, i quali valutano perviene esaminato da due medici, i quali valutano perciascuno di essi la presenza o assenza delle seguenticiascuno di essi la presenza o assenza delle seguentimanifestazioni cliniche manifestazioni cliniche
Esercizio/2Esercizio/2
a. candidosi orale
Medico A TOTALE
Medico B s i no
s i 1 4 4 18
no 2 8 0 82
TOTALE 16 84 100
b. linfoadenopatia
Medico A TOTALE
Medico B s i no
s i 4 3 7 50
no 7 4 3 50
TOTALE 50 50 100
c. dermatite seborroica
Medico A TOTALE
Medico B s i no
s i 4 1 5
no 1 9 4 95
TOTALE 5 95 100
d. corioretinite
Medico A TOTALE
Medico B s i no
s i 3 3 6
no 2 9 2 94
TOTALE 5 95 100
D.-Valuta il grado di accordo tra i due medici D.-Valuta il grado di accordo tra i due medici rispetto ciascuna delle 4 manifestazioni cliniche rispetto ciascuna delle 4 manifestazioni cliniche prese singolarmente calcolando per ognuna:prese singolarmente calcolando per ognuna:
-concordanza sul risultato positivo-concordanza sul risultato positivo- concordanza sul risultato negativo- concordanza sul risultato negativo- concordanza totale osservata- concordanza totale osservata-indice di kappa-indice di kappa
Medico A TOTALE
Medico B s i no
s i a b a+b
no c d c+d
TOTALE a+c b+d a+b+c+d
Concordanza sul risultato positivo=a/(a+b+c+d)Concordanza sul risultato positivo=a/(a+b+c+d)
Concordanza sul risultato negativo=d/(a+b+c+d)Concordanza sul risultato negativo=d/(a+b+c+d)
Concordanza totale osservata (Po) =(a+d)/(a+b+c+d)Concordanza totale osservata (Po) =(a+d)/(a+b+c+d)
Kappa = Po-concordanza casuale (Pe)/(1-Pe)Kappa = Po-concordanza casuale (Pe)/(1-Pe)
a. candidosi orale
Medico A TOTALE
Medico B s i no
s i 1 4 4 18
no 2 8 0 82
TOTALE 16 84 100
Concordanza sul risultato positivo=14/100 = 0,14Concordanza sul risultato positivo=14/100 = 0,14
Concordanza sul risultato negativo=80/100= 0,80Concordanza sul risultato negativo=80/100= 0,80
Concordanza totale osservata (Po) = 94/ 100= 0,94Concordanza totale osservata (Po) = 94/ 100= 0,94
Medico A TOTALE
Medico B s i no
s i 2 , 8 8 1 5 , 1 2 18
no 1 3 , 1 2 6 8 , 8 8 82
TOTALE 16 84 100
Kappa = (0,94 - 0,72)/1-0,72=0,788Kappa = (0,94 - 0,72)/1-0,72=0,788
Concord.tot. osservata (Po) = 94/ 100= 0,94Concord.tot. osservata (Po) = 94/ 100= 0,94
Concord. tot. attesa (Pe) = 2,88+68,88)/ 100= 0,72Concord. tot. attesa (Pe) = 2,88+68,88)/ 100= 0,72
Concordanza a b c d
sul risultato positivo 0 , 1 4 0 , 4 3 0 , 0 4 0 , 0 3
sul risultato negativo 0 , 8 0 , 4 3 0 , 9 4 0 , 9 2
totale osservata 0 , 9 4 0 , 8 6 0 , 9 8 0 , 9 5
Kappa 0 , 7 8 8 0 , 7 2 0 , 7 8 9 0 , 5 2
Verificare la significatività della concordanza dellaVerificare la significatività della concordanza dellacorioretinite.corioretinite.
Errore Standard di K e test di significativitàErrore Standard di K e test di significatività
( )( )( )
( )( )
0475,090,01100
95,095,0
12
2
2
2
=!"
!=
!"
!=
AAN
AOAOkVar
( )( ) ( )39,2
0475,0
52,0===
kVar
kz
La concordanza è significativa con p<0,05La concordanza è significativa con p<0,05
Z=2,39>1,96Z=2,39>1,96
Recommended