ANNA MUECK GRUPA A/B, OAM

Ocena wartości diagnostycznej testu – obliczanie czułości, swoistości, wartości

predykcyjnych testu. Krzywe ROC.

Czułość diagnostyczna

Czułość diagnostyczna określa zdolność testu do wykrywania osób chorych.

Jest to stosunek wyników prawdziwie dodatnich do sumy wyników prawdziwie dodatnich i fałszywie ujemnych (pomnożone przez 100%).

Czułość 100% oznaczałaby, że wszystkie osoby chore lub ogólnie z konkretnymi poszukiwanymi zaburzeniami zostaną rozpoznane.

Czułość diagnostyczna = PD / (PD + FU)

Przykład:Jeżeli wartość czułości diagnostycznej wynosi

70%, oznacza to, że 70% pacjentów z daną jednostką chorobową, przy pomocy danego testu będzie dobrze sklasyfikowane. 30% natomiast, zostanie źle sklasyfikowane. Im wyższa czułość testu, tym jest on bardziej przydatny diagnostycznie. Idealny byłby test

o 100% czułości.

Swoistość diagnostyczna

Swoistość diagnostyczna określa zdolność testu do poprawnego wykluczenia choroby.

Jest to stosunek wyników prawdziwie ujemnych do sumy wyników prawdziwie ujemnych i fałszywie dodatnich (pomnożone przez 100%).

Swoistość 100% oznaczałaby, że wszyscy ludzie zdrowi w wykonanym teście diagnostycznym zostaną oznaczeni jako zdrowi. Test o wysokiej swoistości posiada niski błąd drugiego typu.

Swoistość diagnostyczna = PU / (PU + FD)

przykład:Jeżeli wartość swoistości diagnostycznej

wynosi 40%, oznacza to, że 40% pacjentów zdrowych, przy pomocy danego testu będzie dobrze sklasyfikowane. 60% natomiast, zostanie źle sklasyfikowane. Im wyższa swoistość testu, tym jest on bardziej przydatny diagnostycznie. Idealny byłby test

o 100% swoistości.

Inne parametry oceniające wartość diagnostyczną testu

Dodatnia wartość predykcyjna

Ujemna wartość predykcyjna

Wartość predykcyjna dodatnia

Wartość predykcyjna dodatnia (PPV) – prawdopodobieństwo, że osobnik miał chorobę mając pozytywny wynik testu. Jeśli więc badana osoba otrzymała pozytywny wynik testu, to PPV daje jej informację na ile może być pewna, że cierpi na daną chorobę.

Dodatnia wartość predykcyjna = PD / (PD + FD)

Ujemna wartość predykcyjna

Wartość predykcyjna ujemna (NPV) – prawdopodobieństwo, że osobnik nie miał choroby mając negatywny wynik testu. Jeśli więc badana osoba otrzymała negatywny wynik testu, to NPV daje jej informację na ile może być pewna, że nie cierpi na daną chorobę.

Ujemna wartość predykcyjna = PU / (PU + FU)

Krzywe ROC

krzywe ROC są często stosowaną metodą służącą do opisania dokładności diagnostycznej testu. Służą one do porównywania testów diagnostycznych, analizy czy dany test jest efektywny w odróżnianiu różnych populacji, i ustalania wartości odcięcia.

Krzywe ROC opisują cały zakres pracy klasyfikatora i pozwalają na miarodajne porównanie wyników z różnych klasyfikatorów. Zaletą stosowania krzywych ROC jest też ich niezależność od jednostek i skal stosowanych w danym badaniu oraz możliwość stosowania do danych skategoryzowanych (nie tylko binarnie).

FP: wyniki fałszywie dodatnieFN: wyniki fałszywie ujemneTP: wyniki prawdziwie dodatnieTN: wyniki prawdziwie ujemne

ChorzyZdrowi

Diagram obrazujący centralną pozycję krzywych ROC w oszacowaniu dokładności diagnostycznej

Krzywe ROC

Potrzebny jest „złoty środek” aby dobrze zaklasyfikować chorych i zdrowych

Liczba osób chorych i osób zdrowych powinna być zbliżona

Zdrowi i chorzy powinni reprezentować populacje dla której wykonuje się oznaczenia

Krzywa ROC jest to zależność pomiędzy czułością a (1- swoistością)

Cel: ustalenie wartości decyzyjnej

Kryteria ustalenia wartości decyzyjnej

Cel badania (przesiewowe, potwierdzające)„strata społeczna” – ile będzie kosztowało

zakwalifikowanie osoby do kategorii „zdrowy” lub „chory”

Częstość choroby w populacji

Bardzo istotne jest właściwe umieszczenie punktu odcięcia na krzywej

Przesunięci punktu odcięcia w prawo spowoduje spadek czułości diagnostycznej ponieważ większa część chorych zostanie zakwalifikowana jako zdrowi. Natomiast wzrośnie swoistość ponieważ wszystkich tych którzy są zdrowi zakwalifikujemy prawidłowo czyli wykluczymy chorobę. Gdy wzrasta czułość to spada swoistość i na odwrót.

Analogiczna sytuacja zaistnieje gdy punkt odcięcia zostanie przesunięty w lewo (wzrośnie czułość, a spadnie swoistość).

Wykres krzywej ROC (ang. Receiver Operating Curve) jest w praktyce klinicznej narzędziem ułatwiającym wybór wartości progowej testu diagnostycznego, dla którego uzyskujemy optymalne parametry czułości i swoistości.

Krzywa to graficzne przedstawienie zależności pomiędzy odsetkami wyników testu prawdziwie dodatnimi (czułość) oraz odsetkami wyników fałszywie dodatnimi (1-swoistość).

Zwiększenie czułości testu wiąże się ze zmniejszeniem odsetka wyników fałszywie ujemnych, ale jednocześnie ze zmniejszeniem swoistości (zwiększeniem odsetka wyników fałszywie dodatnich).

Zwiększenie swoistości testu wiąże się ze zmniejszeniem odsetka wyników fałszywie dodatnich, ale jednocześnie ze zmniejszeniem czułości (zwiększeniem odsetka wyników fałszywie ujemnych).

Optymalna wartość progowa wyniku testu (możliwie wysoka czułość testu przy wysokiej swoistości), to w  większości

przypadków wartość najbardziej zbliżona do lewego górnego rogu wykresu (odpowiadającego 100% czułości i swoistości).

Pole powierzchni pod wykresem krzywej ROC – AUC (ang. Area Under Curve), przyjmujące wartości w przedziale od 0 do 1, określa zdolność testu do rozgraniczenia wyników prawidłowych i nieprawidłowych. Im większe jest AUC (im bardziej wklęsła będzie funkcja ROC) tym większa jest moc diagnostyczna testu. Tym samym zdolność rozdzielcza testu jest lepsza.

Większość testów w diagnostyce reprezentuje moc diagnostyczną wyrażająca się wielkościami AUC pomiędzy 0,80 a 0,95.

AUC

Do uzyskania zwartej informacji o skuteczności klasyfikacji można użyć AUC (Area Under Curve), czyli pole powierzchni pod krzywą ROC. Pole powierzchni pod krzywą ROC to prawdopodobieństwo, że klasyfikator nada wyższą rangę losowo wybranemu przypadkowi z odpowiedniej grupy, a nie losowo wybranemu przypadkowi z grupy, w której wiadomo że szukane dane nie występują. W AUC zawarty jest opis precyzji detekcji w całym zakresie pracy systemu. Wartość AUC równą 0.5 można opisać jako działanie losowe, a wartość równa 1.0 to wskaźnik idealny. Oznacza to, że krzywa przechodząca bliżej górnego lewego rogu obrazuje większą dokładność diagnostyczną.

Często stosowany opis jakości testów diagnostycznych jest wzorowany na amerykańskim systemie edukacji i może być opisany w następujący sposób:

· 0.9-1.0 = bardzo dobry

· 0.8-0.9 = dobry

· 0.7-0.8 = satysfakcjonujący

· 0.6-0.7 = średni

· 0.5-0.6 = niedostateczny

Obliczenie AUC wykonywane jest przed programy komputerowe. Pole powierzchni obliczane jestnajczęściej według dwóch metod:

- Metoda nie parametryczna (ang. non-parametric) oparta jest na konstruowaniutrapezoidów pod krzywą w celu oszacowania pola powierzchni pod wykresem.

- Metoda parametryczna oparta jest na zasadzie określania maksymalnegoprawdopodobieństwa (ang. maximum likelyhood estymator) aby dopasować linie ciągłą dowykresu danych.

Przykładowe krzywe ROC dla przypadku idealnego, testu rzeczywistego i dla przypadkowej selekcji na obecność patologii, zupełnie niezdeterminowanej informacją użyteczną.

Wpływ częstości choroby na wartość diagnostyczną testu

Prevalance (częstość) – proporcja ludzi z chorobą w danej populacji, w szczególnym momencie czasu

Incidence (nowe przypadki) – liczba nowych przypadków choroby pojawiających się w danym okresie czasu (n/1000/rok)

Odds ratio i likelihood ratio

Odds ratio (iloraz prawdopodobieństwa) – prawdopodobieństwo obecności danej choroby podzielone przez prawdopodobieństwo jej nieobecności

Likelihood ratio (iloraz wiarygodności) – prawdopodobieństwo pojawienia się danego wyniku (gdy choroba jest obecna) podzielone przez prawdopodobieństwo tego samego wyniku gdy nie ma choroby

Dziękuję za uwagę