55
Walidacja metod badawczych i szacowanie niepewności pomiaru Walidacja metod badawczych i szacowanie niepewności pomiaru Wojciech Hyk [email protected] Wojciech Hyk [email protected]

Walidacja metod badawczych i szacowanie niepewności pomiarupetrol-gaz.pl/dokumenty/materialy_szkolenie/zalacznik_1.pdf · współczynników krzywej kalibracyjnej (nachylenia, przesunięcia,

  • Upload
    vananh

  • View
    218

  • Download
    0

Embed Size (px)

Citation preview

Walidacja metod badawczychi szacowanie niepewności pomiaru

Walidacja metod badawczychi szacowanie niepewności pomiaru

Wojciech [email protected]

Wojciech [email protected]

Zagadnienia poruszane na szkoleniuZagadnienia poruszane na szkoleniu

• Wstęp do analizy statystycznej• Walidacja metody badawczej / pomiarowej• Strategie szacowania niepewności pomiaru

• Wstęp do analizy statystycznej• Walidacja metody badawczej / pomiarowej• Strategie szacowania niepewności pomiaru

Plan

Sterowanie jakością badań

CelCel

Doprowadzenie procesu analitycznego do stabilnego i akceptowalnego poziomu jakości, utrzymanie go na tym

poziomie oraz zapewnienie spełnienia ustalonych wymagań dla danego badania (precyzja, dokładność itp.).

Doprowadzenie procesu analitycznego do stabilnego i akceptowalnego poziomu jakości, utrzymanie go na tym

poziomie oraz zapewnienie spełnienia ustalonych wymagań dla danego badania (precyzja, dokładność itp.).

Sterowanie jakością badań

Elementy postępowaniaElementy postępowania• Laboratorium opracowuje i dokumentuje program

sterowania jakością badań dla każdego rodzaju badania (metoda, matryca).

• Działania: wewnętrzne sterowanie jakością

– prowadzenie, interpretacja kart kontrolnych– walidacja metody badawczej– nadzór nad wyposażeniem pomiarowym– szacowanie niepewności pomiaru

zewnętrzne sterowanie jakością – udział w badaniach międzylaboratoryjnych

aktualizacja metody

• Laboratorium opracowuje i dokumentuje program sterowania jakością badań dla każdego rodzaju badania (metoda, matryca).

• Działania: wewnętrzne sterowanie jakością

– prowadzenie, interpretacja kart kontrolnych– walidacja metody badawczej– nadzór nad wyposażeniem pomiarowym– szacowanie niepewności pomiaru

zewnętrzne sterowanie jakością – udział w badaniach międzylaboratoryjnych

aktualizacja metody

Wybrane testy statystyczne(zał.: rozkład normalny wyników)

Wybrane testy statystyczne(zał.: rozkład normalny wyników)

Problem Test statystycznyWykrywanie błędu grubego (wyniku odstającego)

Test Dixona lub Grubbsa

• Wykrywanie błędu systematycznego stałego (bias)

• Wykrywanie błędu systematycznego proporcjonalnego (badanie istotności odzysku)

• Określanie poprawności• Badanie istotności

współczynników krzywej kalibracyjnej (nachylenia, przesunięcia, korelacji)

Test t-Studenta: porównanie wartości średniej z wartością odniesienia (przyjętą za prawdziwą)

Testy statystyczne

Problem Test statystyczny• Porównanie poprawności dwóch

metod / analityków (jedna próbka analityczna)

• Ustalenie wartości normatywnej dla linii centralnej kolejnej karty na podstawie dwóch poprzednich kart kontrolnych

• Badanie odporności metody

Test t-Studenta: porównanie dwóch wartości średnich

Testy statystyczne

Wybrane testy statystyczne(zał.: rozkład normalny wyników)

Wybrane testy statystyczne(zał.: rozkład normalny wyników)

Problem Test statystyczny• Porównanie precyzji dwóch

metod / analityków• Badanie jednorodności wariancji

w wybranym zakresie roboczym• Ustalenie wartości normatywnej

dla linii kontrolnych kolejnej karty na podstawie dwóch poprzednich kart kontrolnych

Test F

Testy statystyczne

Wybrane testy statystyczne(zał.: rozkład normalny wyników)

Wybrane testy statystyczne(zał.: rozkład normalny wyników)

Walidacja metody badawczej

Walidacja metodyWalidacja metodyWalidacja jest sprawdzeniem, które zapewnia, że charakterystyka działania metody jest zrozumiała

i wykazaniem, że metoda jest poprawna pod względem naukowym w określonych warunkach stosowania.

Walidacja metody badawczej

Elementy walidacji metodyElementy walidacji metody

• Charakterystyka krzywej kalibracyjnej• Granica wykrywalności i oznaczalności• Selektywność

• Precyzja w warunkach powtarzalności lub odtwarzalności • Obciążenie / poprawność• Odporność

• Niepewność pomiaru

• Charakterystyka krzywej kalibracyjnej• Granica wykrywalności i oznaczalności• Selektywność

• Precyzja w warunkach powtarzalności lub odtwarzalności • Obciążenie / poprawność• Odporność

• Niepewność pomiaru

Walidacja metody badawczej

Proces walidacji metody badawczejProces walidacji metody badawczej

• zestawienie z kryteriami akceptacji

• identyfikacja źródeł niepewności

• rodzaj próbki

• liczność serii

• warunki pomiaru

• dane archiwalne

• rozkłady statystyczne

• testy statystyczne

• regresja liniowa

• propagacja niepewności

Projekt eksperymentu:

Narzędzia statystyczne:

Interpretacja wyników:

Walidacja metody badawczej

Metoda analitycznaMetoda analityczna

Przygotowanie wzorców do konstrukcji krzywej

kalibracyjnej

Krzywa kalibracyjna

Przygotowanie próbki

Oznaczenie instrumentalne

Zawartość analituw próbce

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

1. Dobór zakresu roboczego (analitycznego) i wykonanie pomiarów2. Ustalenie modelu regresji oraz założeń

- wybór metody regresji liniowej3. Badanie poprawności modelu4. Oszacowanie parametrów regresji5. Oszacowanie parametrów charakteryzujących metodę6. Wykorzystanie krzywej kalibracyjnej (wzorcowej)

1. Dobór zakresu roboczego (analitycznego) i wykonanie pomiarów2. Ustalenie modelu regresji oraz założeń

- wybór metody regresji liniowej3. Badanie poprawności modelu4. Oszacowanie parametrów regresji5. Oszacowanie parametrów charakteryzujących metodę6. Wykorzystanie krzywej kalibracyjnej (wzorcowej)

Walidacja metody badawczej

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

1. Dobór zakresu roboczego (analitycznego)• Praktyczne wskazówki dotyczące przedmiotu analizy• Techniczne możliwości wykonania analizy• Liniowość sygnału• Minimum 6 punktów w zakresie

1. Dobór zakresu roboczego (analitycznego)• Praktyczne wskazówki dotyczące przedmiotu analizy• Techniczne możliwości wykonania analizy• Liniowość sygnału• Minimum 6 punktów w zakresie

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

2. Założenia• Liniowa zależność między zmienną zależną

(objaśnianą, sygnałem analitycznym –odpowiedzią instrumentu, Y) a zmienną niezależną (objaśniającą, stężeniem analitu, X)Y = a X + b

• Nielosowość zmiennej niezależnej; jej wartości są ustalonymi liczbami rzeczywistymiuwzg(xi) << uwzg(yi)

• Jednorodność wariancji wartości zmiennej Yu(y) = const (niezależnie od numeru obserwacji)

2. Założenia• Liniowa zależność między zmienną zależną

(objaśnianą, sygnałem analitycznym –odpowiedzią instrumentu, Y) a zmienną niezależną (objaśniającą, stężeniem analitu, X)Y = a X + b

• Nielosowość zmiennej niezależnej; jej wartości są ustalonymi liczbami rzeczywistymiuwzg(xi) << uwzg(yi)

• Jednorodność wariancji wartości zmiennej Yu(y) = const (niezależnie od numeru obserwacji)

Walidacja metody badawczej

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

2. Sprawdzenie jednorodności wariancji wartości zmiennej Y• Wyznaczenie wariancji dla wszystkich punktów zakresu roboczego• Testowanie: porównanie największej i najmniejszej wariancji - test

F–Snedecora (serie równoliczne) Feksp = sk

2 / sj2 lub Feksp = sj

2 / sk2 (Feksp > 1)

Porównanie z tablicową wartością dystrybuanty Fkryt (P = 0.99) Decyzja:

Feksp ≤ Fkryt wariancje są jednorodne; można przejść do wyznaczenia współczynników równania regresjiFeksp > Fkryt wariancje nie są jednorodne; należy zmniejszyć zakres roboczy do momentu uzyskania jednorodności wariancji lub zastosować regresję ważoną

2. Sprawdzenie jednorodności wariancji wartości zmiennej Y• Wyznaczenie wariancji dla wszystkich punktów zakresu roboczego• Testowanie: porównanie największej i najmniejszej wariancji - test

F–Snedecora (serie równoliczne) Feksp = sk

2 / sj2 lub Feksp = sj

2 / sk2 (Feksp > 1)

Porównanie z tablicową wartością dystrybuanty Fkryt (P = 0.99) Decyzja:

Feksp ≤ Fkryt wariancje są jednorodne; można przejść do wyznaczenia współczynników równania regresjiFeksp > Fkryt wariancje nie są jednorodne; należy zmniejszyć zakres roboczy do momentu uzyskania jednorodności wariancji lub zastosować regresję ważoną

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

3. Badanie poprawności modelu• Wyznaczanie współczynnika korelacji liniowej

• r < 0.999 – można podejrzewać występowanie funkcji nieliniowej• Istotność współczynnika korelacji, tr, eksp = r / (1 – r2)1/2 (n – 2)1/2

Testowanie istotności współczynnika korelacji – porównanie z tablicową wartością dystrybuanty rozkładu t-Studenta, tkryt(P = 0.95 i f = n – 2). Korelacja istotna, gdy tr, eksp ≥ tkryt.

• Ocena dopasowania: analiza reszt di = yi – a xi – b Dobre dopasowanie – równomierny rozrzut reszt wokół 0.

3. Badanie poprawności modelu• Wyznaczanie współczynnika korelacji liniowej

• r < 0.999 – można podejrzewać występowanie funkcji nieliniowej• Istotność współczynnika korelacji, tr, eksp = r / (1 – r2)1/2 (n – 2)1/2

Testowanie istotności współczynnika korelacji – porównanie z tablicową wartością dystrybuanty rozkładu t-Studenta, tkryt(P = 0.95 i f = n – 2). Korelacja istotna, gdy tr, eksp ≥ tkryt.

• Ocena dopasowania: analiza reszt di = yi – a xi – b Dobre dopasowanie – równomierny rozrzut reszt wokół 0.

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej4. Szacowanie parametrów modelu regresji (a, b)

• R.L.Z.(xi, yi)

• R.L.W. (Y)(xi, yi, wi)

• R.L.W. (X,Y)(xi, yi, Wi)

4. Szacowanie parametrów modelu regresji (a, b)

• R.L.Z.(xi, yi)

• R.L.W. (Y)(xi, yi, wi)

• R.L.W. (X,Y)(xi, yi, Wi)

Walidacja metody badawczej

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

4. Wyznaczenie współczynników prostoliniowej krzywej wzorcowej• y = a x + b• Wartości współczynników nachylenia (a) oraz przesunięcia (b)

obowiązują tylko wewnątrz danego zakresu roboczego

4. Wyznaczenie współczynników prostoliniowej krzywej wzorcowej• y = a x + b• Wartości współczynników nachylenia (a) oraz przesunięcia (b)

obowiązują tylko wewnątrz danego zakresu roboczego

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

4.1. Wyznaczenie współczynnika nachylenia, a• Istotność współczynnika nachylenia funkcji: ta, eksp = | a | / sa

• Testowanie istotności współczynnika nachylenia – porównanie z tablicową wartością dystrybuanty rozkładu t-Studenta, tkryt(P = 0.95 i f = n – 2)

• Decyzja:ta, eksp ≥ tkryt wsp. nachylenia jest istotny; można przejść do obliczania wsp. przesunięciata, eksp < tkryt metoda analityczna charakteryzuje się bardzo złą precyzją; można zastosować większą liczbę stężeń wzorcowych lub poszukać innej metody analitycznej

• Współczynnik a jest miarą czułości metody

4.1. Wyznaczenie współczynnika nachylenia, a• Istotność współczynnika nachylenia funkcji: ta, eksp = | a | / sa

• Testowanie istotności współczynnika nachylenia – porównanie z tablicową wartością dystrybuanty rozkładu t-Studenta, tkryt(P = 0.95 i f = n – 2)

• Decyzja:ta, eksp ≥ tkryt wsp. nachylenia jest istotny; można przejść do obliczania wsp. przesunięciata, eksp < tkryt metoda analityczna charakteryzuje się bardzo złą precyzją; można zastosować większą liczbę stężeń wzorcowych lub poszukać innej metody analitycznej

• Współczynnik a jest miarą czułości metody

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

4.2. Wyznaczenie współczynnika przesunięcia, b• Istotność współczynnika przesunięcia funkcji: tb, eksp = | b | / sb

• Testowanie istotności współczynnika przesunięcia – porównanie z tablicową wartością dystrybuanty rozkładu t-Studenta, tkryt(P = 0.95 i f = n – 2)

• Decyzja:tb, eksp ≥ tkryt wsp. przesunięcia jest istotnytb, eksp < tkryt wsp. przesunięcia jest równy zero

4.2. Wyznaczenie współczynnika przesunięcia, b• Istotność współczynnika przesunięcia funkcji: tb, eksp = | b | / sb

• Testowanie istotności współczynnika przesunięcia – porównanie z tablicową wartością dystrybuanty rozkładu t-Studenta, tkryt(P = 0.95 i f = n – 2)

• Decyzja:tb, eksp ≥ tkryt wsp. przesunięcia jest istotnytb, eksp < tkryt wsp. przesunięcia jest równy zero

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

4.3. Porównanie krzywej kalibracyjnej obliczonej metodą regresji zwykłej(linia przerywana) i ważonej (linia ciągła)

4.3. Porównanie krzywej kalibracyjnej obliczonej metodą regresji zwykłej(linia przerywana) i ważonej (linia ciągła)

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

5. Wyznaczenie zmienności metody badawczej(w przypadku zastosowania wariantu regresji liniowej zwykłej)

• Stosuje się w celu porównywania różnych metod analitycznych• Charakteryzuje precyzję metody instrumentalnej• Współczynnik zmienności metody, vm

_vm = (sm / x ) 100 %sm = sy/x / a

• vm ≤ 3 % - dobra precyzja metody (krzywej wzorcowej)vm > 3 % - słaba precyzja metody (krzywej wzorcowej) (zwiększyć liczbę wzorców oraz liczbę powtórzeń analiz wzorców)

5. Wyznaczenie zmienności metody badawczej(w przypadku zastosowania wariantu regresji liniowej zwykłej)

• Stosuje się w celu porównywania różnych metod analitycznych• Charakteryzuje precyzję metody instrumentalnej• Współczynnik zmienności metody, vm

_vm = (sm / x ) 100 %sm = sy/x / a

• vm ≤ 3 % - dobra precyzja metody (krzywej wzorcowej)vm > 3 % - słaba precyzja metody (krzywej wzorcowej) (zwiększyć liczbę wzorców oraz liczbę powtórzeń analiz wzorców)

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej

6. Analiza próbki o nieznanej zawartości analitu• Wykonywana w tych samych warunkach, w których konstruowana

była krzywa wzorcowa

6. Analiza próbki o nieznanej zawartości analitu• Wykonywana w tych samych warunkach, w których konstruowana

była krzywa wzorcowa

Walidacja metody badawczej

Charakterystyka krzywej kalibracyjnejCharakterystyka krzywej kalibracyjnej6. Analiza próbki o nieznanej zawartości analitu (przewidywania)6. Analiza próbki o nieznanej zawartości analitu (przewidywania)

• Wynik oznaczenia• Wynik oznaczenia • Niepewność standardowa oznaczenia• Niepewność standardowa oznaczenia

Nie uwzględniają niepewności xi

R.L.Z.

R.L.W.(Y)

R.L.W. (X,Y)

Walidacja metody badawczej

Precyzja (powtarzalność)Precyzja (powtarzalność)

Analizy podwójne (powtórzone) Schemat postępowania:• dokonać analizy próbki wzorcowej lub rzeczywistej o określonym

stężeniu w dwóch powtórzeniach min. 10 razy• obliczyć rozstęp dla każdej analizy• obliczyć odchylenie standardowe powtarzalności, spowt, oraz granicę

powtarzalności, rpowt:

Analizy podwójne (powtórzone) Schemat postępowania:• dokonać analizy próbki wzorcowej lub rzeczywistej o określonym

stężeniu w dwóch powtórzeniach min. 10 razy• obliczyć rozstęp dla każdej analizy• obliczyć odchylenie standardowe powtarzalności, spowt, oraz granicę

powtarzalności, rpowt:

Stopień zgodności wyników kolejnych pomiarów wielkości mierzonej wykonanych dla wybranej próbki w tych

samych warunkach i w ramach danego laboratorium.

Walidacja metody badawczej

Precyzja (powtarzalność)Precyzja (powtarzalność)

Analizy wielokrotneSchemat postępowania:• dokonać analizy próbki wzorcowej lub rzeczywistej o określonym

stężeniu w krótkich odstępach czasu (m serii po n powtórzeń; liczba stopni swobody f = m(n – 1) ≥ 10)

• wykonać test na błąd gruby dla każdej serii• obliczyć odchylenie standardowe powtarzalności, spowt, oraz granicę

powtarzalności, rpowt:

Analizy wielokrotneSchemat postępowania:• dokonać analizy próbki wzorcowej lub rzeczywistej o określonym

stężeniu w krótkich odstępach czasu (m serii po n powtórzeń; liczba stopni swobody f = m(n – 1) ≥ 10)

• wykonać test na błąd gruby dla każdej serii• obliczyć odchylenie standardowe powtarzalności, spowt, oraz granicę

powtarzalności, rpowt:

Walidacja metody badawczej

Precyzja pośredniaPrecyzja pośrednia

Schemat postępowania:• analizy podwójne próbek o różnym stężeniu lub / i o różnych matrycach• obliczyć względny rozstęp dla każdej analizy

rwzg = 2 (x1 – x2) / (x1 + x2)• obliczyć odchylenie standardowe względnych rozstępów według wzoru:

Schemat postępowania:• analizy podwójne próbek o różnym stężeniu lub / i o różnych matrycach• obliczyć względny rozstęp dla każdej analizy

rwzg = 2 (x1 – x2) / (x1 + x2)• obliczyć odchylenie standardowe względnych rozstępów według wzoru:

Odtwarzalność wewnątrzlaboratoryjna

Jednoczynnikowa analiza wariancjiANOVA

Odtwarzalność wewnątrzlaboratoryjna

Jednoczynnikowa analiza wariancjiANOVA

Walidacja metody badawczej

ANOVA - statystyka

Odchylenie standardowe powtarzalności (wewnątrzgrupowe)

• Założenie: jednorodność wariancji (test F skrajnych wariancji)

• Analizy podwójne (n = 2)

• Analizy wielokrotne (n > 2)

Stopień zgodności wyników kolejnych pomiarów wielkości mierzonej wykonanych dla wybranej próbki w tych

samych warunkach i w ramach danego laboratorium.

Walidacja metody badawczej

Odchylenie standardowe międzygrupowe

• Założenie: jednorodność średnich (analiza wariancji, ANOVA)

• Średnia ogólna

• Odchylenie standardowe średnich

• Odchylenie standardowe międzygrupowe

• Średnia liczność serii

Walidacja metody badawczej

Odchylenie standardowe odtwarzalności

• Odchylenie standardowe odtwarzalności

• Granica odtwarzalności: rodtw = t(P, f) √2 sodtw ≈ 2.8 sodtw

Stopień zgodności wyników pomiarów wielkości mierzonej wykonanych dla wybranej próbki w zmiennych warunkach

pomiaru (lub w ramach różnych laboratoriów).

Walidacja metody badawczej

Walidacja metody badawczej

Badanie obciążenia met. odzysku wzorcaBadanie obciążenia met. odzysku wzorca

• Określenie i skorygowanie błędu systematycznego (obu składników: stałego i proporcjonalnego)

• Funkcja odzysku wzorca: korelacja par: oczekiwany wynik pomiaru - rzeczywisty wynik

pomiaru stosuje się te same narzędzia statystyczne co do opracowania

krzywej kalibracyjnej• Przygotowanie próbek:

szereg próbek (n ≥ 3) na bazie próbki rzeczywistej (włączając niewzbogaconą)

stężenia dodatków równomiernie rozłożone w zakresie roboczym

• Określenie i skorygowanie błędu systematycznego (obu składników: stałego i proporcjonalnego)

• Funkcja odzysku wzorca: korelacja par: oczekiwany wynik pomiaru - rzeczywisty wynik

pomiaru stosuje się te same narzędzia statystyczne co do opracowania

krzywej kalibracyjnej• Przygotowanie próbek:

szereg próbek (n ≥ 3) na bazie próbki rzeczywistej (włączając niewzbogaconą)

stężenia dodatków równomiernie rozłożone w zakresie roboczym

Wpływ matrycy, sposobu przygotowania próbek, założeń w metodzie pomiarowej na wynik końcowy pomiaru.

Walidacja metody badawczej

Badanie obciążenia met. odzysku wzorcaBadanie obciążenia met. odzysku wzorca

• Pomiary: nr próbki: i = 0,…, n przyrost stężenia wzorca w i-tej próbce: dCi = i × D

(D - jednostkowy teoretyczny przyrost stężenia wzorca) stężenie próbki wzbogaconej i-tym dodatkiem wzorca, np.:

C0 + iD = (y0 + iD – b) / a_ _

rzeczywiste wzbogacenie: dCeksp, i = C0 + iD – C0

Funkcja odzysku:korelacja między dCi (zmienna niezależna) a dCeksp, i (zmienna zależna)dCeksp = a (dC) + b

• Pomiary: nr próbki: i = 0,…, n przyrost stężenia wzorca w i-tej próbce: dCi = i × D

(D - jednostkowy teoretyczny przyrost stężenia wzorca) stężenie próbki wzbogaconej i-tym dodatkiem wzorca, np.:

C0 + iD = (y0 + iD – b) / a_ _

rzeczywiste wzbogacenie: dCeksp, i = C0 + iD – C0

Funkcja odzysku:korelacja między dCi (zmienna niezależna) a dCeksp, i (zmienna zależna)dCeksp = a (dC) + b

Walidacja metody badawczej

Badanie obciążenia met. odzysku wzorcaBadanie obciążenia met. odzysku wzorca

• Analiza funkcji odzysku: Ckor = (1 / a) Ceksp – (b / a) 1 / a – korekta proporcjonalnego błędu systematycznego b / a – korekta stałego błędu systematycznego w przypadku idealnym, 100% odzysku, a = 1, b = 0 jeżeli a ± tsa nie zawiera 1, to występuje błąd proporcjonalny jeżeli b ± tsb nie zawiera 0, to występuje błąd stały

• Analiza funkcji odzysku: Ckor = (1 / a) Ceksp – (b / a) 1 / a – korekta proporcjonalnego błędu systematycznego b / a – korekta stałego błędu systematycznego w przypadku idealnym, 100% odzysku, a = 1, b = 0 jeżeli a ± tsa nie zawiera 1, to występuje błąd proporcjonalny jeżeli b ± tsb nie zawiera 0, to występuje błąd stały

Walidacja metody badawczej

PoprawnośćPoprawność

• Ustala się na podstawie badania odpowiedniego materiału certyfikowanego

• Minimum 20 powtórzeń w serii pomiarowej• Wyraża się w postaci:

błędu bezwzględnego δ = | xśr – μ | błędu względnego δr = | xśr – μ | / μ × 100 %

• Ustala się na podstawie badania odpowiedniego materiału certyfikowanego

• Minimum 20 powtórzeń w serii pomiarowej• Wyraża się w postaci:

błędu bezwzględnego δ = | xśr – μ | błędu względnego δr = | xśr – μ | / μ × 100 %

Różnica między wartością średnią analizowanej próbki a wartością prawdziwą (lub przyjętą za prawdziwą).

Walidacja metody badawczej

OdpornośćOdporność

• Określa się w ramach danego laboratorium lub na podstawie badań międzylaboratoryjnych.

• Badania dotyczą zmian warunków prowadzenia pomiaru, tj. temperatury, pH, wilgotności, rodzaju stosowanych odczynników itp.

• Zastosowanie testów istotności

• Określa się w ramach danego laboratorium lub na podstawie badań międzylaboratoryjnych.

• Badania dotyczą zmian warunków prowadzenia pomiaru, tj. temperatury, pH, wilgotności, rodzaju stosowanych odczynników itp.

• Zastosowanie testów istotności

Wpływ niewielkich, niezamierzonych zmian parametrów (warunków) metody badawczej na wynik końcowy.

Walidacja metody badawczej

Granica wykrywalności i oznaczalnościGranica wykrywalności i oznaczalności

• DefinicjaCl = Cb + k sb

• Krzywa kalibracyjna

• Test istotności – porównanie wartości średnich stężeń uzyskanych dla próbki z analitem i ślepej próby

• DefinicjaCl = Cb + k sb

• Krzywa kalibracyjna

• Test istotności – porównanie wartości średnich stężeń uzyskanych dla próbki z analitem i ślepej próby

Niepewność pomiaru

Niepewność pomiaruNiepewność pomiaruWynik pomiaru (x) jest tylko przybliżeniem prawdziwej wartości mierzonej wielkości fizycznej (X). Ilościowym wyrazem tego przybliżenia jest niepewność pomiaru.

X = x ± u(x)

• Wynik pomiaru: liczbowy rezultat pomiaru wraz z wartością liczbową oszacowanej niepewności standardowej (w tych samych jednostkach)

• błąd pomiaru ≠ niepewność standardowa pomiaruδ = x – X 푢 푥 = 푉퐴푅 훿

• Rozkład statystyczny błędu determinuje postać formuły obliczania wariancji błędu

• Jak określić niepewność standardową pomiaru?

• Wynik pomiaru: liczbowy rezultat pomiaru wraz z wartością liczbową oszacowanej niepewności standardowej (w tych samych jednostkach)

• błąd pomiaru ≠ niepewność standardowa pomiaruδ = x – X 푢 푥 = 푉퐴푅 훿

• Rozkład statystyczny błędu determinuje postać formuły obliczania wariancji błędu

• Jak określić niepewność standardową pomiaru?

Pomiar bezpośredni?

Pomiar pośredni

SzacowanieA / B / A + B

Równanie modelowe?

Walidacja metody?

Modelowanie „rozszerzone”

Dostępność CRM?

Modelowanie

Porównanie z wzorcem

Badanie precyzji

Badania biegłości?

Z wyników badań biegłości

TAK TAK

TAK

TAK

TAK

TAK TAK

NIE NIE

NIE

NIE

Obszar międzylaboratoryjny

niepewność std jedostkowego pomiaru

niepewność std metody / procedury

Obsz

ar w

ewną

trzla

bora

tory

jny

Szacowanie niepewności standardowejSzacowanie niepewności standardowej• Pomiar bezpośredni jednokrotny

• szacowanie typu B• Pomiar bezpośredni wielokrotny

• szacowanie typu A lub złożenie A + B• Pomiar pośredni

• przenoszenie (propagacja) niepewności (modelowanie)• analiza statystyczna wyniku końcowego

• szacowanie niepewności przez porównanie z wzorcem• szacowanie niepewności na podstawie wyników

porównań międzylaboratoryjnych• Oparte na osądzie – maksymalne odstępstwo obserwowane

w praktyce

• Pomiar bezpośredni jednokrotny• szacowanie typu B

• Pomiar bezpośredni wielokrotny• szacowanie typu A lub złożenie A + B

• Pomiar pośredni• przenoszenie (propagacja) niepewności (modelowanie)• analiza statystyczna wyniku końcowego

• szacowanie niepewności przez porównanie z wzorcem• szacowanie niepewności na podstawie wyników

porównań międzylaboratoryjnych• Oparte na osądzie – maksymalne odstępstwo obserwowane

w praktyce

Szacowanie niepewności pomiaru

Pomiar bezpośredniPomiar bezpośredni

Statystyczny wyraz pomiaru: Model pomiaru:xw = X + δsyst + δlos x = xw – δsyst + δlos

δsyst – błąd systematyczny (jednostronny)δlos – błąd losowy (dwustronny)X – wartość prawdziwa mierzonej wielkościxw – wartość mierzonej wielkości uzyskana eksperymentalnie (wskazanie przyrządu pomiarowego)x – poprawna wartość mierzonej wielkości uzyskana eksperymentalnie

Statystyczny wyraz pomiaru: Model pomiaru:xw = X + δsyst + δlos x = xw – δsyst + δlos

δsyst – błąd systematyczny (jednostronny)δlos – błąd losowy (dwustronny)X – wartość prawdziwa mierzonej wielkościxw – wartość mierzonej wielkości uzyskana eksperymentalnie (wskazanie przyrządu pomiarowego)x – poprawna wartość mierzonej wielkości uzyskana eksperymentalnie

Szacowanie niepewności pomiaru

Pomiar bezpośredniPomiar bezpośredniStatystyczny wyraz pomiaru: Model pomiaru:xw = X + δsyst + δlos x = xw – δsyst + δlos

δsyst – błąd systematyczny (bias pomiaru)• instrument pomiarowy (rozdzielczość, błąd wskazania)• założenia w procedurze pomiarowej (uproszczenia)• wpływ warunków otoczenia (efekty temperaturowe)• efekty matrycowe

δlos – błąd losowy• powtarzalność lub odtwarzalność pomiaru

Niepewność złożona: 풖 풙 = 풖ퟐ 휹풔풚풔풕 + 풖ퟐ 휹풍풐풔

Statystyczny wyraz pomiaru: Model pomiaru:xw = X + δsyst + δlos x = xw – δsyst + δlos

δsyst – błąd systematyczny (bias pomiaru)• instrument pomiarowy (rozdzielczość, błąd wskazania)• założenia w procedurze pomiarowej (uproszczenia)• wpływ warunków otoczenia (efekty temperaturowe)• efekty matrycowe

δlos – błąd losowy• powtarzalność lub odtwarzalność pomiaru

Niepewność złożona: 풖 풙 = 풖ퟐ 휹풔풚풔풕 + 풖ퟐ 휹풍풐풔

Szacowanie niepewności pomiaru

Źródła informacji o błędach(składowych niepewności)Źródła informacji o błędach(składowych niepewności)

• Specyfikacja techniczna urządzenia (działka elementarna, rozdzielczość aparaturowa, błąd graniczny)

• Świadectwa wzorcowania (błędy wskazań)• Zależność od warunków pomiaru (temperatura, wilgotność,

ciśnienie itp.)• Certyfikaty (matrycowych) materiałów odniesienia• Niepewność stałych fizykochemicznych i innych parametrów

użytych w definicji wielkości mierzonej• Kryteria / założenia w procedurze / metodzie pomiarowej• Karty sprawdzeń / kontrolne – losowa zmienność

(powtarzalność) pomiarów

• Specyfikacja techniczna urządzenia (działka elementarna, rozdzielczość aparaturowa, błąd graniczny)

• Świadectwa wzorcowania (błędy wskazań)• Zależność od warunków pomiaru (temperatura, wilgotność,

ciśnienie itp.)• Certyfikaty (matrycowych) materiałów odniesienia• Niepewność stałych fizykochemicznych i innych parametrów

użytych w definicji wielkości mierzonej• Kryteria / założenia w procedurze / metodzie pomiarowej• Karty sprawdzeń / kontrolne – losowa zmienność

(powtarzalność) pomiarów

Szacowanie niepewności pomiaru

Szacowanie niepewności pomiaru

Pomiar bezpośredni jednokrotnyPomiar bezpośredni jednokrotny• Model pomiaru: x = xw – δsyst (δsyst = δinstr)• Metoda szacowania niepewności standardowej: B

(na podstawie przyjętego rozkładu prawdopodobieństwa)• Wyrażenia na niepewność standardową:

u(x) = δinstr / √3 u(x) = δinstr / √6 (rozkład prostokątny) (rozkład trójkątny)

δinstr – połowa działki elementarnej, rozdzielczość aparaturowa, błąd graniczny, błąd wskazania itp.

• Model pomiaru: x = xw – δsyst (δsyst = δinstr)• Metoda szacowania niepewności standardowej: B

(na podstawie przyjętego rozkładu prawdopodobieństwa)• Wyrażenia na niepewność standardową:

u(x) = δinstr / √3 u(x) = δinstr / √6 (rozkład prostokątny) (rozkład trójkątny)

δinstr – połowa działki elementarnej, rozdzielczość aparaturowa, błąd graniczny, błąd wskazania itp.

Szacowanie niepewności pomiaru

Pomiar na podstawie danych z innego laboratorium

Pomiar na podstawie danych z innego laboratorium

• xl ± δ (P = 95 %): u(xl) = δ / 1.96 (metoda typu B)• xl ± δ (P = 95 %, n): u(xl) = δ / t (metoda typu B)

δ – nieokreślony typ błędu, t – parametr rozkładu Studenta

• xl ± δ (P = 95 %): u(xl) = δ / 1.96 (metoda typu B)• xl ± δ (P = 95 %, n): u(xl) = δ / t (metoda typu B)

δ – nieokreślony typ błędu, t – parametr rozkładu Studenta

Szacowanie niepewności pomiaru

Pomiar bezpośredni wielokrotnyPomiar bezpośredni wielokrotny• Seria powtórzonych pomiarów: x1, x2, ..., xn

• Model pomiaru:x = xw + δlos x = xw – δinstr + δlos

• Metoda szacowania niepewności standardowej:A A + B

(analiza rozproszenia wyników)• Wyrażenia na niepewność standardową:

• Seria powtórzonych pomiarów: x1, x2, ..., xn

• Model pomiaru:x = xw + δlos x = xw – δinstr + δlos

• Metoda szacowania niepewności standardowej:A A + B

(analiza rozproszenia wyników)• Wyrażenia na niepewność standardową:

Pomiar pośredni - metoda analitycznaPomiar pośredni - metoda analityczna

Przygotowanie wzorców do konstrukcji krzywej

kalibracyjnej

Krzywa kalibracyjna

Przygotowanie próbki

Oznaczenie instrumentalne

Zawartość analituw próbce

Pomiar pośredni – przenoszenie niepewności (metoda modelowania)

Pomiar pośredni – przenoszenie niepewności (metoda modelowania)

Identyfikacja źródeł niepewnościIdentyfikacja źródeł niepewności

Określenie wartości zmiennych (x1, ..., xm)Określenie wartości zmiennych (x1, ..., xm)

Ustalenie matematycznego związku między wielkością mierzoną a parametrami (zmiennymi,

składowymi) pośrednimi (Y = f(X1, ..., Xm))

Ustalenie matematycznego związku między wielkością mierzoną a parametrami (zmiennymi,

składowymi) pośrednimi (Y = f(X1, ..., Xm))

Ilościowe określenie niepewności poszczególnych źrodeł (w postaci niepewności standardowych, u(x1), ..., u(xm))Ilościowe określenie niepewności poszczególnych źrodeł (w postaci niepewności standardowych, u(x1), ..., u(xm))

Obliczenie wartości wielkości mierzonej (y = f(x1, ..., xm))Obliczenie wartości wielkości mierzonej (y = f(x1, ..., xm))

Obliczenie złożonej i rozszerzonej niepewności (u(y), U(y)) Obliczenie złożonej i rozszerzonej niepewności (u(y), U(y))

Przedstawienie rezultatu w postaci y ± U(y) Przedstawienie rezultatu w postaci y ± U(y)

Szacowanie niepewności pomiaru

Szacowanie niepewności złożonej(metoda modelowania)

Szacowanie niepewności złożonej(metoda modelowania)

• Równanie modelowe: y = f(x1, x2,…, xm)• Zmienne x1, x2,... niezależne

• Zmienne x1, x2,... zależne

• cj = 1 dla niepewności mających bezpośredni wkład do wartości y

Szacowanie niepewności pomiaru

Szacowanie niepewności złożonej(metoda modelowania)

Szacowanie niepewności złożonej(metoda modelowania)

Suma / różnica Y = P + Q – R + ...

Przypadki szczególne

Iloczyn / iloraz Y = P × Q / R × ...

Szacowanie niepewności pomiaru

Pomiar pośredni – analiza statystyczna wyniku końcowego

Pomiar pośredni – analiza statystyczna wyniku końcowego

Szacowanie niepewności pomiaru

Model pomiaru:y = yw – + e – sumaryczny błąd systematyczny (obciążenie metody)e – sumaryczny błąd losowy (precyzja w warunkach powtarzalności lub odtwarzalności)

Niepewność złożona:풖 풚 = 풖ퟐ ∆ + 풖ퟐ 풆

Model pomiaru:y = yw – + e – sumaryczny błąd systematyczny (obciążenie metody)e – sumaryczny błąd losowy (precyzja w warunkach powtarzalności lub odtwarzalności)

Niepewność złożona:풖 풚 = 풖ퟐ ∆ + 풖ퟐ 풆

Szacowanie niepewności złożonej przez porównanie z jednym wzorcem

Szacowanie niepewności złożonej przez porównanie z jednym wzorcem

Szacowanie niepewności pomiaru

Poprawka systematyczna stała () – schemat obliczeń• Wartość średnia dla wzorca (CRM) (n powtórzeń):

• Poprawka systematyczna (bias metody):∆ = 푦 − 휇

• Poprawny wynik analizy (w powtórzeń):푦 = 푦 − ∆

• Niepewność standardowa poprawki:

푢 ∆ = 푢 푦 + 푢 휇 =푠 (푦 )

푛 + 푢 (휇)

• Niepewność złożona wyniku:

푢 푦 = 푢 푦 + 푢 ∆ =푠 / (푦)

푤 + 푢 (훿 ) + 푢 (훿 ) + 푢 (∆) +∆

Niepewność rozszerzonaNiepewność rozszerzona

U(y) = k × u(y)• Założenie: zmienne xi niezależne o symetrycznych

rozkładach• Niepewność rozszerzona wyrażana jest dla poziomu

prawdopodobieństwa 95%.• Wyznaczanie współczynnika rozszerzenia, k – propagacja

rozkładów: k = 1.96 (≈ 2) (dominujący udział składowej o rozkładzie

normalnym) k = t(P, f) (dominujący udział składowej o mniej niż 10 stopniach

swobody, rozkład t-Studenta) k = 1.65 (dominujący udział składowej o rozkładzie prostokątnym)

U(y) = k × u(y)• Założenie: zmienne xi niezależne o symetrycznych

rozkładach• Niepewność rozszerzona wyrażana jest dla poziomu

prawdopodobieństwa 95%.• Wyznaczanie współczynnika rozszerzenia, k – propagacja

rozkładów: k = 1.96 (≈ 2) (dominujący udział składowej o rozkładzie

normalnym) k = t(P, f) (dominujący udział składowej o mniej niż 10 stopniach

swobody, rozkład t-Studenta) k = 1.65 (dominujący udział składowej o rozkładzie prostokątnym)

Szacowanie niepewności pomiaru

Źródła literaturowe

EURACHEM/CITAC GuideQuantifying Uncertainty in Analytical

Measurement3rd Edition, 2012

EURACHEM/CITAC GuideQuantifying Uncertainty in Analytical

Measurement3rd Edition, 2012

analiza statystyczna onlinewww.e-stat.pl

analiza statystyczna onlinewww.e-stat.pl

Analiza statystyczna w laboratoriumWojciech Hyk, Zbigniew Stojek

PWN, 2016

Analiza statystyczna w laboratoriumWojciech Hyk, Zbigniew Stojek

PWN, 2016