Elementi di probabilità 2static.gest.unipd.it/~livio/PDF/PDF_SIA/Elementi di... · ELEMENTI DI PROBABILITÀ PER L’ANALISI DEL RISCHIO 12 LA DISTRIBUZIONE DI POISSON In molte applicazioni

1ELEMENTI DI PROBABILITÀ PER L’ANALISI DEL RISCHIO

Corso di Laurea inSicurezza igienico-sanitaria degli alimenti

Metodologie statistiche per l’analisi del rischio

ELEMENTI DI PROBABILITÀPER L’ANALISI DEL RISCHIO

Facoltà di Medicina Veterinaria, Università di PadovaDocente: Dott. L. Corain


SOMMARIO

Teoria della probabilità: concetti generaliModelli probabilistici per le variabili discrete:

distribuzione binomiale e binomiale negativadistribuzione di Poisson

Modelli probabilistici per le variabili continue:distribuzione normale (o gaussiana)distribuzione log-normaletrasformazioni dei dati discreti

Procedure di goodness-of-fit:test Chi-quadratotest di Anderson-Darling


TEORIA DELLA PROBABILITÀ: CONCETTI GENERALI

La probabilità può essere definita come un numero che esprime la possibilità, il grado di verosimiglianza con cui un evento è destinato a verificarsi.Si parla così della probabilità di pescare una carta nera da un mazzo di carte, della probabilità che in un vetrino siano presenti 10 colonie di batteri o della probabilità che un processo produttivo non sia inquinato da agenti patogeni.La probabilità è una proporzione o frazione che varia tra i valori 0 e 1, estremi inclusi. Associamo il valore zero a un evento che non ha nessuna possibilità di verificarsi (evento impossibile) e il valore uno a un evento che si verificheràsicuramente (evento certo). Tra due estremi, si collocano eventi più o meno probabili.



In teoria della probabilità, una variabile casuale (o variabile aleatoria – v.a.) può essere pensata come il risultato numerico di un esperimento quando questo non èprevedibile con certezza (ossia non è deterministico).Ad una variabile casuale X si associa la sua distribuzione, o legge di probabilità PX, che assegna ad ogni sottoinsieme dell'insieme dei possibili valori di X (eventi) la probabilità che la variabile casuale X assuma valore in esso. Le variabili ca-suali si dividono principalmente in due grandi classi:

discrete, se l'insieme dei possibili valori (o supporto di X) è finito o numerabile;continue, se l'insieme dei possibili valori è l’insieme dei numeri reali.


TEORIA DELLA PROBABILITÀ: CONCETTI GENERALIPer caratterizzare una variabile casuale X, dobbiamo specificarne la sua distribuzione, o legge di probabilità PX, che può essere, in base al tipo di variabile casuale, di due tipi:

funzione di probabilità: p(x) = P(X=x), se la variabile aleatoria è discreta;funzione di densità di probabilità: f(x), tale per cui P(X ∈ A) = ∫A f(x) dx, se la variabile aleatoria è continua.

Le due funzioni p(x) e f(x) dipenderanno da uno o piùparametri (p, µ, σ, ecc.). Fissati i valori dei parametri, èpossibile calcolare la probabilità di eventi di interesse, ovvero che la variabile X assume dei valori specifici.Si noti che nelle applicazioni reali i parametri sono ovviamente ignoti e non osservabili, ma possono essere stimati attraverso una procedura di inferenziale di stima.



Il valore atteso di una variabile aleatoria discreta è una media ponderata delle modalità (valori) assunte dalla variabile, dove i coefficienti di ponderazione sono rappresentati dalle probabilità associate a ciascuna modalità

La media µ di una distribuzione di probabilità si dice valore medio (o valore atteso) della variabile aleatoria.

Valore atteso di una variabile aleatoria discreta

dove Xi = i-esima modalità della variabile aleatoria XP(Xi) = probabilità associata alla modalità Xi

1( ) ( )

N

i ii

E X X P Xµ=

= =∑



La varianza σ2 di una variabile aleatoria discreta è definita come la media ponderata dei quadrati delle differenze tra ciascuna modalità e il valore atteso della variabile, dove i coefficienti di ponderazione sono rappresentati dalle probabilità associate a ciascuna modalità.

Varianza di una variabile aleatoria discreta

dove Xi = i-esima modalità della variabile aleatoria XP(Xi) = probabilità associata alla modalità Xi

2 2

1[ ( )] ( )

N

i ii

X E X P Xσ=

= −∑

Lo scarto quadratico medio σ di una variabile aleatoria discreta è dato dalla radice quadrata della varianza: σ=√σ2



La media (o valore atteso) µ e la varianza σ2 (e la deviazione standard σ) di una v.a. X sono i parametri di maggiore interesse della distribuzione di probabilità di X, in quanto essi esprimono rispettivamente la tendenza centrale e la variabilità della v.a. X.Nel caso la v.a. X sia continua, per il calcolo di µ e la varianza σ2, l’operatore sommatoria va sostituito con l’integrale:

La probabilità che la v.a. assuma valori minori od uguali ad un valore specificato, viene detta funzione di ripartizione:FX = P (X ≤ x).


Tra i modelli probabilistici discreti più utilizzati vi è la distribuzione binomiale, caratterizzata da 4 proprietà:

Si considera un numero prefissato di n osservazioni.Ciascuna osservazione può essere classificata in due categorie incompatibili ed esaustive, chiamate per convenzione successo e insuccessoLa probabilità di ottenere un successo, p, è costante per ogni osservazione, così come la probabilità che si verifichi un insuccesso, q = (1 – p).Il risultato di un’osservazione, successo o insuccesso, èindipendente dal risultato di qualsiasi altra.

La funzione di probabilità della distribuzione binomiale èdefinita dall’espressione:

LA DISTRIBUZIONE BINOMIALE


LA DISTRIBUZIONE BINOMIALEMedia e varianza della distribuzione binomiale sono rispettivamente µ = np e σ2 = npq = np(1-p). Una distribuzione binomiale può essere simmetrica o asimmetrica in base ai valori assunti dai parametri. Per qualsiasi valore di n, la distribuzione è simmetrica se p=0.5 e asimmetrica per valori di p diversi da 0.5. L’asimmetria diminuisce all’avvicinarsi di p a 0.5 e all’aumentare del numero di osservazioni n.


LA DISTRIBUZIONE BINOMIALE

La distribuzione binomiale è utilizzata come modello quando una specifica caratteristica in un campione può essere riconosciuta (ad esempio la presenza di elementi difettosi in un lotto).La distribuzione binomiale è spesso usata come base per l'elaborazione di schemi di campionamento in accettazione di alimenti e altri materiali.In tali schemi, q è definito come la probabilità che un generico campione non sia difettoso (ad esempio, che non vi siano contaminanti), mentre p è la probabilità che il campione sia difettoso (ad esempio, vi è almeno un elemento contaminante) e dove n rappresenta il numero di totale campioni esaminati.


LA DISTRIBUZIONE DI POISSON

In molte applicazioni si è interessati a contare il numero di volte in cui si osserva la realizzazione di un evento (contaminazione, presenza di un patogeno, ecc.) in una certa area di opportunità. Un’area di opportunità è un intervallo continuo quale un tempo, una lunghezza, una superficie, un volume o in generale un’area nella quale un certo evento può verificarsi più volte.Un esempio può essere quello di un processo di fertilizzazione industriale in cui si vuole inoculare in 1000 bottiglie di liquami di scarti di carne una sospensione di spore con un livello medio di 10 spore / bottiglia. Qual è la probabilità nella bottiglia che siano presenti 0 spore / bottiglia (evento: P(X < 1))?



Per poter utilizzare la distribuzione di Poisson come modello matematico per la conta dei batteri in un campione alimentare, alcune condizioni devono essere soddisfatte:

Il numero di singoli organismi per unità di campionamento (k) deve essere ben al di sotto del numero max possibile che potrebbe verificarsi (k→∝); La probabilità che una determinata posizione in una unità di campionamento sia occupata da un organismo deve essere allo stesso tempo costante e molto piccola; La presenza di un singolo organismo in qualsiasi posizione deve né aumentare né diminuire la probabilitàche un altro organismo nocivo sia vicino; Le dimensioni dei campioni deve essere piccola rispetto a tutta la popolazione.



La funzione di probabilità della distribuzione di Poisson, il suo valore atteso e la sua varianza, sono definite dalle seguenti espressioni:


DISTRIBUZIONE POISSON


Se la seconda e la terza condizione per l'uso della distribuzione di Poisson non sono soddisfatte, la varianza della popolazione di solito è maggiore della media (µ > σ2 ). Questo è particolarmente vero nel campo della microbiologia in cui gli aggregati di cellule si manifestano sia nei campioni naturali che in diluizioni, preparazione di vetrini, ecc. Dei vari modelli matematici disponibili, la distribuzione binomiale negativa è spesso il miglior modello per descrivere la distribuzione delle frequenze ottenute.La distribuzione binomiale negativa, che descrive il numero di fallimenti prima del x-esimo successo, quando n è il numero intero, è definita dall’espressione:

LA DISTRIBUZIONE BINOMIALE NEGATIVA


Un metodo molto semplice per ottenere un valore approssimativo per il k può essere ottenuta riordinando l'equazione per la varianza di una binomiale negativa:

Per ottenere stime più affidabili è opportuno utilizzare il metodo di stima della massima verosimiglianza.Il metodo della massima verosimiglianza è implementato dal software statistico R (non Minitab), tuttavia esiste la possibilità di effettuare i calcoli usando degli applet presenti sul web:http://www.wessa.net/rwasp_fitdistrnegbin.wasp#output

LA DISTRIBUZIONE BINOMIALE NEGATIVA


Una funzione di densità di probabilità continua è un modello che definisce analiticamente come si distribuiscono i valori assunti da una variabile aleatoria continua.Quando si dispone di un’espressione matematica adatta alla rappresentazione di un fenomeno continuo, siamo in grado di calcolare la probabilità che la variabile aleatoria assuma valori compresi in intervalli (gli intervalli sono gli eventi di interesse, per una v.a. continua).Tuttavia, si noti che la probabilità che la variabile aleatoria continua assuma un particolare valore è pari a zero.I modelli continui hanno importanti applicazioni in ingegneria, scienze fisiche e naturale e scienze sociali.

MODELLI PROBABILISTICI PER VARIABILI CONTINUE


Alcuni tipici fenomeni continui sono gli aspetti dimensionali dei campioni/prelievi (volume, peso, ecc.) o il tempo che intercorre fra il verificarsi di due eventi di interesse (ad esempio la contaminazione).La figura rappresenta graficamente tre funzioni di densità di probabilità: normale, uniforme ed esponenziale.

MODELLI PROBABILISTICI PER VARIABILI CONTINUE


La distribuzione normale (o distribuzione Gaussiana) èla distribuzione continua più utilizzata in statistica.La distribuzione normale è importante in statistica per tre motivi fondamentali:

1. Diversi fenomeni continui sembrano seguire, almeno approssimativamente, una distribuzione normale.

2. La distribuzione normale può essere utilizzata per approssimare numerose distribuzioni di probabilitàdiscrete.

3. La distribuzione normale è alla base dell’inferenza statistica classica in virtù del teorema del limite centrale.

DISTRIBUZIONE NORMALE O GAUSSIANA


La distribuzione normale ha alcune importanti caratteristiche:

La distribuzione normale ha una forma campanulare e simmetrica.Le sue misure di posizione centrale (valore atteso, mediana) coincidono.Il suo range interquartile è pari a 1.33 volte lo scarto quadratico medio, cioè copre un intervallo compreso tra µ – 2/3σ e µ + 2/3σ.La variabile aleatoria con distribuzione normale assume valori compresi tra -∞ e + ∞.





Notiamo che, essendo e e π delle costanti matematiche, le probabilità di una distribuzione normale dipendono soltanto dai valori assunti dai due parametri µ e σ. Specificando particolari combinazioni di µ e σ, otteniamo differenti distribuzioni di probabilità normali.



Poiché esiste un numero infinito di combinazioni dei parametri µ e σ, per poter rispondere a quesiti relativi a una qualsiasi distribuzione normale avremmo bisogno di in numero infinito di tavole.Introduciamo ora una formula di trasformazione delle osservazioni, chiamata standardizzazione, che consente appunto di trasformare una generica variabile aleatoria normale in una variabile aleatoria normale standardizzata.

La standardizzazione

Z è la variabile ottenuta sottraendo ad X il suo valore atteso µ e rapportando il risultato allo scarto quadratico medio, σ.

XZ µσ−

=



DISTRIBUZIONE LOG-NORMALE


DISTRIBUZIONE LOG-NORMALE

Figure 4-27 Lognormal probability density functions with θ = 0 for selected values of ω2.


TRASFORMAZIONI DEI DATI DISCRETILa distribuzione normale è raramente un modello adatto per i dati microbiologici, ma è molto importante perchémolti test statistici parametrici sono basati sulla distribuzione normale. Tali test includono l'analisi della varianza (ANOVA) e test per la significatività delle differenze. Per dati microbiologici, devono essere perciò prese in considerazione trasformazioni dette 'normalizzanti'.


PROCEDURE DI GOODNESS-OF-FIT

Una volta assunta una funzione p(x) e f(x) adeguata a rappresentare un problema reale (discreto o continuo), e disponendo di stime plausibili per i suoi parametri, èpossibile calcolare la probabilità di un qualsiasi evento di interesse.Tuttavia, dal momento che la vera legge di probabilità PX di un fenomeno X rappresenta una caratteristica ignota e non osservabile della popolazione (come per altro lo sono i anche i suoi parametri), risulta di interesse valutare la bontàdi adattamento (goodness of fit) di uno specifico modello probabilistico rispetto ad un campione di dati osservati.Più propriamente, un test statistico di goodness of fitconsente di prendere una decisione in merito all’ipotesi che il vero modello della popolazione sia o meno uno pre-specificato modello probabilistico.


Per verifica l’ipotesi nulla secondo cui legge di probabilità PX di un fenomeno X è uguale a P0,

H0: PX = P0contro l’alternativa

H1: PX ≠ P0si può considerare la statistica χ2

La statistica χ2 si ottiene calcolando per ogni cella di una tabella di contingenza la differenza al quadrato fra la frequenza osservata (f0) e quella attesa (fe), divisa per fe, e sommando quindi il risultato ottenuto per ogni cella.

Statistica test χ2 per il confronto tra leggi di probabilità:

( )202

le celle

e

tutte e

f ff

χ−

= ∑

TEST CHI-QUADRATO


TEST CHI-QUADRATO

X Fr_att_Poiss Fr_oss (Att-Oss)^2/Att4 0.5 0 0.56 2.6 6 4.38 8.4 11 0.810 16.4 12 1.212 21.8 18 0.714 20.9 12 3.816 15.1 11 1.118 8.5 11 0.820 3.8 11 13.422 1.4 3 1.824 0.4 0 0.426 0.1 3 73.028 0.0 2 122.9

Chi-Sq.Stat. = 101.728DF = 12

alpha = 0.05Crit. value = 18.74

Fissato α, l’ipotesi nulla dovrà essere rifiutata se il valore osservato della statistica χ2 è maggiore del valore critico χ2

Udi una distribuzione χ2 con (r-1) gradi di libertà.Field No. bacteria Conteggio di No. bacteria

1 19 No. bacteria Totale2 12 4-5 63 7 6-7 114 11 8-9 125 9 10-11 186 9 12-13 127 7 14-15 118 7 16-17 119 9 18-19 11

10 13 20-21 311 18 22-23 312 13 24-26 213 10 Totale complessivo 10014 1215 12 Num. medio di batteri 12.69


TEST CHI-QUADRATO

Chi-Sq. Stat. = 101.728DF = 12


Conteggio dei batteri: frequenze osservate vs distribuzione di Poisson

0

2

4

6

8

10

12

14

16

18

20

22

1 2 3 4 5 6 7 8 9 10 11 12 13

Numero di batteri

Freq

uenz

a

Fr_ossFr_att


TEST CHI-QUADRATO

Conteggio dei batteri: frequenze osservate vs distribuzione binomiale negativa

0

2

4

6

8

10

12

14

16

18

20

22

1 2 3 4 5 6 7 8 9 10 11 12 13

Numero di batteri

Freq

uenz

a

Fr_ossFr_att

Chi-Sq. Stat. = 14.5DF = 12



TEST DI ANDERSON-DARLINGLa statistica di Anderson-Darling (A2) misura l'area il modello previsto (in base alla distribuzione scelta) e la funzione di ripartizione empirica. Più precisamente, la statistica Anderson-Darling è una distanza al quadrato che avrà un peso maggiore nelle code della distribuzione.Valori bassi della statistica Anderson-Darling indicano che la distribuzione ipotizzata si adatta bene i dati.La statistica A2 può essere applicata sia a modelli discreti sia continui, ma tradizionalmente viene applicata a variabili continue.La statistica test Anderson-Darling A2 è definita comeA2 = - n – S, doveS=∑n

i=1((2*i - 1)/n)*[ln(F(Y(i)) + ln(1 - F(Y(N+1-i))]F è la funzione di distribuzione cumulativa della distribuzione specificata


TEST DI ANDERSON-DARLING

3000000225000015000007500000

Median

Mean

900000800000700000600000500000400000300000

Anderson-Darling Normality Test

Variance 5.17897E+11Skewness 1.99001Kurtosis 4.14066N 80

Minimum 26303

A-Squared

1st Quartile 270721Median 5191103rd Quartile 971676Maximum 3467369

95% Confidence Interval for Mean

571312

5.08

891612

95% Confidence Interval for Median

369663 640945

95% Confidence Interval for StDev

622824 852407

P-Value < 0.005

Mean 731462StDev 719651

95% Confidence Intervals

Summary for Counts

CountsPe

rcen

t40000003000000200000010000000-1000000-2000000

99.9

99

9590

80706050403020

10

5

1

0.1

Mean

<0.005

731462StDev 719651N 80AD 5.081P-Value

Probability Plot of CountsNormal - 95% CI

Counts

Perc

ent

10000000100000010000010000

99.9

99

9590

80706050403020

10

5

1

0.1

Loc

0.183

13.05Scale 1.037N 80AD 0.518P-Value

Probability Plot of CountsLognormal - 95% CI


TEST DI ANDERSON-DARLING

1.081.061.041.021.000.980.96

Median

Mean

0.9900.9850.9800.9750.970

Anderson-Darling Normality Test

Variance 0.00082Skewness 1.61433Kurtosis 3.20499N 50

Minimum 0.94500

A-Squared

1st Quartile 0.96275Median 0.977003rd Quartile 0.99425Maximum 1.08500

95% Confidence Interval for Mean

0.97487

1.77

0.99117

95% Confidence Interval for Median

0.96867 0.98500

95% Confidence Interval for StDev

0 02396 0 03574

P-Value < 0.005

Mean 0.98302StDev 0.02868

95% Confidence Intervals

Summary for Peso

Peso

Perc

ent

1.101.051.000.950.90

99

95

90

80

70

60504030

20

10

5

1

Mean

<0.005

0.9830StDev 0.02868N 50AD 1.768P-Value

Probability Plot of PesoNormal - 95% CI

Peso

Perc

ent

1.101.051.000.950.90

99

95

90

80

70

60504030

20

10

5

1

Loc

<0.005

-0.01753Scale 0.02857N 50AD 1.592P-Value

Probability Plot of PesoLognormal - 95% CI

Documents

Elementi di probabilità 2static.gest.unipd.it/~livio/PDF/PDF_SIA/Elementi di... · ELEMENTI DI PROBABILITÀ PER L’ANALISI DEL RISCHIO 12 LA DISTRIBUZIONE DI POISSON In molte applicazioni