1

Verificação de previsões probabilísticas com o “Brier Score” e diagrama de confiabilidae

Caio A. S. CoelhoCentro de Previsão de Tempo e Estudos Climáticos (CPTEC)

Instituto Nacional de Pesquisas Espaciais (INPE)caio@cptec.inpe.br

INMET-IRI “Climate information course”, Brasília, 19 – 23 Novembro 2007

Estrutura da apresentação1. Introdução2. Propriedades e atributos3. Brier score e sua decomposição4. Diagrama de confiabilidade5. Exemplos6. Resumo

2

Introdução

• O futuro é incerto

• Previsões podem ajudar a reduzir possíveis incertezas sobre o futuro

• Verificação de previsões: avaliação da qualidade das previsões produzidas por um sistema de previsões, inferida por pares de amostras de previsões e observações passadas.

– Essencial para o julgamento da qualidade das previsões produzidas por sistemas de previsão de tempo e clima

– Área de pesquisa ativa desde ~1884

– Assunto inter-disciplinar

3

O que é uma boa previsão?

Boa previsão tem:• QUALIDADE• VALOR/UTILIDAE• CONSISTÊNCIA

A. H. Murphy 1993 “What is a good forecast ? An essay on the nature of goodness in weather forecasting”Weather and Forecasting, 8, 281-293.

Atributos de Qualidade:

Confiabilidade Resolução Acurácia… Necessidade de várias

métricas para resumir o desempenho de um conjunto de previsões

4

1. Introduction (I Jolliffe and D Stephenson).

2. Basic Concepts (J Potts).

3. Binary Events (I Mason).

4. Categorical Events (R. Livezey).

5. Continuous Variables (M. Déqué).

6. Verification of Spatial Fields (W. Drosdowsky and H. Zhang).

7. Probability and Ensemble Forecasts (Z. Toth, O. Talagrand, G. Candille, Y. Zhu).

8. Economic Value and Skill (D. Richardson).

9. Forecast Verification: Past, Present and Future (D. Stephenson and I. Jolliffe).

Glossary (D. Stephenson)References. Author Index. Subject Index.

Ian Jolliffe and David Stephenson (Editors)Wiley. ISBN: 0-471-49759-2 254 Pages April 2003

http://www.secam.ex.ac.uk/index.php?nav=693

5

Tipos de previsão

Pares de dados:(F=valor previsto, O=valor observado)

Tipos de valor observado O:• Discreto (ex. binário úmido/seco, > 2 categorias) 0/1, 0/0/1,0/1/0,

1/0/0• Contínuo (ex. temperatura) 25oC• Complexo (ex. campo espacial)

Tipos de valor previsto F:• Previsão determinística (ponto): F é um único valor de O • Previsão probabilística:

– F é um conj. de probabilidades para os valores discretos de O– F é um intervalo probabilístico para os valores de O

(previsão por intervalo)– F é a de distribuição de probabilidade de O

6

Exemplos de previsões probabilísticas

T=25oC

F é um conj. de probabilidades para os valores discretos de O

F: 0.4, 0.3, 0.5, 0.1, 0.6, 0.2O: 1 , 1 , 0 , 1 , 0 , 0

T=15oC T=30oC

F é um intervalo probabilístico para os valores de O (previsão por intervalo) F: 0.7, 0.6, 0.5, 0.8, 0.7, 0.5O: 0 , 1 , 0 , 1 , 1 , 0

F é a de distribuição de prob. de O

7

Índices probabilísticosImaginem os seguinte conjuntos de observações e previsões probabilísticas para a série k=1,2,…,n=6 de eventos binários:

k 1 2 3 4 5 6

o 0 1 1 0 0 0

p 0.7 0.6 0.2 0.8 0.9 0.3

O desempenho da previsão pode ser medido usando índices de destreza (scores) tais como:

Nota: valores pequenos indicam previsões de boa qualidade! Para a previsão perfeita p=o e o índice tem valor zero.

n

kkk scoreBrierop

nBS

1

2)(1

n

kkk scoreAbsoluteMeanop

nA

1

||1

n

kkkkk scorecLogarithmipopo

nC

1

)log)1log()1((1

8

Previsões de tornado: John Finley (1884)Fotografia mais antiga de um tornado28 Agosto 1884sudoeste de Howard (22 milhas), S. Dakota

2803275251

2703268023F=N

1007228F=S

O=NO=S

Porcentagem deacerto=96.6%!!

Gilbert (1884)F=0 98.2%!!

História da NOAA: Coleção do NWS http://www.photolib.noaa.gov/htmls/wea00206.htm

9

Skill Scores

Os índices de destreza (scores) são geralmente apresentados na forma de skill scores aplicando-se a transformação linear:

onde Sref é o valor do índice de uma previsão de referência tal como:

• Previsão de probabilidade constante (ex. usar sempre a frequência climatológica)

• Previsão de probabilidade aleatóriaNota: as previsões de referência acima podem ser entendidas como amostras de uma distribuição de probabilidade (probabilidade constante é um caso especial de distribuição com espessura (dispersão) tendendo a zero)

” Skill scores” tem fácil interpretação:0 baixo desempenho (“no skill”)1 previsão perfeita

1ref

SSS

S

10

Decomposição do Brier Score

1BS0)op(n

1BS

n

1k

2kk

)o1(o)oo(Nn

1)op(N

n

1BS

l

1i

2ii

l

1i

2iii

iNk

ki

i1i oN

1)p|o(po

n

1kko

n

1o

incertezaconfiabilidade resolução

O Brier score pode ser melhorado (reduzido):• prevendo evento com pequena var(o)=o(1-o) (menor incerteza)• aumentando a resolução (ex. combinando previsões)• melhorando a confiabilidade (ex. calibrando previsões)Nota: Costuma-se decompor o Brier score em confiabilidade e resolução para examinar qual componente pode ser melhorada

11

Diagrama de confiabilidade

(pi)

(oi

)

o

12

Exemplo de construção: diagrama de confiabilidade

700 (10%) 0 ( 0%) 7000 0%

800 (15%) 550 ( 10%) 5500 10%

…. …. …. ….

…. …. …. ….

…. …. …. ….

3000 (66%) 3600 ( 80%) 4500 80%

4000 (80%) 4500 ( 90%) 5000 90%

7200 (90%) 8000 (100%) 8000100%

“prev. real”

OBS-Freq( oi )

“prev. perfeita”

OBS-Freq.( oi )

# Prev. Ni

Prev. Prob.(pi)

0

0

0

Amostra de previsões probabilísticas: 22 anos x 3000 pontos de grade = 66000 previsões

Quantas vezes o evento (Tano>0) foi previsto com probabilidade pi?

13

700 (10%) 0 ( 0%) 7000 0%

800 (15%) 550 ( 10%) 5500 10%

…. …. …. ….

…. …. …. ….

…. …. …. ….

3000 (66%) 3600 ( 80%) 4500 80%

4000 (80%) 4500 ( 90%) 5000 90%

7200 (90%) 8000 (100%) 8000100%

“prev. real”

OBS-Freq( oi )

“prev. perfeita”

OBS-Freq.( oi )

# Prev. Ni

Prev. Prob.(pi)

FC-Prob.(pi)

OB

S-F

req

.(oi)

00 100

100

••

•

••

Exemplo de construção: diagrama de confiabilidade Amostra de previsões probabilísticas:

22 anos x 3000 pontos de grade = 66000 previsões

Quantas vezes o evento (Tano>0) foi previsto com probabilidade pi?

14

Diagrama de confiabilidade

Previsões “over-confident” Previsões perfeitas

15

Previsões “under-confident”

Diagrama de confiabilidade

Previsões perfeitas

16

Exemplos

• Temperatura: região tropical• TSM Pacífico equatorial• Precipitação: América do Sul

• Conclusions

17

Exemplo 1: Diagr. de confiabilidade: T>0 DEMETER: 7 modelos acoplados

Produzida Maio, Válida Junho (defasagem 1 mês), 1980 - 2001

18

Exemplo 2: TSM Pacífico Equatorial

310.17Integrada

240.19Conjunto

00.25Climatol p=0.5

BSS

(%)

Brier Score (BS)

Previsão

)0YPr(p tt

Anomalias TSM: Y (°C)Previsões de probabilidade: p

DEMETER: 7 modelos acoplados; defasagem de 6 meses

BSS = [1- BS/BS(clim.)]*100%

Y 0Y Conjunto IntegradaObsObs

19

Brier Score em função da longitude

Assimilação de previsões reduziu (melhorou) o Brier score no Pacífico equatorial leste e oeste

1BS0)op(n

1BS

n

1k

2kk

CON - - - INT

20

Assimilação de previsões melhorou

confiabilidade no Pacífico oeste

resolução no Pacífico leste

Confiabilidade e resolução em função da long.

21

Diagrama de confiabilidade (conjunto)

(pi)

(oi

)

o

22

o

(pi)

(oi)

Diagrama de confiabilidade (INT)

23

Exemplo 3: Brier Skill Score precipitação sobre América do Sul

Assimilação de previsões melhorou o Brier Skill Score (BSS) nos trópicos

limcBS

BS1BSS

)0YPr(p tt

CON INT

DEMETER: 3 modelos acoplados

CON (ECMWF, CNRM, UKMO)

Defasagem (1 mês)

Início: Nov DJF

Previsões retrospectivas: 1959-2001

)0YPr(p tt

24limc

resolresol

limc

confconf

incertresolconf

limc

incert

limc

resol

limc

conf

incertresolconf

limc

BS

BSBSS

BSS

BSBSS

BSSBSSBSS1BSS

BS

BS

BS

BS

BS

BS1BSS

BSBSBSBS

BS

BS1BSS

25

Componente de confiabilidade do BSS

Assimilação de previsões melhorou a confiabilidade em várias regiões

limc

confconf BS

BSBSS

CON INT

26

Componente de resolução do BSS

Assimilação de previsões melhorou a resolução nos trópicos

limc

resolresol BS

BSBSS

CON INT

27

EMP CON INT

Mapas de correlação de anomalias de precip.

Comparável nível determinísticos de desempenhoMelhor qualidade nos trópicos e sudeste da América do Sul

28

Brier Skill Score para precipitação

limcBS

BS1BSS )0YPr(p tt

EMP ENS INTCON

Assimilação de previsões melhorou o Brier Skill Score (BSS) nos trópicos

29

Componente de confiabilidade do BSS

limc

confconf BS

BSBSS

Assimilação de previsões melhorou a confiabilidade em várias regiões

EMP CON INT

30

Componente de resolução do BSS

limc

resolresol BS

BSBSS

Assimilação de previsões melhorou a resolução nos trópicos

EMP CON INT

31

Downscaling de anomalias de precip.

Conjunto de modelos (CON)

3 modelos acoplados (DEMETER)

ECMWF, CNRM, UKMO

Defasagem (1 mês)

Início: Nov DJF

Previsões retrospectivas 1959-2001

32

0.170.74INT

0.220.57CON

Brier Score CorrelaçãoPrevisão

Caixa sul: anomalias de precipitação DJFCON

INT

Assimilação de previsões melhorou substancialmente o desempenho

- - - Observação Previsão

33

Caixa norte: anomalias de precipitação DJF

0.180.63INT

0.210.62CON

Brier Score CorrelaçãoPrevisão

Assimilação de previsões melhorou marginalmente o desempenho

CON

INT

- - - Observação Previsão

34

Resumo1. Verificação da qualidade das previsões é uma componente

básica do processo de previsão

1. Informações sobre a qualidade e incerteza nas previsões são tão importantes quanto as previsões

2. Brier score e sua decomposição permite avaliar diferentes atributos de previsões probabilísticas de eventos binários

1. Brier score pode ser interpretado graficamente com auxílio do diagrama de confiabilidade

1. Confiabilidade das previsões pode ser melhorada através de calibração

1. Resolução das previsões pode ser melhorada através de combinação