19 de Fevereiro de 2017

Atividade 01 Análise de Sistemas e Modelagem Ambiental

Santo André 2017

Prof.ª Andrea Oliveira Cardoso

Período Noturno

Marco Amaral

Mayara Arrais

Atividade 01

Considerando as previsão climáticas de precipitação para os prazos de 1 a 7 meses, do modelo

de circulação geral da atmosfera chamado COLA ( rodado pelo IRI - International Research

Institute for Climate and Society), avalie o desempenho deste modelo para: Previsões de

precipitação para um ponto próximo à cidade de São Paulo (Lat=23,31S; Lon=46,38W), no

período de 1/2006 a 12/2016, a partir de diferentes prazos mensais (antecedência da

previsão). Para tanto, calcule os seguintes parâmetros:

a. Raiz do Erro Quadrático Médio

Fazendo uso da Equação (1) abaixo, obteve-se os seguintes resultados, descritos na

Tabela 01:

𝑅𝐸𝑄𝑀 = √1

𝑛∑(𝐹 − 𝑂)² (1)

Tabela 01 – Valores da Raiz do Erro Quadrático Médio para cada um dos Prazos de

Previsão

Prev_Prazo REQM

1 4,71

2 4,71

3 4,99

4 5,03

5 5,01

6 4,90

7 5,09

A REQM é uma medida de precisão, pois como eleva ao quadrado a diferença entre

os valores previstos e observados, é mais sensível a erros. O valor zero indica uma

previsão perfeita e este valor aumenta conforme aumenta a diferença entre valores

de previsão e observação. Dessa forma, é possível perceber que para o prazo de 1 e

2 meses obteve-se as menores diferenças entre a previsão e a observação. Em

contraponto, a previsão para o prazo de 7 meses foi o que teve a maior diferença

entre o observado e o previsto, o que já era de se esperar, pois quanto mais longe é

a previsão, menor a chance de acerto.

b. Erro Absoluto

O Erro Absoluto, calculado através da equação (2) abaixo, propiciou os dados

resumidos na Tabela 02:

𝐸𝐴 =1

𝑛∑ |𝐹 − 𝑂| (2)

Tabela 02 – Valores do Erro Absoluto para cada um dos Prazos de Previsão

Prev_Prazo EA

1 3,72

2 3,66

3 3,91

4 3,99

5 4,00

6 3,86

7 4,01

O erro absoluto quantifica a amplitude do erro do modelo, através da média dos

módulos das diferenças dos erros. Assim como no caso do REQM, as previsões com

prazo de 1 e 2 meses obtiveram os menores erros, ao passo que a previsão com

prazo de 5 meses possui o maior erro.

c. Erro Bias ou VIES

O Erro Bias ou Vies foi calculado a partir da equaçao (3) abaixo, produzindo a Tabela

03:

𝑉𝐼𝐸𝑆 =1

𝑛∑(𝐹 − 𝑂) (3)

Tabela 03 – Valores do Erro Vies para cada um dos Prazos de Previsão

Prev_Prazo VIES

1 2,98 2 3,06 3 3,28 4 3,38 5 3,48 6 3,35 7 3,43

O cálculo do Vies ajuda a avaliar se o modelo superestima (Vies positivo) ou

subestima (Vies negativo) os valores observados. A remoção do vies é um método

de correção estatística que ao ser aplicado nas previsões pode aumentar sua

acurácia reduzindo erros.

Analisando os dados, verifica-se que os todos os resultados obtidos são positivos,

isto é, o modelo superestima os valores observados. Além disso, as previsões para o

prazo de 1 e 2 meses são os que mais se aproximam de zero, isto é, são os que

tiveram melhor desempenho do modelo.

d. Correlação simples entre os conjuntos simulados e observados

Fazendo uso da Função CORREL no Excel ®, foi possível obter a correlação entre

os dois conjuntos de dados: os simulados e os observados. Quanto mais próximo

de 1, maior o desempenho do modelo. Abaixo, a Tabela 04 demonstra os valores

de correlação obtidos para cada prazo de previsão:

Tabela 04 – Valores de Correlação para cada um dos Prazos de Previsão

Prev_Prazo CORREL

1 0,71

2 0,71

3 0,69

4 0,69

5 0,72

6 0,71 7 0,71

Dessa forma, é possível verificar que o modelo apresenta um bom desempenho para

todos os prazos apresentados, estando relativamente próximo de 1.

e. Hit Rate (H), False Alarm rate (F) e Acurácia (A), para a ocorrência de um evento de

precipitação menor do que 5 mm/dia

Tabela 05 – Tabela de Contigência

Observado

Sim Não Total

Simulado Sim Acertos Alarmes Falsos Previsto Sim

Não Falhas Negativo Correto Previsto Não

Total Obs. Sim Obs. Não

A partir da Tabela 05 e da condição dada do enunciado do exercício, foi possivel

levantar o número de acertos, falhas, alarmes falsos e negativos corretos para cada

prazo de previsão:

Tabela 06 – Número de Acertos, Falhas, Alarmes Falsos e Ngativos Corretos para cada um

dos Prazos de Previsão

Prev_Prazo Acertos Falhas Alarmes Falsos

Negativos Corretos

1 48 30 4 50 2 51 27 5 49 3 53 25 5 49 4 49 29 5 49 5 51 27 5 49 6 48 30 6 48 7 51 27 5 49

A Tabela 06 resultou no Gráfico 01 abaixo, que demonstra visualmente o número de

acertos, falhas, alarmes falsos e negativos corretos para cada prazo de previsão:

Gráfico 01 - Comparação entre Previsto e Observado para cada um dos Prazos de Previsão

É possível perceber, que o prazo de previsão de 3 meses é o que teve o maior número

de acertos e o menor número de falhas, ao contrário dos prazo de 1 e 6 meses, que

apresentam os maiores números de falhas e os menores números de acertos. Além

disso, para o prazo de 6 meses, há o maior número de alarmes falsos e o menor

número de negativos corretos.

0

10

20

30

40

50

60

1 2 3 4 5 6 7

Comparação entre Previsto e Observado para cada um dos Prazos de Previsão

Acertos Falhas Alarmes Falsos Negativos Corretos

Ainda com base nas informações da Tabela de Contigencia, calculou-se o número de

“Observados Sim” e “Observados Não”; e também os “Previstos Sim” e “Previstos

Não”, confrome Tabela 07 abaixo:

Tabela 07 – Observados e Previstos para cada um dos Prazos de Previsão

Prev_Prazo Obs. Sim Obs. Não Prev. Sim Prev. Não

1 78 54 52 80 2 78 54 56 76 3 78 54 58 74 4 78 54 54 78 5 78 54 56 76 6 78 54 54 78 7 78 54 56 76

Gráfico 02 – Previstos e Observados para cada um dos Prazos de Previsão

Observa-se que para todos os prazos de previsão, obtiveram-se os mesmo número

de observados sim e não. No caso da previsão, o prazo de previsão de 1 mês foi o

que teve o menor número de previsões sim e o maior número de previsões não.

Por fim, com base nessas inormações, calculou-se os parâmetros para avaliação pro

tipos de eventos, tais como o Hit Hate, Alarm False Hate e Acurácia, onde:

Taxa de acertos ou Hit Rate (H), quantifica os acertos. Se a categoria

observada é igual a modelada a simulação está correta (hit):

𝐻 =𝐴𝑐𝑒𝑟𝑡𝑜𝑠

𝑂𝑏𝑠. 𝑆𝑖𝑚

0

10

20

30

40

50

60

70

80

90

1 2 3 4 5 6 7

Previstos e Observados para cada um dos Prazos de Previsão

Obs. Sim Obs. Não Prev. Sim Prev. Não

Taxa de alarme falso ou False Alarm Rate (F), quantifica os alarmes falsos do

modelo.

𝐹 =𝐴𝑙𝑎𝑟𝑚𝑒𝑠 𝐹𝑎𝑙𝑠𝑜𝑠

𝑂𝑏𝑠. 𝑁ã𝑜

Acurácia (A), quantifica as estimativas corretas do modelo para o conjunto

de simulação:

𝐴 =𝐴𝑐𝑒𝑟𝑡𝑜𝑠 + 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑠 𝐶𝑜𝑟𝑟𝑒𝑡𝑜𝑠

𝑇𝑜𝑡𝑎𝑙

Os dados encontram-se resumidos na Tabela 08 abaixo:

Tabela 08 – Observados e Previstos para cada um dos Prazos de Previsão

Prev_Prazo Hit Hate False Alarm Hate

Acurácia

1 0,62 0,07 0,74 2 0,65 0,09 0,76 3 0,68 0,09 0,77 4 0,63 0,09 0,74 5 0,65 0,09 0,76 6 0,62 0,11 0,73 7 0,65 0,09 0,76

Para o modelo ser um bom simulador, com alta probabilidade de detecção, o Hit

Hate deve estar próximo de 1. Sendo assim, a previsão com o prazo de 3 meses é a

que mais se aproxima desse valor.

Quanto ao False Alarm Hate, o modelo tem alta probabilidade de falsa detecção

quando aproxima-se a 1. Em geral, o modelo apresenta baixa probabilidade de falsa

detecção, sendo o prazo de previsão de 1 mês o que apresenta menor probabilidade.

Indo em direção ao resultado da análise do Hit Hate, o prazo de previsão de 3 meses

é o que apresenta maior acurácia. Sendo assim, esse prazo de previsão é o que

apresenta maior proximidade entre o valor observado e o valor obtido através do

modelo.

Produza tabelas, gráficos e uma interpretação dos resultados, comparando os parâmetros de

avaliação para cada prazo de previsão, discutindo como varia o desempenho do modelo e

indicando os prazos mais confiáveis.