Capítulo 2 Modelos de Regressão - MI Domenech - Melhoria e … · 2016-10-19 · Regressão Múltipla no Minitab O Minitab 17 tem o menu de regressão stepwise no mesmo menu de

Capítulo 2 – Modelos de regressão 39

M. I. Domenech. Rua Lord Cockrane, 616 sala: 609/610 – Ipiranga – São Paulo – SP – 04213-001 – Brasil Pabx: (11) 3459-5101 — www.midomenech.com.br e-mail: [email protected]

Capítulo 2

Modelos de Regressão Objetivos do Capítulo

Todos os modelos são errados, mas alguns são úteis George E. P. Box

Algumas vezes ficamos assustados quando vemos engenheiros que foram introduzidos

recentemente aos métodos estatísticos, colocando os métodos estatísticos e a engenharia em compartimentos diferentes da sua mente e sentindo que quando usam estatística, não

precisam ser engenheiros. É claro que isto não é verdade… Os métodos estatísticos usados com um conhecimento de

engenharia é uma combinação poderosa; por outro lado, um conhecimento pobre de engenharia combinado com o uso automático e sem imaginação dos métodos estatísticos

entendidos da forma errada pode ser desastroso. Box and Draper

Etapa Passo Descrição Questão a ser respondida

12 Pesquisa avançada de causas raízes – Sintonia fina Quais fatores afetam o desempenho?

13 Encontrar as soluções e pilotar Quais são as melhores soluções para o problema? Qual é o resultado dos pilotos?

Melhorar

14 Planejar a implementação Como deve ser o plano de implementação?

Neste capítulo apresenta-se um dos métodos estatísticos mais amplamente usados para modelar dados de processos com variáveis y contínuas, análise de regressão múltipla. Os assuntos abordados são:

• Introdução à regressão linear múltipla • Métodos para selecionar variáveis de previsão que estarão na equação final:

apresentam-se os métodos “Stepwise” e “Best subset” (melhor subconjunto) e algumas medidas importantes para avaliar a qualidade do modelo, como R2 ajustado, estatística PRESS, R2 previsão e Cp de Mallows

• Medidas de diagnóstico e remédios

40


2.1 O conceito de Regressão Múltipla A pesar de haver muitos problemas envolvendo uma única variável x, muito freqüentemente há mais de uma variável independente. Uma generalização da técnica de mínimos quadrados, previamente discutida, pode ser usada para estimar os coeficiente da equação de predição multivariada. Este problema é chamado regressão linear múltipla. Para um problema com k variáveis independentes, o modelo pode ser escrito como:

y = β0 + β1 x1 + ... + βk xk + resíduo onde os βs são parâmetros desconhecidos. As variáveis xs podem ser uma transformação dos dados originais. Por exemplo o modelo polinomial:

y = β0 + β1 x + β2 x2 + resíduo pode ser escrito como

y = β0 + β1 x1 + β2 x2 + resíduo onde x2 = x ao quadrado. Significado dos coeficientes de regressão Onde há duas variáveis de previsão x1 e x2, o modelo de regressão:

yi = β0 + β1xi1 + β2xi2 + εi é chamado “modelo de primeira ordem com duas variáveis de previsão”. Um modelo de primeira ordem é linear nas variáveis de previsão. Neste modelo, yi denota, como é usual, a resposta no ensaio i-ésimo, e xi1 e xi2 são os valores das duas variáveis de previsão no ensaio i-ésimo. Os parâmetros do modelo são β0, β1, e β2, e o erro é εi. De forma análoga à regressão linear simples, onde a função de regressão y = β0 + β1x é uma reta, a função de regressão acima é um plano. A Figura 2.1 contém uma representação de uma porção da superfície de resposta:

^y = 10 + 2x1 + 5x2

x1

x2

y

x2 = 2

= 10 + 2x1 + 5(2) = 20 + 2x1= 10 + 2x1i + 5x2i

i

^

y^y

ei

yi

(x1i, x2i)

Figura 2.1 – Exemplo de uma função plana de superfície de resposta



A Figura 2.1 mostra uma observação yi correspondente aos níveis (xi1, xi2) das duas variáveis de previsão. Note que a linha vertical na Figura 2.1 entre yi e o plano resposta representa o erro εi. Freqüentemente a função de regressão na regressão múltipla é chamada de superfície de resposta. Na Figura 2.1, a superfície de resposta é um plano, mas em outros casos a superfície de resposta pode ser de natureza mais complexa. Consideremos agora o significado dos coeficientes de regressão na função de regressão múltipla. O parâmetro β0 = 10 é o intercepto de y do plano de regressão em x1 = 0, x2 = 0. Fora isso, β0 não tem nenhum significado particular como um termo separado no modelo de regressão.

O parâmetro β1 indica a mudança na média da resposta ^y por cada aumento de x1

em uma unidade enquanto x2 é mantida constante. Da mesma forma, β2 indica a mudança na média da resposta por cada aumento de x2 em uma unidade enquanto x1 é mantida constante. Para ver isto, suponha que x2 é mantida no nível x2 = 2. A função de regressão agora é:

^y = 10 + 2x1 + 5(2) = 20 + 2x1, para x2 = 2

Note que esta função resposta é uma reta com inclinação β1 = 2. O mesmo é verdadeiro para qualquer outro valor de x2; somente o intercepto da função resposta

irá mudar. Então, β1 = 2 indica que a resposta media ^y aumenta em 2 unidades

quando x1 aumenta uma unidade e x2 é constante, não importa qual seja o nível de

x2. Confirmamos então que β1 indica a mudança em ^y com um aumento de uma

unidade em x1 quando x2 é mantido constante. De forma similar, β2 = 5 na função de

regressão indica que a resposta média ^y aumenta 5 com um aumento de uma

unidade em x2 quando x1 é mantida constante. Quando o efeito de x1 na resposta média não depende do nível de x2, e de modo correspondente o efeito de x2 não depende do nível de x1, se diz que as duas variáveis de previsão têm efeitos aditivos ou não interagem. Deste modo, o modelo de regressão de primeira ordem é desenhado para variáveis de previsão cujos efeitos na resposta média são aditivos ou não interagem. Os parâmetros β1 e β2 são às vezes chamados coeficientes de regressão parcial porque eles refletem o efeito parcial de uma variável de previsão quando a outra variável de previsão está incluída no modelo e é mantida constante. Terminologia básica: R 2, R2 ajustado, R 2 previsão Há dois tipos de estatísticas para estudar a bondade de um modelo: • Estatísticas da bondade do ajuste: R2 e R2 ajustado. • Estatísticas da bondade da previsão: R2 previsão.

42


Coeficiente de determinação múltipla, R 2 O coeficiente de determinação múltipla, denotado por R2, é definido da seguinte forma:

R2 = 1 - SumSquareTotal

errorofSumSquare = 1 -

SSTOSSE

Ele mede a redução da variação total em y associada como o uso do conjunto de variáveis x x1, …, xp-1. O valor de R2 varia:

0 ≤ R2 ≤ 1 A Figura 2.2 ilustra três situações para R2. Em todos os casos, a distância (yi - y ) em relação à soma de quadrado total é dividida em dois componentes: o erro ou SSE

calculado como (yi - i

^y ) e a regressão ou SSR calculada pela diferença ( i

^y - y ). Os

casos da Figura 2.2 ilustram: • Caso a) é uma situação com R2 pequeno • Caso b) é uma situação com R2 nulo onde a melhor previsão é igual à média • Caso c) é uma situação com relação perfeita ou R2 = 1.

a)

xxi

yi

y

y

i

^

y)y(y i

^

i −

)yy( i

^

−

= SSE

= SSR)y(y i − = SSTO

(baixo)0.6SSTOSSE

1R2 ≅−=

xxi

yi

y

y

i

^

y)y(y i

^

i −

)yy( i

^

−

= SSE

= SSR)y(y i − = SSTO

(baixo)0.6SSTOSSE

1R2 ≅−=

b)

xxi

yi

y

yy i

^

=SSTO)y(ySSE)y(y ii

^

i =−==−

0)yy( i

^

=−

(nula)0.0SSTOSSE

1R2 ≅−=

xxi

yi

y

yy i

^

=SSTO)y(ySSE)y(y ii

^

i =−==−

0)yy( i

^

=−

(nula)0.0SSTOSSE

1R2 ≅−=

c)

xxi

y

i

^

i yy =SSTO)y(ySSR)yy( ii

^

=−==−

SSE0)y(y i

^

i ==−

(perfeito)1SSTOSSE

1R2 =−=

y

xxi

y

i

^

i yy =SSTO)y(ySSR)yy( ii

^

=−==−

SSE0)y(y i

^

i ==−

(perfeito)1SSTOSSE

1R2 =−=

y

Figura 2.2 – Ilustração de R2 pequeno, nulo e perfeito



Um valor grande de R2 não implica necessariamente que o modelo ajustado é útil. Por exemplo, as observações podem ter sido coletadas somente em poucos níveis da variável de previsão. Coeficiente ajustado de determinação múltipla, R 2 ajustado Adicionar mais variáveis x ao modelo de regressão só pode aumentar R2 e nunca reduzi-lo, porque SSE nunca pode se tornar maior com mais variáveis “x” e SSTO é sempre igual para um dado conjunto de respostas. Já que R2 geralmente pode ser feito maior incluindo um maior número de variáveis de previsão, às vezes sugere-se que seja usada uma medida modificada que ajuste o número de variáveis “x” no modelo. O coeficiente de determinação múltipla ajustado, denotado por R2 ajustado, corrige R2 dividindo cada soma de quadrados pelos seus graus de liberdade associados:

R2 ajd. = 1 -

1-nSSTO

p-nSSE

= 1 - SSTOSSE

pn1n

−−

Este coeficiente de determinação múltipla ajustado pode diminuir quando variáveis “xs” adicionais são introduzidas no modelo. Se R2 e R2 ajustado são muito diferentes, isto pode ser um indicativo de que há variáveis “xs” não significativas no modelo. R2 previsão Indica quão bem o modelo prediz as respostas para novas observações, enquanto que R2 indica quão bem o modelo ajusta os dados. A fórmula para R2 previsão é:

R2 previsão = 1 - SSTO

PRESS

onde PRESS = soma de quadrados de previsão e SSTO = soma de quadrados total. O R2 previsão pode prevenir o sobre ajuste do modelo, ou seja, um modelo muito próximo dos dados no conjunto atual de dados, de modo que não é útil para predizer novos dados. R2 previsão pode ser mais útil que o R2 ajustado para comparar modelos porque é calculado com observações que não estão incluídas no cálculo do modelo. R2 previsão varia entre 0 e 1; valores mais elevados de R2 previsão sugerem modelos com maior habilidade de previsão.

44


.

.

.

.

.

.

.

.



Regressão Múltipla no Minitab O Minitab 17 tem o menu de regressão stepwise no mesmo menu de regressão múltipla (Stat\Regressão\Regressão). Além disso, inclui outras ferramentas interessantes de otimização que antes estavam disponíveis somente na plataforma DOE (Design Of Experiments). Os passos para explorar os modelos de regressão simples ou múltipla estão na Figura 2.3.

1) Avaliar outliers (valores extremos) • Gráfico\Diagrama de Dispersão ou• Gráfico\Matriz de Dispersão

3) Ajustar o modelo de regressão• Escolher o modelo mais apropriado

• RS ⇒ Stat\Regressão\Gráfico de linha ajustada…• RM ⇒ Stat\Regressão\Regressão\

Ajustar Modelo de Regressão…

4) Analisar os resultados:• Fatores VIF próximos de 1 (ideal = 1; ok <5)• Teste significância: H0: β = 0 (se p-valor < 0,05)• Coeficiente de determinação ajustado: R2 aj. > 75%

5) Fazer gráficos de resíduos• Gráfico de dispersão: Ajustes versus y

• RS ⇒ Stat\Regressão\Gráfico de linha ajustadaGráficos: Padronizados , Quatro em um

• RM ⇒ \Stat\Regressão\Regressão\Gráficos: Padronizados, Quatro em um Armazenamento: Ajustes

• RM ⇒ Gráfico\Gráfico de Dispersão...\Simples:(Variáveis Y = “Ajustes”, Variáveis X = “Resposta”)

Modelo OK?

8) Concluir: Fazer ensaios de confirmação

6) Transformar os dadosModificar o modelo

• Aplicar transformação Box-Cox: Stat\Cartas de controle\Transformações de Box-Cox ou Stat\Regressão\Regressão, botão “Opções”

Sim

Não

• RM ⇒ Stat\Regressão\Regressão\Ajustar Modelo de Regressão… retirando os X’sBotão “Modelo”: permite adicionar termos no modeloBotão “Codificando”: reduzir VIF de termos cruzadosBotão “Opções”: transformação do y (Box-Cox)Botão “Stepwise”: seleção automática de termos

2) Análise correlação • Stat\Estatística Básica\Correlação…

RS: regressão linear simplesRM: regressão linear múltipla

7) Explorar modelo com ferramentas avançadas (RM)

• RM ⇒ \Stat\Regressão\RegressãoGráficos de contornoGráficos de superfícieGráfico de contornos sobrepostosOtimizador de resposta

Figura 2.3 – Passos para ajuste de modelos de regressão Abra o arquivo Cirurgia.mpj que contém dados de tempo de sobrevivência de pessoas com problema de fígado. Este arquivo permitirá explorar diversos recursos do procedimento de regressão múltiple. No procedimento “Stat\Regressão\Regressão” (Figura 2.4) entre com Tempo de sobrevivência na janela “Respostas” e as variáveis xs na janela “Preditoras contínuas”. No botão “Gráficos” peça resíduos padronizados e “Quatro em um”. A saída de resultados da Tabela 2.1, mostra que a variável x4 não é significativa e que o ajuste é “razoável” apresentando R2 ajustado = 82% e R2 de previsão = 77,8%. Porém quando analisamos o gráfico de resíduos da Figura 2.5 vemos um comportamento quadrático claro no gráfico de resíduos versus valores ajustados. Pronto, podemos adicionar termos quadráticos no modelo utilizando o botão “Modelo” do procedimento Stat\Regressão\Regressão, como na Figura 2.6:

• Primeiro selecionamos as variáveis xs • Depois clicamos o botão Adicionar (termos até a ordem = 2) • Depois eliminamos os termos de interação, deixando somente os termos

quadráticos.

46


Há dois problemas neste novo ajuste, como podemos ver na Tabela 2.2 e Figura 2.7. O comportamento continua quadrático e a maioria dos p-valores são altos (e também os valores de VIF). Quando se adicionam termos cruzados (interações ou termos quadráticos) é natural que os valores de VIF aumentem pela correlação entre, por exemplo, x1 com x1*x1. Para reduzir o problema dos VIF altos recomenda-se codificar os valores de x, por exemplo, entre -1 e +1. Para isso use o botão “Codificando” e selecione “Padronizar preditoras contínuas” = Especificar níveis inferior e superior para codificar como -1 e +1. O novo resultado desta análise reduziu os valores de VIF, assim como os valores de p (Tabela 2.3). Agora aparecem vários xs significativos. Mas ainda temos o problema dos resíduos.

Figura 2.4 – Menus do Minitab para o procedimento stepwise (forward e backward) (“Stat\Regression\Stepwise”)

Tabela 2.1 – Resultados da regressão múltipla para o exemplo Cirurgia.mpj

Análise de Regressão: Tempo sobrevivência versus x1 ; x2; x3; x4 Sumário do Modelo S R2 R2(aj) R2(pred) 61,0565 83,67% 82,34% 77,85% Coeficientes EP de Termo Coef Coef Valor T Valor-P VIF Constante -621,6 64,8 -9,59 0,000 x1 33,16 7,02 4,73 0,000 1,80 x2 4,272 0,563 7,58 0,000 1,29 x3 4,126 0,511 8,07 0,000 1,68 x4 14,1 12,5 1,13 0,266 2,56



6420-2

99

90

50

10

1

Resíduos Padronizados

Percentual

6004503001500

6

4

2

0

Valor ajustado


4,83,21,60,0-1,6

20

15

10

5

0


Frequência

50454035302520151051

6

4

2

0

Ordem de Observação


Gráfico de probabilidade normal Versus Ajustados

Histograma Versus Ordem

Gráficos de Resíduo de Tempo sobrevivência

Figura 2.5 – Gráficos dos resíduos. Comportamento quadrático

Figura 2.6 – Modificação do modelo de regressão para adicionar termos quadráticos

48


Tabela 2.2 – Resultados da regressão múltipla com termos quadráticos sem padronização dos xs (VIF altos)

Análise de Regressão: Tempo sobrevivência versus x1 ; x2; x3; x4 Sumário do Modelo S R2 R2(aj) R2(pred) 53,1259 88,65% 86,63% 69,89% Coeficientes Termo Coef EP de Coef Valor T Valor-P VIF Constante -312 107 -2,93 0,005 x1 36,1 26,0 1,39 0,172 32 ,55 x2 1,17 2,43 0,48 0,633 31 ,56 x3 -1,28 2,07 -0,62 0,538 36 ,26 x4 -29,1 32,1 -0,91 0,369 22 ,15 x1*x1 -0,10 2,05 -0,05 0,959 33 ,56 x2*x2 0,0276 0,0212 1,31 0,198 32 ,85 x3*x3 0,0378 0,0145 2,61 0,012 38 ,61 x4*x4 5,74 4,83 1,19 0,240 22 ,77

6420-2

99

90

50

10

1


Percentual

6004503001500

6

4

2

0

-2

Valor ajustado


6420-2

30

20

10

0


Frequência

50454035302520151051

6

4

2

0

-2






Figura 2.7 – Gráficos dos resíduos. Ainda comportamento quadrático



Tabela 2.3 – Resultados da regressão múltipla com termos quadráticos padronizados dos xs (VIF baixos)

Análise de Regressão: Tempo sobrevivência versus x1 ; x2; x3; x4 Sumário do Modelo S R2 R2(aj) R2(pred) 53,1259 88,65% 86,63% 69,89% Coeficientes Codificados EP de Termo Coef Coef Valor T Valor-P VIF Constante 135,9 16,1 8,42 0,000 x1 148,9 29,6 5,02 0,000 2,29 x2 177,8 23,1 7,69 0,000 1,48 x3 196,2 21,7 9,03 0,000 1,74 x4 33,6 33,6 1,00 0,322 3,04 x1*x1 -1,9 37,9 -0,05 0,959 1,75 x2*x2 53,5 40,9 1,31 0,198 1,87 x3*x3 87,1 33,4 2,61 0,012 1,45 x4*x4 46,0 38,7 1,19 0,240 1,76

Ainda podemos adicionar os termos de interação: x1*x2, x1*x3, x1*x4, x2*x3, x2*x4, x3*x4. Os resíduos melhoram, mas o modelo fica extremamente complexo. Usaremos uma dica muito boa do Box e Draper: quando o quociente entre o valor máximo e mínimo da variável resposta for maior do que 4-5, pense em transformar a resposta para obter um modelo mais simples (parcimonioso). Neste caso o quociente entre o máximo tempo de sobrevivência (830) e o mínimo (34) é 24 (= 830/24). Para transformar os dados usamos o botão “Opções” e selecionamos Transformação de Box-Cox = λ ideal. Deixamos no modelo somente os termos x1, x2, x3 e x4 e eliminamos a codificação dos xs. Pedimos novamente os gráficos de resíduos. Veja os resultados na Tabela 2.4 (R2 ajustado e R2 de previsão ótimos e ainda podemos eliminar mais um termo do modelo). O gráfico de resíduos da Figura 2.8 mostra os resíduos bem comportados.

Tabela 2.4 – Resultados da regressão múltipla com transformação da resposta (λ = 0, transformação ln)

Análise de Regressão: Tempo sobrevivência versus x1 ; x2; x3; x4 Sumário do Modelo para Resposta Transformada S R2 R2(aj) R2(pred) 0,108997 97,24% 97,01% 96,33% Coeficientes para Resposta Transformada Termo Coef EP de Coef Valor T Valor-P VIF Constante 1,125 0,116 9,73 0,000 x1 0,1578 0,0125 12,60 0,000 1,80 x2 0,02131 0,00101 21,19 0,000 1,29 x3 0,021816 0,000913 23,91 0,000 1,68 x4 0,0044 0,0224 0,20 0,844 2,56

50


420-2

99

90

50

10

1


Percentual

7654

3,0

1,5

0,0

-1,5

-3,0

Valor ajustado


3210-1-2

20

15

10

5

0


Frequência

50454035302520151051

3,0

1,5

0,0

-1,5

-3,0






Figura 2.8 – Gráficos dos resíduos. Comportamento ok para a variável transformada

.

.

.

.

.

.

.

.

Documents

Capítulo 2 Modelos de Regressão - MI Domenech - Melhoria e … · 2016-10-19 · Regressão Múltipla no Minitab O Minitab 17 tem o menu de regressão stepwise no mesmo menu de