Análise de Segurança e Desempenho na Detecção de Intrusão em Redes de Automação de Distribuição de Água - por Silvio Rocha da Silva

Análise de Segurança e Desempenho

na Detecção de Intrusão em Redes de

Automação de Distribuição de Água

Silvio Rocha da Silva

Autor

Prof. Dr. Eduardo Takeo Ueda Orientador

Instituto de Pesquisas Tecnológicas do Estado de São Paulo

Agenda

2

Contextualização

Motivação

Problemas

Objetivo

Método de Trabalho

Trabalhos Relacionados

Proposta da Dissertação

Validação

Análise dos Resultados

Conclusão e Trabalhos Futuros

Proibida cópia ou divulgação sem

permissão escrita do CMG Brasil.

Contextualização

• Infraestruturas críticas são as instalações, serviços e bens que, se forem interrompidos ou destruídos, provocarão sério impacto social, econômico, político, internacional ou à segurança nacional. Dentre as áreas prioritárias está o setor da água ou saneamento básico (BRASIL, 2008).

• No Brasil, o saneamento básico é um direito assegurado pela Constituição e definido pela Lei n⁰ 11.445/2007 como o conjunto dos serviços, infraestrutura e instalações operacionais de abastecimento de água (Manual do Saneamento Básico, 2012).

• Dentre as partes do sistema de abastecimento de água o foco da proposta são as redes de distribuição.

3



Motivação

• Aumentar a segurança nas redes de automação das infraestruturas críticas;

• Proporcionar a continuidade dos negócios, minimizando os impactos das intrusões nas operações;

• Integrar mecanismos de detecção de intrusão às propostas de proteção de perímetro das redes de automação no saneamento;

• Construir um mecanismo de proteção sob medida para redes de automação na distribuição de água;

• Reduzir as perdas de água no processo de distribuição.

4 Proibida cópia ou divulgação sem


Problemas

Como garantir os acessos e as operações legítimas nos

equipamentos de campo da distribuição de água?

Como garantir o desempenho dos sistemas de detecção de

intrusão com baixo número de alarmes falsos?



Objetivo

Propor, desenvolver e validar o desempenho de um mecanismo para

detectar, em tempo real, a intrusão em redes de automação na distribuição

de água, aplicando a teoria de evidências de Dempster-Shafer na

combinação de dois métodos:

• o primeiro centrado nos parâmetros das operações;

• o segundo centrado no volume de tráfego da rede.

Com isso, foi possível caracterizar os comportamentos normais dos

controladores lógicos programáveis utilizados nos equipamentos de

campo, no caso dessa proposta, os Boosters.



Método de Trabalho

7

Esquema das atividades e dependências do método de trabalho

Fonte: O autor Proibida cópia ou divulgação sem


Trabalhos Relacionados

8

Tema Trabalho Abordagem

Infraestrutura de

Segurança na

Automação

Nicholson et al (2012) As mudanças das redes de automação para arquitetura aberta com conectividade a

internet contribuíram para o aumento das ameaças e vulnerabilidades.

ANSI/ISA-99 (2007) Norma que define conceitos para uma arquitetura de segurança em áreas ou zonas para

as aplicação nas infraestruturas de automação.

Alcaraz et al (2012) Ataques nas infraestrutura crítica, em destaque os de falsificação de dados de operações

e os de saturação da capacidade de tráfego.

Métodos e

Modelos para

Detecção de

Intrusão

Wu e Banzhaf (2008)

e Jin et al (2006)

Detecção de anomalia sendo utilizada como ferramenta adicional no combate às

ameaças por meio do perfil histórico normal de comportamento para indicar possíveis

intrusões.

Briesemeister et al

(2010) e Linda et al

(2009)

Padrão de operação das redes de automação tem certa previsibilidade de

comportamento, facilitando a identificação de tentativas de ataques.

Kovach (2011) e

Premaratne et al

(2008)

O uso de métodos de detecção por meio da combinação de observações de

comportamentos, usando teoria das evidências.

Ameaças de

Segurança no

Setor de

Saneamento

WSCC-CSWG (2008)

Roteiro para proteção dos sistemas de controle no setor da água, com o objetivo que em

2018 essa infraestrutura sejam capaz de manter sua operação mesmo após um evento de

ataque.

Amin et al (2013) Análise dos ataques de negação de serviço que podem prejudicar o desempenho das

operações, gerando perda de água, diminuição da eficiência operacional, entre outras.



Proposta do Trabalho

O mecanismo de detecção de intrusão proposto por este trabalho prevê a

utilização de duas abordagens complementares:

• uma abordagem local, baseada em análise diferencial, na qual os

padrões de operação dos CLPs instalados nos Boosters de distribuição

de água serão comparados com o seu limiar de operação;

• uma abordagem global, baseada em análise global, na qual a média do

tráfego de dados de entrada e saída de toda a rede de automação será

comparada com o tráfego de dados de E/S de cada CLPs/Booster.



• Manipulação indevida de dados enviados ou recebidos dos

CLPs/Boosters;

• Tráfego de dados não autorizado na rede de automação;

• Configuração de parâmetros inválidos;

• Rede de comunicação congestionada, devido ao envio ou

recebimento simultâneo de dados por muitos ou todos os

CLPs/Booster.

10

Evidências de Intrusão na

Distribuição de Água



11

Visão geral do mecanismo de

detecção de intrusão

Fonte: adaptado de Kovach (2011)



12

Combinação de Evidências No presente trabalho a combinação dos métodos será centrada no comportamento normal, devido à característica favorável de previsibilidade das operações e do tráfego da rede de automação.

Fonte: adaptado de Kovach (2011) Proibida cópia ou divulgação sem


Validação

13

Foram realizadas oito simulações divididas em dois cenários com

uma base de dados composta de 2.846 registros de operações e

tráfego de dados reais ocorridos em um período de 30 dias.

• Sistema Supervisor Operações de Pressão de Recalque

• Sistema de Monitoramento da Rede Tráfegos de dados

Todos os registros são legítimos e foram sincronizados para

manter as igualdades de tempo e granularidade.



14

Esquema geral para validação da proposta



15

Tipo Descrição Probabilidade Impacto Classe de Prioridade

VRP Válvula Redutora de Pressão 3 2 5

Booster Bomba de Controle de Vazão 3 4 7

DMC Distrito de Medição e Controle 3 2 5

PM Ponto de Medição 2 1 3

EEAT Estação Elevatória de Água 1 5 6

ETA Estação de Tratamento de Água 2 5 7

Poço Poço Artesiano 1 2 3

Equipamentos de uma infraestrutura de

distribuição de água

Fonte: Plano Diretor de Automação e Informação (2012)

Avaliação de probabilidade e impacto para priorização de ações de segurança



16

• IDbooster: Esse atributo é necessário tanto na análise local, como na

análise global, pois caso ocorra a detecção de uma intrusão é

necessário conhecer a identificação do equipamento para tomar as

devidas ações;

• PresRecalque: Utilizado para registrar os valores das operações de

pressão de recalque. Esse parâmetro corresponde à métrica utilizada

pela análise diferencial para caracterizar o perfil de atividade local;

• BandTrafSum: Utilizado para registrar a soma das medições do

tráfego de dados de entrada e saída das operações de distribuição de

água. Esse parâmetro corresponde à métrica utilizada na análise

global.

Descrição dos Atributos



17

Atributos e Parâmetros Operações registradas em intervalos de 15 minutos

Tráfego de dados de Entrada e Saída sincronizados em intervalos de 15 minutos

Fonte: Sistema de Supervisão

Fonte: Sistema de Monitoramento da Rede

kbyte kbit/second kbyte kbit/second kbyte kbit/second

1 28/12/2013 - 21:01 33,06 0,90 145,81 3,99 178,87 4,89

1 28/12/2013 - 21:16 35,24 0,96 148,86 4,07 184,10 5,03

1 28/12/2013 - 21:31 36,96 1,01 168,88 4,62 205,84 5,63

1 28/12/2013 - 21:46 38,55 1,05 154,22 4,22 192,77 5,27

Período de MedicãoBandwidth Traffic IN Bandwidth Traffic OUT BandTrafSum

IDbooster

IDBooster Data e HoraPressão de

SucçãoPresRecalque

Vazão de

RecalqueConsumo Corrente Tensão Frequência Temperatura Bomba

1 28/12/2013 - 21:01 20 59 50 0 0 0 0 55 Operando

1 28/12/2013 - 21:16 20 62 47 0 0 0 0 55 Operando

1 28/12/2013 - 21:31 20 26 0 0 0 0 0 55 Parada

1 28/12/2013 - 21:46 16 59 37 0 0 0 0 55 Operando



18

• Substituído o conteúdo do atributo IDboosters pela representatividade da sequência

numérica: 1, 2 e 3, para preservar a confidencialidade dos dados;

• Eliminada todas as operações de pressão de recalque (PresRecalque) nas quais os

equipamentos estavam em período de manutenção, conforme informado nos históricos,

pois esses dados não são necessários para a metodologia de avaliação utilizada;

• Mantidos os registros apenas das operações nas quais o booster estava em situação

“operando”, pois os registros da bomba em situação “parada” são irrelevantes para a

metodologia de avaliação;

• Selecionados, em intervalos de 15 minutos, os registros de tráfego de dados para a

análise global da rede de automação (BandTrafSum), correspondendo à mesma data e

hora dos eventos da análise diferencial.

Filtragens e simplificações para facilitar as simulações dos métodos estatísticos



19

• Métrica: Pressão de recalque

em metros de coluna de água

(mca), sendo função do

resultado da pressão disponível

na sucção somada à pressão de

recalque necessária para manter

o abastecimento de água no

ponto mais desfavorável da

área de influência do Booster;

• Modelo estatístico: Média

móvel com limiar fixo.

O Atributo Local

Os valores da janela de observações e da ponderação são 500 e 0,01 respectivamente, escolhidos empiricamente por meio de simulações.

Perfil de atividade da operação de recalque

Fonte: Sistema de Supervisão



20

• Métrica: Soma do tráfego de dados de entrada e saída de toda a rede de

automação com representação em kbit/s. Esse atributo corresponde ao tráfego de

dados de entrada e saída utilizado nas operações de distribuição de água.

• Modelo estatístico: Média móvel com limiar fixo.

Perfil de atividade do tráfego de dados de Entrada (vermelho) e Saída (verde)

Os valores da janela de observações e da ponderação são 500 e 0,97 respectivamente, escolhidos

empiricamente por meio de simulações.

O Atributo Global

Fonte: Sistema de Monitoramento da Rede de Automação



Trecho de uma sequência de operações (mca) e tráfegos (Kbit/s)

Fonte: O autor

21

Combinação das Evidências Local e Global

Os valores de m3 são comparados com uma série de limiares entre 0

e 100 com escala de 2,50 e, para cada valor de limiar, uma matriz de

confusão e curva ROC é gerada para determinar as taxa de

verdadeiros positivos e as taxa de falsos positivos.



22

Matriz de Confusão

Fonte: Adaptado de Kovach (2011)

• Taxa de verdadeiros positivos: Tvp = VP / P;

• Taxa de falso positivo: Tfp = FP / N;

• Exatidão: Ex = VP + VN / (P + N); P = VP + FN e corresponde ao número total de intrusões (positivos);

N = FP + VN e corresponde ao número total de legítimos (negativos).



Técnica visual para avaliar o desempenho da Matriz de Confusão e que demonstra uma relação entre (Verdadeiro Positivo) e (Falso Positivo), produzindo um par (Tvp, Tfp) correspondendo a um ponto no espaço ROC.

23

Curva ROC (Receiver Operating

Characteristics)

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

0% 20% 40% 60% 80% 100%

Tv

p -

Taxa d

e V

erd

ad

eir

os P

osit

ivo

s

Tfp - Taxa de Falso Positivo



24

Análise dos Resultados

Foram selecionados dois cenários baseando-se no conjunto dos dados

de operações e tráfegos:

• No primeiro cenário, foram induzidos 47 registros de operações de

recalque e de tráfego de dados, representando dois por cento (2%)

da base de dados com registros de intrusão.

• No segundo cenário, foram induzidos 235 registros de operações

de recalque e de tráfego de dados, representando dez por cento

(10%) da base de dados com registros de intrusão.



Intersecções e probabilidades resultantes das combinações das Análises Local e Global

Fonte: Ferramenta de simulação do detector de intrusão



Intersecções e probabilidades para uma operação de recalque local

com valor de 80 mca e um tráfego de dados global de 5,27 Kbit/s na

data de 27/12/2013 - 6:16 para o booster 1.

Resultado de Dempster-Shafer

Prob Global ({Intrusão}) = 60,32% Prob Global (Ambiente) = 39,68%

Prob Local ({Intrusão}) = 46,02% {Intrusão} = 27,76% {Intrusão} = 18,26%

Prob Local (Ambiente) = 53,98 {Intrusão} = 32,56% Ambiente = 21,42%

m3 ({Intrusão})= 78,58%Fonte: O autor

Para cada valor (m3) foi gerada a matriz de confusão e calculadas as medidas Tvp,

Tfp e Ex.

Intersecções e probabilidades de Local, Global e m3



Resultado da Matriz de Confusão

Fonte: Ferramenta de simulação do detector de intrusão

Com base na curva ROC encontra-se a melhor relação entre Tfp e Tvp e assim o

melhor ponto de operação para Detecção de Intrusão no cenário proposto.

Neste cenário o

desempenho da

curva ROC foi de

90,16% com taxa de

exatidão (Ex) de

97,61%.



Comparação das Curvas ROC Curva ROC aplicando média móvel

ponderada sem análise global

Curva ROC aplicando média móvel

ponderada com análise global

O melhor ponto de operação ocorre quando o valor

de limiar é igual a 27,50%, neste ponto, Tfp=1,22%

e Tvp=63,83% com desempenho de 62,61%.

Fonte: O autor Fonte: O autor

O melhor ponto de operação ocorre quando o valor

de limiar é igual a 30,00%, neste ponto, Tfp=1,39%

e Tvp=87,23% com desempenho de 85,84%.


permissão escrita do CMG Brasil. 28

Cenários Avaliados Resultados da Matriz de Confusão

Fonte: O autor



CenáriosModelo

EstatísticoAnálise FP VN FN VP Limiar Tvp Tfp

Diferencial sem

Global73 2221 4 47 25,00% 92,16% 3,18%

Diferencial e

Global51 2247 0 47 30,00% 100,00% 2,22%

Global sem

Diferencial38 2260 9 38 2,50% 80,85% 1,65%

Diferencial sem

Global28 2270 17 30 27,50% 63,83% 1,22%

Diferencial e

Global32 2266 6 41 30,00% 87,23% 1,39%

Global sem

Diferencial74 2224 10 37 2,50% 78,72% 3,22%

Diferencial sem

Global60 2040 10 235 25,00% 95,92% 2,86%

Diferencial e

Global64 2046 5 230 27,50% 97,87% 3,03%

Global sem

Diferencial58 2052 72 163 7,50% 69,36% 2,75%

Diferencial sem

Global22 2088 36 199 27,50% 84,68% 1,04%

Diferencial e

Global37 2073 19 216 30,00% 91,91% 1,75%

Global sem

Diferencial244 1866 34 201 2,50% 85,53% 11,56%

Número total de

legítimos

Número total de

intrusão

Melhor ponto de operação para

Detecção de IntrusãoInformações da Simulação

Cenário 1 –

Alteração de

2% (47) base

para intrusão

Média

Móvel

Simples

Média

Móvel

Ponderada

Cenário 2 –

Alteração de

10% (235)

base para

intrusão

Média

Móvel

Simples

Média

Móvel

Ponderada

Cenários Avaliados Desempenho da Matriz de Confusão e Curvas ROC

Fonte: O autor

O desempenho da métrica de Exatidão (Ex) que corresponde ao total de eventos legítimos e de

intrusões corretamente classificados, ficaram acima dos 96%.



Cenários Modelo Estatístico Análise Exatidão (Ex)

Matriz de Confusão

Desempenho

(Curva ROC)

Cenário 1 –

Alteração de 2%

(47) base para

intrusão

Média Móvel Simples

Diferencial sem Global 96,71% 88,98%

Diferencial e Global 97,82% 97,78%

Global sem Diferencial 97,99% 79,20%

Média Móvel

Ponderada




Cenário 2 –

Alteração de 10%

(235) base para

intrusão

Média Móvel Simples




Média Móvel

Ponderada




Conclusão • O uso de atributo local combinado com atributo global por meio da teoria de

evidências de Dempster-Shafer melhorou a capacidade de detecção de intrusão

para o cenários propostos;

• Aumento do desempenho na detecção de intrusão na relação da taxa de

verdadeiros positivos versus taxa de falsos positivos, se comparado com a

proposta de Kovach (2011) para detecção de fraudes financeiras e que utilizou

na análise global a técnica de listas brancas e uma função exponencial

decrescente;

• Os métodos são combinados e processados em tempo real, com base em uma

janela de observações histórica diferentemente da abordagem de Briesemeister

et al (2010) que utilizou a combinação de métodos por meio de técnicas de

aprendizado para a detecção de intrusão;



Conclusão

• A taxa de exatidão do mecanismo proposto ficou em 96% na detecção de

intrusão para as simulações com base em janelas de 500 observações. Os

resultados alcançados, segundo Premaratne et al (2008), foram aceitáveis

em seu trabalho para proteção de instalações de subestações de energia

elétrica para grupos de 1.000 observações com taxa de 97% na detecção de

intrusão aplicando teoria das evidências. Esses resultados mostram que o

uso de combinação de evidências por meio DS apresenta-se como uma

alternativa favorável para detecção de intrusão;

• O método de trabalho possibilitou conhecer e entender o comportamento

do tráfego de dados da rede de automação e assim contribuir com

resultados práticos, como os limites de entrada e saída de dados.



33

Trabalhos Futuros

Duas observações podem ser feitas em relação ao atributo local para

estender este trabalho:

O uso de outros atributos, além da operação de pressão de recalque,

com a escolha baseada no fator de reputação do usuário origem da

operação;

Adequar os métodos e modelos estatísticos adotados para reconhecer

perfis de atividade com limiares inferiores nas operações de

distribuição de água.

A combinação com outros métodos de detecção de intrusão é uma

alternativa a ser pesquisada como forma de aumentar o desempenho do

detector.



Perguntas?

Silvio Rocha

e-mail: [email protected]

Obrigado!

Technology

Análise de Segurança e Desempenho na Detecção de Intrusão em Redes de Automação de Distribuição de Água - por Silvio Rocha da Silva