Upload
joao-galdino-mello-de-souza
View
274
Download
1
Embed Size (px)
Citation preview
Os benefícios do armazenamento de dados como
componente SOA
Antonio Cesar Sartoratto Dias - MSc. Unicamp
Prof. Dr. Marcius Fabius Henriques de Carvalho - CTI Cenpra
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Os benefícios do armazenamento de dados como componente SOA
Fonte: Hennessy e Patterson, 2007
Introdução
Penso que Vale do Silício tornou-se um nome
inadequado. Se examinarmos os investimentos feitos
em produção nas últimas décadas, veremos que os
discos magnéticos geraram mais negócios que os
produtos do silício. O nome dessa região deveria ser
trocado para Vale do Óxido de Ferro. [Al Hoagland]
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Introdução
De acordo com o IBM Global Innovation Outlook, é
esperado que a quantidade de informações digitais
dobre a cada 11 horas no ano 2010.
Os benefícios do armazenamento de dados como componente SOA
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Cenário Motivador
A divergência entre o crescimento do mercado e do consumo de MIPS motiva o uso de novas metodologias de performance
fonte: Febraban, 2008
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Justificativas do mercado
fonte: Pandian, 2003
Segundo a Febraban houve aumento na complexidade do setor.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
A complexidade da T.I. bancária
Resumo da complexidade medida no setor bancário.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Cenário Motivador
utilizaçãoobservada
Lei de Amdahl
desperdício
cenários observados nos setores finanças e governo
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Cenário Motivador
apenas 20% das CPU são utilizadas para processar dados
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Cenário Motivador
Resultados alcançados com o método proposto:Redução do uso de processador de 91% para 31%
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Como SOA pode ajudar
Fonte: IBM apud CARTER-2007
O negócio é dividido em módulos.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Como SOA pode ajudar
Fonte: IBM apud CARTER-2007
TI é um dos módulos de negócios.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Como SOA pode ajudar
Fonte: IBM apud CARTER-2007
Que por sua vez é dividido em módulos.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Como SOA pode ajudar
Fonte: IBM apud CARTER-2007
A proposta: criar um módulo especializado em tratar a velocidade que os dados são entregues às transações.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Storage: a base de todo processo
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Storage: crescimento da base instalada
Fonte: IDC, 2007
QuickTime™ and aTIFF (Uncompressed) decompressor
are needed to see this picture.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
A proposta em teoria
Dividir a análise de desempenho de uma transação em 3 partes:
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
A proposta em exemplo real
O foco em uso de processador já não traz os resultados do passado.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Reflexão - parte 1
Se um equipamento tem componentes com as velocidades indicadas no quadro.
CPU Memory I/O Device
250 ps 1 ns 100 ns 10 µs 1 msVelocidades:
Memory
Cache
Disk
Cache
10-12 10-9 10-9 10-6 10-3
picosecond nanosecond nanosecond microsecond milisecond
Por quê uma transação dura segundos?
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Reflexão - parte 2
Em um mainframe: Por quê uma transação tem essa variação no tempo de resposta?
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Reflexão - parte 3
Em um servidor: Por quê uma transação tem essa variação no tempo de resposta?
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Motivo 1: os caches
C A C H E S U B S Y S T E M A C T I V I T Y SYSTEM ID EMP1 START 02/25/2008-08.59.57 INTERVAL 008.00.03 RPT VERSION V1R2 RMF END 02/25/2008-17.00.01 0SUBSYSTEM 2105-01 CU-ID 1004 SSID 0001 CDATE 02/25/2008 TYPE-MODEL 2105-F20 MANUF IBM PLANT 82 SERIAL 000000017890 0------------------------------------------------------------------------------ CACHE SUBSYSTEM OVERVIEW ------------------------------------------------------------------------------ 0TOTAL I/O 12457K CACHE I/O 12457K CACHE OFFLINE 0 TOTAL H/R 0.999 CACHE H/R 0.999 -CACHE I/O -----READ I/O REQUESTS------ -----WRITE I/O REQUESTS------ REQUESTS COUNT RATE H/R COUNT RATE ... H/R 0NORMAL 9759K 339.0 ... 0.999 669750 23.3 ... 1.000 SEQUENTIAL 1695K 58.9 ... 0.999 333678 11.6 ... 1.000 CFW DATA 0 0.0 ... N/A 0 0.0 ... N/A 0TOTAL 11454K 397.8 ... 0.999 1003K 34.9 ... 1.000 0------------------------------------------------------------------------------ CACHE SUBSYSTEM DEVICE OVERVIEW ------------------------------------------------------------------------------ 0VOLUME DEV RRID % I/O ... TOTAL READ WRITE % SERIAL NUM I/O RATE READ ... H/R H/R H/R READ 0*ALL 100.0 432.7 397.3 ... 0.999 0.999 1.000 91.9 *CACHE-OFF 0.0 0.0 *CACHE 100.0 432.7 397.3 ... 0.999 0.999 1.000 91.9 DISK01 1021 0000 6.1 26.3 26.2 ... 0.999 0.999 1.000 99.8 DISK02 1022 0000 0.4 1.6 1.5 ... 0.996 0.996 1.000 94.2 DISK03 1023 0000 0.8 3.5 3.4 ... 0.997 0.997 1.000 98.4 DISK04 1024 0000 0.4 1.5 1.4 ... 0.977 0.975 1.000 91.5 DISK05 1025 0001 0.5 2.0 1.9 ... 0.990 0.989 1.000 93.9 DISK06 1026 0001 0.3 1.4 1.2 ... 0.973 0.971 1.000 92.2 DISK07 1027 0001 0.8 3.5 3.4 ... 0.997 0.997 1.000 97.7 DISK08 1028 0001 2.7 11.6 11.4 ... 0.997 0.997 1.000 98.4 DISK09 1029 0001 1.0 4.5 4.2 ... 0.994 0.994 1.000 92.6 DISK10 102A 0001 3.1 13.5 13.4 ... 0.999 0.999 1.000 99.1 DISK11 102B 0001 1.6 6.9 6.6 ... 0.987 0.987 1.000 96.6 DISK12 102C 0001 0.5 2.3 2.1 ... 0.981 0.980 1.000 96.3 DISK13 102D 0001 22.2 96.1 96.0 ... 1.000 1.000 1.000 100.0 DISK14 102E 0001 19.1 82.5 82.4 ... 1.000 1.000 1.000 99.9 DISK15 102F 0001 8.7 37.7 37.5 ... 1.000 1.000 1.000 99.5 DISK16 1030 0001 4.0 17.3 10.4 ... 0.998 0.997 1.000 60.4 DISK17 100A 0000 2.4 10.5 2.4 ... 1.000 0.999 1.000 23.4 DISK18 100B 0000 1.4 5.8 1.7 ... 0.999 0.997 1.000 28.9
Relatório da atividade do disk-cache
O relatório aponta alta taxa de “hit rate”, mas...
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Motivo 1: os caches
Os acessos físicos continuam existindo.
Relatório da atividade dos discos físicos
D I R E C T A C C E S S D E V I C E A C T I V I T Y SYSTEM ID EMP1 START 02/25/2008-08.59.57 INTERVAL 008.00.03 RPT VERSION V1R2 RMF END 02/25/2008-17.00.01 CYCLE 1.000 SECONDS - DEVICE AVG AVG AVG AVG AVG AVG AVG % DEV DEVICE VOLUME PAV LCU ACTIVITY RESP IOSQ CMR DB PEND DISC CONN DEV NUM TYPE SERIAL RATE TIME TIME DLY DLY TIME TIME TIME CONN 1021 33903 DISK01 3 0007 22.500 1.7 0.0 0.0 0.0 0.4 0.0 1.3 0.97 1022 33903 DISK02 3 0007 1.482 2.2 0.0 0.0 0.0 0.5 0.1 1.6 0.08 1023 33903 DISK03 3 0007 3.239 3.5 0.0 0.0 0.0 0.3 0.1 3.1 0.33 1024 33903 DISK04 3 0007 1.464 2.5 0.0 0.0 0.0 0.6 0.3 1.6 0.08 1025 33903 DISK05 3 0007 1.909 1.9 0.0 0.0 0.0 0.5 0.2 1.1 0.07 1026 33903 DISK06 3 0007 1.267 3.3 0.0 0.0 0.0 0.6 0.3 2.4 0.10 1027 33903 DISK07 3 0007 3.011 5.6 0.0 0.0 0.0 0.4 0.1 5.2 0.52 1028 33903 DISK08 3 0007 10.815 3.1 0.0 0.0 0.0 0.4 0.1 2.6 0.95 1029 33903 DISK09 3 0007 4.348 1.7 0.1 0.0 0.0 0.6 0.1 1.0 0.14 102A 33903 DISK10 3 0007 12.289 2.2 0.0 0.0 0.0 0.5 0.0 1.7 0.70 102B 33903 DISK11 3 0007 6.190 6.2 0.0 0.0 0.0 0.6 0.2 5.4 1.12 102C 33903 DISK12 3 0007 2.221 1.5 0.0 0.0 0.0 0.4 0.2 0.9 0.06 102D 33903 DISK13 4 0007 24.488 8.6 0.0 0.0 0.0 0.4 0.0 8.2 5.01 102E 33903 DISK14 3 0007 72.919 3.6 0.0 0.0 0.0 0.3 0.0 3.2 7.82 102F 33903 DISK15 3 0007 33.044 3.6 0.0 0.0 0.0 0.3 0.0 3.2 3.57 1030 33903 DISK16 3 0007 17.384 2.1 0.0 0.0 0.0 0.4 0.0 1.7 0.98 100A 33903 DISK17 3 0007 10.160 2.0 0.1 0.0 0.0 0.7 0.0 1.1 0.38 100B 33903 DISK18 3 0007 5.840 1.6 0.0 0.0 0.0 0.4 0.0 1.2 0.22 LCU 0007 337.960 3.1 0.0 0.0 0.0 0.4 0.1 2.7 0.39
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Motivo 1: os caches
Mito: nos discos atuais, tudo está em cacheVerdade: a probabilidade do dado ser localizado em cache é dada pela tabela abaixo.
modelocapacidade máx. de
armazenamento (TB)
capacidade máx. do cache (GB)
relação cache/storage (%)
IBM Shark F-20 1,2 16 1,3%IBM DS-8300 Turbo 9,1 128 1,4%Fujitsu Et3000 M-600 7,8 24 0,3%Fujitsu Et3000 M-1100 11,4 48 0,4%EMC DMX-3 52,6 128 0,2%EMC DMX-4 52,6 128 0,2%Hitachi USP-600 148,0 128 0,1%Hitachi USP-1100 332,0 256 0,1%
Fontes:IBM e Fujitsu: benchmarks SPCEMC e Hitachi: fichas técnicas dos fabricantes
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Motivo 2: discos X CPU
Hennessy e Patterson, 2007
O desempenho dos discos é menor que o da CPUPor isso, os métodos de modificação de lógicas não apresentam os
mesmos resultados do passado.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Motivo 3: throughput dos discos
disk speed (RPM)
latency (ms)
seek time (ms)
transfer time (ms)
total random access
time (ms)
I/Os per second per
disk (= 1/ total random access
time)
Throughput given 8 KB i/O (MB / s)
Throughput given 64 KB i/O (MB / s)
7.200 4,2 9,0 1,0 14,2 71 0,56 4,52
10.000 3,0 4,9 1,0 8,9 112 0,90 7,19
15.000 2,0 3,8 1,0 6,8 147 1,18 9,41
Fontes: 1- IBM REDP4285 Linux Performance p.85 2- Hennessy&Patterson, 2003 p.745 3- Anderson, 2003 (ref.:Barracuda IV, Cheetah 73 LP)
Capacidade de IOPS em discos de 15.000 RPM.
Os números surpreendem
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Motivo 3: throughput dos discos
Fonte: Anderson, 2003(ref.:Barracuda III, Cheetah 18 LP)
QuickTime™ and aTIFF (Uncompressed) decompressor
are needed to see this picture.
PS = Personal StorageES = Enterprise Storage
O throughput cai quando o gabinete vibra
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Motivo 4: benchmark dos discos
Fonte: SPC, 2002
Os benchmarks são pouco explorados.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Motivo 4: benchmark dos discos
Os benchmarks podem dar base aos trabalhos de acompanhamento de performance.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Motivo 5: benchmark de transações
O tempo de transação foi reduzido a partir da análise dos acessos a discos.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
Teste final
Qual o tempo de processamento de 1 milhão de registros?
É o tempo de acesso de 1 milhão de registros.
Proibida a cópia ou divulgação sem permissão escrita do CMG Brasil
ConclusãoO grau de tecnologia de um setor é inversamente
proporcional à quantidade de participantes.
Os conceitos de SOA podem ajudar da implantação um setor especializado na tecnologia de armazenamento de dados
Os benefícios do armazenamento de dados como componente SOA
Antonio Cesar Sartoratto Dias - MSc. Unicamp
Prof. Dr. Marcius Fabius Henriques de Carvalho - CTI Cenpra
Obrigado