Dell PowereDge M420 e oracle Database 11g r2: UMa ...i.dell.com/sites/doccontent/.../sb360/pt/Documents/PE_M420_Oracle.pdf · • Como instalar o Oracle Database 11g R2 e o Oracle

Para clusters do Oracle Database 11g R2

Dell PowereDge M420 e oracle Database 11g r2:UMa arqUitetUras De referência

Uma arquitetura de referência da Principled technologies comissionada pela Dell inc.

Servidor Blade dellTM PoweredgeTM M420CoM STorage dell equallogiCTM e SwiTCh dell ForCe10TM

arquiTeTura de reFerênCia

o qUe você vai aPrenDer• RecursosevantagensdoDellPowerEdgeM420

• ComoinstalareconfigurarohardwaredoseuDellPowerEdgeM420

• ComoinstalaroOracleDatabase11gR2eoOracleRACnoDellPowerEdgeM420

• ComoconfiguraroOracleDatabase11gR2

ÍnDiceo que você vai aprender ............................................................................ 2Índice ........................................................................................................ 2Resumo executivo ..................................................................................... 3sobre o ambiente de teste ......................................................................... 3

RecursosdoservidorbladeDellPowerEdgeM420............................ 4RecursosdoswitchbladeDellForce10MXL10/40GbE..................... 4RecursosdamatrizDellEqualLogicPS6110XS10GbEiSCSI................5SobreoOracleRealApplicationClusters(RAC)..................................5

Hardware de suporte - Poweredge M1000e e Malha ................................. 6Configurandoostorage......................................................................7Configurandooservidor.....................................................................9

instalado o sistema operacional e os pré-requisitos do cluster ................ 10InstalandooOracleLinux6.............................................................. 10Pré-requisitosdocluster................................................................... 11

Instalando e configurando o Oracle RAC .................................................. 17Criandoocluster.............................................................................. 17InstalandooOracleRAC11g(OracleDatabase)nocluster..............28

resumo ................................................................................................... 42apêndice a – Detalhes do sistema Dell Poweredge M420 ........................ 43sobre a Principled technologies ............................................................... 45

DellPoweredgeM420eOracleDatabase11gR2:Umaarquiteturadereferência

UmaarquiteturadereferênciadaPrincipledTechnologies3

solução solução Dell Poweredge M4Zg

Servidores 2xDellPowerEdgeM420SistemaOperacional OracleEnterpriseLinux6.2,x86_64Basededados OracleDatabase11gR2Switches 2xDellForce10MXL10/40GbEArmazenamento 1xDellEqualLogicPS6110XS

resUMo execUtivoOespaçoparadatacenterssempretemumaltopreço.Porisso,éimportante

levaremconsideraçãonãoapenasodesempenhoeogerenciamento,mastambémaquantidadedeespaçofísicoqueosseusservidoresutilizamnahoradeselecionaroservidorbladequehospedaráseusaplicativosdebasesdedados.OservidorbladeDellPowerEdgeM420ultradensodeumquartodealturapermitequevocêacopleduasvezesmaisservidoresemumsóchassi,emcomparaçãocomosbladestradicionaisdemeiaaltura,semsacrificarodesempenhoououtrosrecursos.Combinadocomostoragedealtodesempenhoeopçõesderede,comoamatrizdearmazenamentoDellEqualLogicPS6110XSeosswitchesDellForce10MXL10/40GbE,oM420écapazdeoferecerdesempenhoexcelenteemformatocompacto.

ADelldesenvolveuoservidorbladePowerEdgeM420especificamenteparaatenderàsnecessidadesdessasorganizaçõesquedesejammaximizaroespaçoemseudatacenter.Nestaarquiteturadereferência,observamosalgunsdosmuitosbenefíciosqueoservidorDellPowerEdgeM420podeofereceraosdatacenters,combinadocomosswitchesEqualLogicPS6110XSeForce10MXL,descrevendoemdetalhesaconfiguraçãodeumacombinaçãocomumdeclusters:OracleRealApplicationClusters(OracleRAC)comoOracleDatabase11gR2rodandoemOracleLinux6.

sobre o aMbiente De testeParacriaresteguia,configuramosetestamosumRACOraclecomoOracle

Database11gR2emservidoresDellPowerEdgeM420.AFigura1apresentaumresumoconcisodaconfiguraçãoparaasoluçãoquetestamos.

Figura 1: Resumo geral da configuração da solução que testamos.

Paraobtermaioresdetalhessobreaconfiguraçãodosservidoresqueutilizamos,vejaoApêndiceA.



figura 2: servidor blade Dell Poweredge M420

recursos do servidor blade Dell Poweredge M420OnovoservidorbladeDellPowerEdgeM420,equipadocomoprocessador

Intel®Xeon®E5-2470(videaFigura2),defineumnovopadrãodedensidadecomputacionalparaambientesblade,aproveitandooseugabinetebladeDellPowerEdgeM1000e.Principaisrecursos:

• O dobro de potência computacional por unidade de rack.Bladescomumquartodealtura,altamentecapazesdeacomodaraspeçasdoprocessadorIntelXeondasérieE5-2400emsuaconfiguraçãodedoissoquetes,comatéoitonúcleosporprocessador,permitindoquevocêfaçausodetodooseupotencialdeespaçoemrack.

• Upgrade com excelente relação custo/benefício.UsandoomesmochassiM1000equeosbladesDellanteriores,instaleoPowerEdgeM420usandotodaainfraestruturadeenergia,refrigeraçãoerededoseudatacenter.

• Gerenciamento. AsuítedeferramentasDellOpenManage™,combinadacomoIntegratedDellRemoteAccessController(iDRAC7),oferecemmáximaflexibilidadenaadministraçãodasuaestruturadecomputação.

• Conectividade.AtecnologiaSnap-inFlexIOpermiteumsuporteparasistemasflexíveisdeinterconexãodealtavelocidade.Comopçõesqueincluem1e10GigabitEthernet,FibreChannel,InfiniBand®,eosnovosswitchesbladeDellForce10MXL10/40GbE,oM420écapazdeseligaràsuaredeemvelocidademáxima.

• Eficiência de energia.OsservidoresDellPowerEdgeM420aplicamosprincipaispadrõesdeeficiênciadeenergiadaindústriaesãodesignadosparadesempenhootimizado,mantendoobaixoconsumodeenergia.

• Pronto para a virtualização.ComosuporteàstecnologiasHyper-V™,Citrix®XenServer™,eVMware®vSphere®,oM420contémdoisslotsparacartãoSDparasuporteahipervisor,hipervisorredundantee/oumídiavFlash.

ParamaioresdetalhessobreaconfiguraçãodebladeDellPowerEdgeM420queutilizamos,videoApêndiceA.

Recursos do switch blade Dell Force10 MXL 10/40GbEOswitchbladeDellForce10MXLde10/40GbEtraznovasopçõesdeconectividade

edesempenhoparaambientesdecomputaçãoembladecomopçõesdeconfiguraçãomodularesuportea10/40GbEbaseadoempadrõesdaindústria.OForce10MXLinclui:

• Desempenho. Aconectividadede10/40GbEminimizaalatênciaemaximizaaredeatravésdeservidoreseaplicativosparausointensodedados,comoroteamentodeCamada3quegarantetráfegorápidoentreredesisoladas.



• Flexibilidade. Escolhaentreasportasde1,10ou40GbE;FlexIOparaplug-inQSFP+,SFP+ou10GbEdecobre.AgreguemaislarguradebandaaosmódulosFlexIOparaofereceromáximosuporteaconexõesbidirecionaisdeaté160gigabitsporsegundo.

• Expanda e simplifique. OMXLémodularesuportaempilhamentoparafacilitarogerenciamentoemaximizarodesempenho.OsuporteàcomutaçãoconvergidapermitequeotráfegoorigináriodeiSCSI,NAS,EtherneteFibreChannelutilizeomesmohardwarefísico,compotencialdereduzirgastosexcedentesdegerenciamentoehardware.

Recursos da matriz Dell EqualLogic PS6110XS 10GbE iSCSIAmatrizDellEqualLogicPS6110XS10GbEiSCSIcombinaosaltosrecursosde

E/SdasunidadesdearmazenamentoemestadosólidocomacapacidadebrutadosHDstradicionaisemumasoluçãodechassiúnico.Principaiscaracterísticas:

• Agilidade. Utilizaçãodearmazenamentoqueseadéqueàsdemandasdoseuservidoreaplicativos.OsoftwaredegerenciamentoDellpermitequeosadministradoresaloquemdeformadinâmicaoarmazenamentoemSSDsouHDDs,dependendodoqueasituaçãoexigir.

• Upgrades. Comeceutilizandoseusmódulos10GbESFP+existentesefaçagradualmenteoupgradepara10GBASE-Tconformeseuorçamentopermitir.Movaosvolumesentrepoolsdearmazenamentoseminatividade,trocandodehardwaresempromoverinterrupções.

• Robusto.Ocompartilhamentoverticaldeportasmantémasuaredeemvelocidademáxima,mesmoquandoumaportadaredefalhar.Oreguladorautomáticodecargamantémomovimentodosdadosestávelentreseusservidoresfísicosevirtuais.

• Gerenciamento. OsaplicativosEqualLogicHostSoftware,HostIntegrationToolseoEqualLogicSANHeadquarters(SANHQ)fornecemasferramentasqueosadministradoresprecisamparamanteraltoníveldecontrolesobreseusistemadearmazenamento,permitindoaflexibilidadeparafazermudançasgraduais,conformeasuanecessidade.

Sobre o Oracle Real Application Clusters (RAC)OOracleRealApplicationClusters(RAC)éumclusteraltamenteescalávelparabasesde

dadosdirecionadoaosaplicativosdoseunegócio.OOracleRACmantémosaplicativosaltamentedisponíveiseliminandooconceitodeterumúnicoservidorcomopontodefalhadasuaestrutura.Formandoclustersdeservidores,osaplicativospodemcontinuararodaremoutroservidordocluster,casoumdelesfalhe.Alémdeescalávelparainfraestruturasdepequenoegrandeporte(até100nósdeservidores),oOracleRACincluiaindaosoftwareOracleDatabase11gR2,quefacilitaainstalaçãoeaconfiguração.ParamaioresinformaçõessobreoOracleRAC,visite:



http://www.oracle.com/us/products/database/options/real-application-clusters/overview/index.html.

HARDwARE DE SUPORtE - POwEREDGE M1000E E MALHAOchassibladeDellPowerEdgeM1000eesuasinterconexõesdemalha

suportadasforamdesenvolvidosparaaplicativosdebasesdedadosdegrandeescalaeconsolidaçãodeaplicação.OsrecursosdoPowerEdgeM1000eincluem:

• Gerenciamento. Reduzademandaadministrativaoferecendoumainterfacedegerenciamentocentralizadaeseguraparaoschassisebladesincluídos,usandoastecnologiascomprovadasWeb(comcriptografiaSSL)eCLI(SSH/Telnet).

• Configuração simplificada.OChassisManagementControllerpermitequeosadministradorescontrolematénovegabinetese144servidoresblade,incluindoogerenciamentodealteraçõeseatualizaçõesdeBIOS/firmware,monitoramentotérmicoeconfiguraçãodelimitesdeconsumodeenergia.

• Flexibilidade de E/S.Seissoquetesdeinterconexãocomacapacidadedesuportartrêsfabricstotalmenteredundantes,ummidplanepassivocommaisde8TbpsemcapacidadedebandadeE/S.Alémdisso,osuporteaoFlexIOforneceváriasopçõesdeconectividadeparaosseusservidores.

• Confiabilidade e eficiência. Seisfontesdeenergiaenoveventiladores,todoshot-swap,permitindoarealizaçãodemanutençãoseminatividadedecomponentes-chavedochassi.Todososcomponentessãoconfiguradosparaamaisaltaeficiênciaenergéticapossível,parareduziroconsumodeenergiadodatacenter.

Assituaçõespodemvariarevocêdeveconsideraroseucasoespecíficoaoprojetarasuatopologia.Nestecaso,utilizamosdoisswitchesForce10MXL10/40GbEjuntamentecomquatroswitchesDellPowerConnect™M8024-KparafabricsA,BeCnoseuchassiPowerEdgeM1000e.

Pararedundância,combinamososswitchesForce10MXLemumsógrupoparadarsuporteaonossotráfegointra-nodedoOracleRAC;alémdisso,designamoscadaNICnoFabricAemnossosnósdoPowerEdgeM420aumadeduasredesprivadasintra-node.ParaosFabricsBeC,empilhamososswitchesPowerConnectM8024-KeligamosoterceiroequartoNICsemcadanóparagarantiraredundância,designando-osparaaredepública.Aomesmotempo,utilizamosopacotedeferramentasEqualLogicHostIntegrationToolsparaLinuxemvezdasferramentasdosistemaoperacional,deformaagerenciarosNICstrêsequatro,paraotráfegoiSCSImultipercurso.Essaconfiguraçãopermitiumaiorredundânciaeonívelmaisaltoderendimentointra-nodeeiSCSI.Asestruturasderedevariam.Consulteoseuadministradorderedeeosmanuaisdos



Controlador 1 Controlador 2

Figura 3: topologia utilizada para esta arquitetura de referência.

Configurando o storageConsiderações de armazenamento e melhores práticas

Osubsistemadearmazenamentotemumpapelvitalemqualquerdesigndesistemasdebasesdedados.Emnossatopologia,utilizamosumDellEqualLogicPS6110XScomooprincipalhardwaredearmazenamentoparaonossoambienteOracleDatabase11gR2.Vocêdevelevaremcontaosseguintespontosquandoplanejaroarmazenamentodoseuambiente:

• Certifique-sedequeinstalouasatualizaçõesefirmwaresmaisrecentesnoseusubsistemadearmazenamentoenohardwaredearmazenamentoemrede.

• SeestiverutilizandoiSCSI,consulteasmelhorespráticasindicadaspelofabricanteparaobteraconfiguraçãoidealdoswitch,como,porexemplo,osajustesrelacionadosaosJumboFrames,ControledeFluxo,Spanningtree,etc.

• SeestiverusandoiSCSI,utilizeasVLANsparasepararotráfegodearmazenamentoquandonãoforpossívelsepararfisicamenteasredes.

• Aredundânciaéessencial–planejesempreváriospercursosparaqueosseushostssecomuniquemcomoarmazenamento.Utilizedriversmultipercursosdofornecedordoequipamentodearmazenamentoparagarantiromáximodesempenho.

equipamentosderedeparaobterasmelhorespráticasparaumarelaçãoequilibradaentredesempenhoeredundância.



• Utilizealgumtipodetiering–seoseuambientenãocontarcomumEqualLogicPS6110XSououtrostoragecomafuncionalidadedeauto-tiering,éaconselhávelpensaremfazerotieringmanualdosseusdados,alocandoosdadosmaisestratégicosevoláteisnostoragemaisrápidoeosdadosacessadoscommenosfrequênciaemumstoragemaislento.

• Leveemconsideraçãoacargadetrabalho–ascargasdetrabalhodeaplicativospodemvariaramplamenteemseuspadrõesdeacessodedados,podendoafetarodesempenhodoseusistema.ParasabermaissobreasconfiguraçõesdeRAID,consulteofolhetoDell“CompreendendoasTrocasentreaAplicaçãodeBasedeDadosOracleemConfiguraçõesdeArmazenamentoRAID5eRAID10”.

Cadasituaçãoedesigndeaplicaçãoédiferente.Leveemcontatodasascamadasdoseuhardwareesoftwareesuainteroperabilidadeantesdeestabelecerumdesigndearmazenamento.

Configurando o Dell EqualLogic PS6110XS

GraçasàinterfacedegerenciamentounificadadostorageDellEqualLogic(videFigura4),aconfiguraçãodoDellEqualLogicPS6110XSéamesmadequalqueroutramatrizDellEqualLogic.Paraconfiguraroseustorage,vocêdeve:

• Configurarseugrupo,casoeleaindanãoestejaconfigurado.Issopodeserfeitoatravésdeumaconexãoserialàprimeiramatriz-membro,atravésdocomandodeconfiguração.

• ConfigureosníveisdeRAIDemsuasmatrizes.Nainterfaceweb,cliquecomobotãodireitodomousenomembroeescolha“ModifyRaidConfiguration”(ModificarConfiguraçãodeRaid).

• Crieosvolumeseconfigureaautenticaçãodeles.Nainterfaceweb,cliqueem“Volumes”eselecione“Createvolume”(criarvolume).Vocêpodeconfiguraroacessoaovolumenaguia“Access”(acesso).

• Depoisdaconfiguração,utilizeoSANHeadQuarters(SANHQ)paramonitorarpossíveisproblemascomoseuSAN.

• AcompanheositedesuporteDellEqualLogicparaobterosmaisrecentesfirmwareseatualizaçõesdoHostIntegrationTool.



figura 4: interface web de gerenciamento do Dell equallogic.

Configurando o servidorConsiderações e melhores práticas do Dell PowerEdge M420

OservidorbladeDellPowerEdgeM420saidefábricacomoprocessadorIntelXeondasérieE5-2400emumaconfiguraçãodedoissoquetescomaté192GBRAM.AoconfiguraroseuhardwarePowerEdgeM420,leveemconsideração:

• AmaiorpartedascargasdetrabalhodebasesdedadosfazemusointensodeRAM.ConfigureoseuservidorcomRAMsuficienteparaascargasdetrabalhodassuasbasesdedados.

• AsopçõesdenúmerosdenúcleosparaoPowerEdgeM420são4,6e8.Asopçõesdecachedoprocessadorvariamentre10MBe20MB.Paramaiordesempenho,recomendamoscomprarprocessadorescomomaiornúmerodenúcleoseamaiorquantidadedecachequeoseuorçamentopermitir.Issoseaplicaespecialmenteparacargasdetrabalhointensasdebasesdedados,quepodemsebeneficiaramplamentedeumnúmeromaiordenúcleos,frequênciasmaisvelozesemaiscachedeCPU.

• Certifique-sedequeaBIOSeofirmwaredoseuPowerEdgeM420BIOSestejamnasversõesmaisrecentesliberadaspelaDell.

• TesteospadrõeseperfisdedesempenhodasuacargadetrabalhousandoasopçõesdeenergiadaBIOSfornecidaspelaDellparamaximizaraeficiênciaenergética.



InStALADO O SIStEMA OPERACIOnAL E OS PRé-REqUISItOS DO CLUStERinstalando o oracle linux 6

Paraestaarquiteturadereferência,utilizamosoOracleLinux6.2,versãodokernelcompatívelcomoRedHat.VocêpodebaixarosoftwarediretamentedaOracle,atravésdoendereçohttps://edelivery.oracle.com/linux/.Aseguir,revisaremosospassosdeinstalaçãodosistemaoperacionalOracleEnterpriseLinuxnoDellPowerEdgeM420.Sigaessespassosparatodososnós.Configurando os discos locais e as opções de boot

Parainstalarosistemaoperacional,vocêprimeiroprecisaconfigurar,pelomenos,umvolumelógiconoDellPowerEdgeM420.EscolhemosconfigurarumpardediscosRAID1espelhadoemumúnicovolumeparaosistemaoperacional.Sigaessespassosemtodososservidores.

1. ConecteàportadegerenciamentoiDRACnoPowerEdgeM420individual.2. Reinicieoservidor,pressioneF10eentrenoLifecycleController.3. Selecione“OSDeploy”(aplicaçãodesistemaoperacional)ecliqueemNext(avançar).4. ConfigureosdiscoslocaiscomoparRAID1espelhado.5. ConecteoDVDdeinstalaçãodoOracleLinux6aoservidoratravésdaporta

USBoudoCMCcomomídiavirtual.6. Em“OStype”(tipodesistemaoperacional),selecione“Other”(Outro)e

cliqueemNext.7. SelecioneaBIOScomométododebootecliqueem“Finish”(finalizar)para

reiniciaroservidoreiniciarainstalação.

instalando o sistema operacional

Continueoprocessodeinstalaçãodosistemaoperacionalreiniciandoosistemaeconfigurandoasopçõesdeinstalação.Paracompletaratarefa,reviseospassosabaixo:Sigaessespassosemtodososservidores.

1. Nateladeboas-vindasdoOracleLinuxServer6.2,selecione“Installorupgradeanexistingsystem”(instalaroufazerupgradedosistemaexistente)edepoispressioneNext.

2. NatelaOracleLinux6,cliqueemNext.3. Natelasolicitandooidiomadeinstalação,selecioneoseuidiomaecliqueemNext.4. Nateladeseleçãodeteclado,selecioneseutipodetecladoecliqueemNext.5. Natela“StorageDevices”(dispositivosdearmazenamento),selecione“Basic

StorageDevices”(dispositivosdearmazenamentobásicos)ecliqueemNext.6. Seopop-upStorageDeviceWarning(advertênciadedispositivode

armazenamento)aparecer,selecioneYes(sim)parausarodisco.7. Natelaseguinte,insiraonomedohost(ex:node01)ecliqueemNext.8. Nateladefusohorário,selecioneoseufusohorárionalista,marqueaopção

“SystemclockusesUTC”(relógiodosistemausafusoUTC)ecliqueemNext.



9. Nateladesenhaderoot,insiraasenhadeadministrador(duasvezes)ecliqueemNext.

10. Natelaquesolicitaotipodeinstalaçãoquedesejafazer,selecioneReplaceExistingLinuxSystem(s)(substituirinstalaçõesexistentesdoLinux)ecliqueemNext.

11.Natela“Writingstoragetodisk”(Copiararmazenamentoparaodisco),formateodiscoecrieossistemasdearquivosselecionandoaopção“Writechangestodisk”(gravaralteraçõesemdisco).

12.Natelaquesolicitaotipodeinstalação,mantenhaopadrão(BasicServer)ecliqueemNextparainiciarainstalação.

13.Quandoainstalaçãoterminar,cliqueemReboot(reiniciar).

Pré-requisitos do clustersegurança e firewall

Aseguir,desabiliteoSELinuxefirewall.Realizeosseguintespassosemtodososservidoresdoseucluster.

1. Abraumajaneladeconsoleefaçaseulogincomoroot.

2. DesabiliteoSELinuxeditandooarquivo/etc/selinux/configemodificandoalinha

SELINUX=enforcing

para

SELINUX=disable

3. Desabiliteofirewall:

# chckconfig iptables off

# chkconfig ip6tables off

Modificando o kernelDepoisdedesabilitarofirewall,modifiqueokernelrealizadoosseguintespassos

emtodososservidores.

1. DefinaobootdosistemaoperacionalparaokernelnãoUEKatravésdocomando:# echo “savedefault --default=1 --once” | \grub --batch

2. Reinicieoservidorfaçaologincomoraiz.3. RemovaokernelUEK:# yum remove kernel-uek

Configurando a rede

Paraosnossosajustes,configuramososdoisNICsnasmalhasA1eA2dochassiparaqueestejamemredesprivadasindependentes.Ajustamosseusarquivosdeconfiguração,ifcfg-em1eifcfg-em2,em/etc/sysconfig/network-scripts,comomostramosabaixo(realizeessespassosemtodososservidores):



#File1DEVICE=em1HWADDR=5C:F9:DD:11:0D:2FONBOOT=yesIPADDR=10.152.57.102PREFIX=24

#File2DEVICE=em2HWADDR=5C:F9:DD:11:0D:32ONBOOT=yesIPADDR=10.152.56.102PREFIX=24

Nanossatopologia,configuramososdoisNICsseguintesemligaçãoconjuntaparaaredepública.UtilizamosessesNICsparatráfegoiSCSI,masnãoexpomosaquelesendereçosdeIPaqui.Configuramososarquivos(ifcfg-em3,ifcfg-em4)daseguinteforma:

#File1DEVICE=p1p1HWADDR=5C:F9:DD:11:0C:45ONBOOT=yesMASTER=bond0SLAVE=yes

#File2DEVICE=p1p2HWADDR=5C:F9:DD:11:0C:48ONBOOT=yesMASTER=bond0SLAVE=yes

DEVICE=bond0ONBOOT=yesIPADDR=10.152.55.102PREFIX=24

CarreguealigaçãodeNICsexecutandooarquivodemódulo/etc/modprobe.d/bond.conf:

# echo “alias bond0 bonding” > \ /etc/modprobe.d/bond.conf

Configurando o DnS

ParaaresoluçãodoDNS,adicioneosnomesparaoservidor(nameserver)edomínio(domain)noarquivo/etc/resolv.confemcadaumdosservidoresusandoosseguintescomandos:

nameserver WWW.XXX.YYY.ZZZdomain DOMAINNAME



Configurando os repositórios para baixar e instalar pacotes

Realizeosseguintespassosemtodososservidores:

1. ConfigureogerenciadordepacoteYUMparautilizarorepositóriodesoftwarepúblicoOracle.

2. BaixeeinstaleoarquivorepodoOracleLinux: # wget http://public-yum.oracle.com/public-yum-ol6.

repo

3. Modifiqueoarquivoparausarapenaspacotesdadistribuição6.2.Editeoarquivopublic-yum-ol6.repoemodifiquealinhaenabled=1paraenabled=0.Nogrupo6.2,modifiqueenable=0paraenable=1.

4. Copieoarquivomodificado/etc/yum.repos.d: # cp public-yum-ol6.repo /etc/yum.repos.d

5. Instaleopacoteiscsi-initiator-utilseospacotesdepré-requisitosGrid/Oracle:# yum install iscsi-initiator-utils binutils gcc \gcc-c++ glibc compat-libcap1 \compat-libstdc++-33 glibc-devel libaio \libaio-devel libgcc libstdc++ libstdc++-devel \ sysstat make ksh elfutils-libelf-devel \unixODBC unixODBC-devel

# yum install compat-libstdc++-33.i686 \glibc-devel.i686 libaio.i686 libaio-devel.i686 \ libstdc++.i686 libstdc++-devel.i686 glibc.i686 \libgcc.i686 unixODBC.i686 unixODBC-devel.i686

Configurando os endereços de IP do clusterInsiraosendereçosdeIPparaosendereçosdeIPvirtuaisdocluster,alémdos

endereçosdeIPparacadainterfacepúblicaeprivadadoservidorno/etc/host.Porexemplo(Sigaessespassosemtodososservidores):

# Public10.152.55.101 node0110.152.55.102 node02...# VIPs10.152.55.111 node01-vip10.152.55.112 node02-vip...# Private #110.152.56.101 node01-priv110.152.56.102 node02-priv1



…# Private #210.152.57.101 node01-priv210.152.57.102 node02-priv2…

Configurando o ntP

ConfigureoserviçodetempodoNTPparaosistemaoperacionaleparaopré-requisitodoOracleGridemcadaumdosservidores:

1. ConfigureascorreçõesdeNTPparausarorodízioeditandooarquivo/etc/sysconfig/ntpdemodificandoalinha:OPTIONS=”-u ntp:ntp -p /var/run/ntpd.pid –g”

para

OPTIONS=”-u ntp:ntp -p /var/run/ntpd.pid -g –x”

2. ModifiqueosservidoresNTPem/etc/ntp.confdeacordocomanecessidadedasuaorganização.

3. Zereotempodoservidor:

# service ntpdate start

4. InicieodaemonNTP:

# chkconfig ntpd on# service ntpd start

Configurando o iSCSI com o Dell EqualLogic

Sigaessespassosemtodososservidores.

1. InstaleasFerramentasdeIntegraçãodeHostEqualLogicparaLinux.CopieaISOdedistribuiçãonoservidoremonteaimagem:

# mount –o loop \equallogic-host-tools-1.1.0-1.iso /mnt

2. Executeoinstaladoreaceiteasconfiguraçõespadrão,incluindoosreparosautomáticos(Fixes):

# /mnt/install

3. ConfigureoiSCSIparaacessarosvolumesdamatrizdearmazenamento.DetermineendereçosMACsecundáriosparaasduasinterfaces,p1p1ep2p2quesecomunicarãocomamatriz.EssesendereçosMACpodemserencontradosnoiscsiadm –m ifaceresultante.Eles,normalmente,sãorelacionadosaosseusendereçosMACprimários(encontradosnoifconfigresultante,porexemplo);emespecial,oúltimo(emenossignificativo)parhexadecimalnosendereçosMACsecundárioséumamaisdoqueoparcorrespondentenoendereçoMACprimário.VocêpodeverificaroiDRAC



doservidorparadeterminarcadaendereçoMACprimárioesecundáriodainterface.LevandoemcontaqueosendereçosMACsecundáriosdosdoisNICssãobnx2i.XX:XX:XX:XX:XX:YYebnx2i.XX:XX:XX:XX:XX:ZZ,definaendereçosdeIPparaaquelesdispositivosnasub-rededamatrizdearmazenamento

# iscsiadm -m iface -I bnx2i.XX:XX:XX:XX:XX:YY \ -o update -n iface.ipaddress -v 192.168.5.XX1

# iscsiadm -m iface -I bnx2i.XX:XX:XX:XX:XX:ZZ \ -o update -n iface.ipaddress -v 192.168.5.YY1

4. ModifiqueoarquivodeconfiguraçãoEqualLogicHIT,/etc/equallogic/eql.conf,paramodificarotransporteiSCSIdeTCPparaaqueleutilizadopelosNICs.Editeoarquivoemodifiquealinha:

IscsiInitiator = tcp

para

IscsiInitiator = bnx2i

5. ReinicieodeamondoHITEqualLogic:

# service ehcmd restart

6. DefinaoportaliSCSIdamatrizparaencontrarosalvos.Aqui,oendereçodoportalé192.168.5.11.EspecifiqueosnomesdeiSCSIdeambasasinterfaces:

# iscsiadm -m discovery -t st -p 192.168.5.11 \ -I bnx2i.XX:XX:XX:XX:XX:YY \ –I bnx2i.XX:XX:XX:XX:XX:ZZ

7. Listadealvos:

# iscsiadm –m node8. Façaologinemcadaumdosalvos(ex:iqn.2001-05.com.equallogic:4-

52aed6-df2c63f66-6ef0000001e500b6-l3):

# ehcmcli login –T \ iqn.2001-05.com.equallogic:4-52aed6-df2c63f66-6ef0000001e500b6-l3Obs.:OcomandoanteriorimprimeonomedodispositivodebloqueiodovolumeiSCSI(umlinksimbóliconodiretório/dev/eql).

9. Apenasnoprimeiroservidor,crieumapartiçãoemcadadispositivo:

# fdisk –cu /dev/eql/NAME_OF_VOLUMEa. Insiranb. Insirapc. Insira1d. PressioneEnterparaselecionarosetordeiníciopadrão.e. PressioneEnterparaselecionarosetorfinalpadrão.f. Insiraw



Configurando os pré-requisitos de instalação Oracle

1. CrieosseguintesgruposeloginsparaoOracleGrideBasedeDados.Sub-stituaasIDsnuméricasdeusuárioegrupocomascorrespondentesutiliza-dospelasuaempresa:# groupadd -g 1001 oinstall# groupadd -g 1002 dba# groupadd -g 1003 asmadmin# groupadd -g 1004 asmdba# useradd -u 1003 -g oinstall \ -G dba,asmadmin,asmdba grid# useradd -u 1002 -g oinstall \ -G dba,asmadmin,asmdba oracle

2. Definasenhasparaascontasoracleegrid:# passwd oracle# passwd grid

3. Definaovalordeumaskparaascontasoracleegrid:# echo “umask 022” >> ~oracle/.bash_profile# echo “umask 022” >> ~grid/.bash_profile

4. CrieodiretórioparaosoftwareOracle,inventárioeoutrosdados:# mkdir –p /u01/app/oracle# mkdir /u01/app/grid# chown -R oracle:oinstall /u01

# chmod –R g+w /u01/app

5. Aumenteoslimitesderecursosparaascontasoracleegrideditandooarquivo/etc/security/limits.confeadicionandoaslinhasaofimdoarquivo:

6. oracle - nproc 16384oracle - nofile 65536oracle - stack 10240grid - nproc 2047

grid - nofile 65536

Modifiqueaconfiguraçãodosistemadeacordocomospré-requisitosOra-cle,adicionandoasseguinteslinhasao/etc/sysctl.conf:kernel.msgmnb = 65536kernel.msgmax = 65536kernel.sem = 250 32000 100 128fs.file-max = 6815744fs.aio-max-nr = 1048576net.ipv4.ip_local_port_range = 9000 65500net.core.rmem_default = 262144net.core.wmem_default = 262144



net.core.rmem_max = 4194304

net.core.xwmem_max = 1048576

7. FaçaoprocessamentodosvaloresdosparâmetrosdememóriacompartilhadaSYSV,quedependemdaquantidadedeRAMdoservidor.

a. Ovalordoparâmetrokernel.shmalléotamanhodamemóriaRAMdosistemadivididopelotamanhodapágina.Otamanhodapáginaénormalmente4096bytesepodeserdeterminadopelocomando:# getconf PAGE_SIZE

b. ParaRAMiguala128GB,oparâmetrokernel.shmallseráiguala128*1024*1024*1024/4096ou33,554,432.SeamemóriaRAMfor32GB,okernel.shmallseráproporcionalmentemenorou8,388,608.Configureovalorcorretoparaokernel.shmalldoseusistemaadicionandoumalinhaaofinaldo/etc/sysctl.conf,comoesta:kernel.shmall = 33554432

c. Ovalordoparâmetrokernel.shmmaxéametadedotamanhodamemóriatotal.Paraanossamemóriade128GB,porexemplo,oparâmetrodeveráserconfiguradopara128*1024*1024*1024/2ou68,719,476,736;para32GB,kernel.shmmax,seráproporcionalmentemenor:32*1024*1024*1204/2=17,179,869,184.Adicioneumalinhaaofinaldo/etc/sysctl.conf,comoesta:kernel.shmmax = 68719476736

8. Paraaplicarasmodificaçõessemprecisarreiniciar,executeocomando:# sysctl -p

9. Crieumarquivo/etc/init/ohasd.conf,queiniciaodaemonOracleGridHA:

#startinit.ohasdstart on runlevel [35]stop on runlevel [016]respawnexec /etc/init.d/init.ohasd run >/dev/null 2>&1 </dev/null

10.Repitaospassosde1a9paracadaumdosservidores.Lembre-sedequeváriosarquivosdeconfiguraçãopodemsercopiadosdeumservidorparaoutro.

instalanDo e configUranDo o oracle raccriando o clusterinstalando a infraestrutura de grid oracle

1. Todososnósnoservidordevemserconfiguradoscomonaseçãoanterioreligados.

2. CopieosoftwareOracleGridInfrastructure11gR2paraumdosnós.

3. Façaologincomocontagridedescompacteoprograma:



# su – grid% unzip /tmp/linux.x64_11gR2_grid.zip

4. ExecuteoinstaladorapósconfiguraravariávelXWindowDISPLAY:

% grid/runInstaller

5. SeoinstaladoradvertirqueoutilitárioXWindownãopodeserencontrado,digiteyparacancelar.

6. Natela“SelectInstallationOption”(selecioneaopçãodeinstalação),selecioneaopção“InstallandConfigureGridInfrastructureforaCluster”(instalareconfigurarainfraestruturadegridparaumcluster)ecliqueemNext.



7. Natela“SelectInstallationType”,selecione“TypicalInstallation”ecliqueemNext.

8. Natela“SpecifyClusterConfiguration”(especifiqueaconfiguraçãodocluster),insiraonomeSCAN(nomedoclusteremDNS).

9. Namesmatela,cliqueem“Add”(adicionar)parainserirohostnameeonomeVIPparacadanóadicional(porexemplo,Hostname:node04;VirtualIPName:node04-vip).



10.Namesmatelacliqueem“SSHconnectivity”(conectividadeSSH),insiraasenhaparaosistemaoperacionaldogridenasubtelacliqueemSetup.



11.CliqueemNext.

12.Natela“SpecifyInstallLocations”(especifiqueoslocaisdeinstalação),insira/u01/app/gridparaOracleBase,/u01/app/11.2.0/gridpara“SoftwareLocation”(localdosoftware),selecionando“AutomaticStorageManagement”(gerenciamentoautomáticodearmazenamento)em“ClusterRegistryStorageType”(tipodearmazenamentoderegistrodocluster),insiraasenhaSYSADMeselecioneasmadminnogrupoOSASM.CliqueemNext.



13.Natela“CreateASMDiskGroup”(crieumgrupodediscoASM),cliqueem“ChangeDiscoveryPath”(alterarcaminhodedescoberta).Insira/dev/eql ecliqueemOK.



14.Ajaneladediscodeveserpopuladaportrêsdiscos.Selecione-osecliqueemNext.

15.Natela“CreateInventory”(criarinventário),insira/u01/app/oraInventoryecliqueemNext.



16.Natela“PerformPrerequisiteChecks”(verificarpré-requisitos),examineosalertas.Seelespodemsercorrigidosautomaticamente,cliqueem“Fix&CheckAgain”(corrigireverificarnovamente).Setodasasadvertênciasforemrelativasapacotesfaltantesevocêinstalouospacotesacima,marqueaopção“IgnoreAll”(ignorartodas)ecliqueemNext.

17.Natela“Summary”(resumo),cliqueemFinish(terminar)paracomeçarainstalação.



18. Aofinaldainstalação,surgiráajanelapop-upExecuteConfigurationscripts(executarscriptsdeconfiguração).Abraumasegundajaneladeconsoleeexecuteoprimeiroscriptdecadanó.## For node01# /u01/app/oraInventory/orainstRoot.sh## For each remote node# ssh node02 /u01/app/oraInventory/orainstRoot.sh

…



19.Executeosegundoscriptemumajanela.Quandooresultadodoscriptindicarqueestátentandoiniciarodaemonohasd(oquenãoserápossível),digite“initctl start ohasd”naprimeirajaneladeconsole.Porexemplo:## In window 2# ssh node02 /u01/app/11.2.0/grid/root.sh## In window 1# ssh node02 initctl start ohasd



20.Depoisderodarosscripts,cliqueemOKnatela“ExecuteConfigurationscripts”ecliqueemClose(fechar).



21.NatelaFinish,cliqueemClose.

Instalando o Oracle RAC 11g (Oracle Database) no clusterNestaseção,vocêteráinstruçõespassoapassoparaainstalaçãodoOracleRAC

nocluster.1. Todososnósdoclusterdevemestarativados.2. CopieosoftwareOracleOracleDatabase11gR2paraumdosnós.3. FaçaologincomacontaOracleedescompacteoprograma:

# su – oracle% unzip /tmp/ linux.x64_11gR2_database_1of2.zip% unzip /tmp/ linux.x64_11gR2_database_2of2.zip

4. ExecuteoinstaladorapósconfiguraravariávelXWindowDISPLAY:% database/runInstaller

5. SeoinstaladoradvertirqueoutilitárioXWindownãopodeserencontrado,digiteyparacancelar.



6. NatelaConfigureSecurityUpdates(configuraratualizaçõesdesegurança),insiraasinformaçõesdecontatocorretasecliqueemNext.

7. Natela“SelectInstallationOption”(selecionaropçãodeinstalação),marqueaopção“Createandconfigureadatabase”(criareconfigurarumabasededados)edepoiscliqueemNext.



8. Natela“SystemClass”(categoriadosistema),selecioneacategoriaecliqueemNext.

9. Natela“NodeSelection”(seleçãodenó),selecione“RealApplicationClusterdatabaseinstallation”(instalaçãodebasededadosdoRAC),eselecionetodososnósdocluster.



10.Namesmatelacliqueem“SSHconnectivity”(conectividadeSSH),insiraasenhaparaosistemaoperacionalOracleenasubtelacliqueemSetup.CliqueemNextdepoisqueaconfiguraçãoterminar.

11.Natela“SelectInstallationType”,selecione“TypicalInstallation”ecliqueemNext.



12.NatelaTypicalInstallConfiguration,insira/u01/app/grid noitemOraclebase,insira/u01/app/grid/product/11.2.0/db_home_1emSoftwarelocation,selecioneaopçãoAutomaticStorageManagementnoitemStorageType,insiraOCRnoitemDatabasefilelocation,insiraasenhaemASMSNMPpassword,selecioneaopçãoEnterpriseEditionnoitemDatabaseedition,selecioneaopçãodbanoitemOSDBAGroup,insiraasenhaadministrativadabasededadosecliqueemNext.



13.Natela“PerformPrerequisiteChecks”,selecioneaopção“IgnoreAll”seasúnicasopçõesforempacotesfaltantesevocêinstaloutodosospacotesdesoftwareacima.CliqueemNext.

14. Natela“Summary”,cliqueemNextparainiciarainstalaçãodabasededados.



15.Quandoainstalaçãodosoftwareterminar,serácriadaabasededados.

16.Quandoatela“DatabaseConfigurationAssistantWarning”(advertênciadoassistentedeconfiguraçãodabasededados),executeoassistentedeconfiguraçãodarede,/u01/app/11.2.0/grid/bin/netca.



17.Natela“OracleNetConfigurationAssistant:Welcome”(assistentedeconfiguraçãoderedeOracle:boas-vindas),selecioneaopção“Listenerconfiguration”(configuraçãodolistener)ecliqueemNext.

18.Natela“ListenerConfiguration,Listener”,selecioneAdd(adicionar)ecliqueemNext.



19.Natela“ListenerConfiguration,ListenerName”,insiraonomedoListener(ouvidor)ecliqueemNext.

20.Natela“ListenerConfiguration,SelectProtocols”(selecioneprotocolos),selecioneTCP(adicionar)ecliqueemNext.



21.Natela“ListenerConfiguration,TCP/IPProtocol”,selecioneaopção“Usethestandardportnumberof1512”(utilizeonúmerodeportapadrão1512)ecliqueemNext.

22.Natela“ListenerConfiguration,MoreListeners”(maislisteners),selecioneNo(não)ecliqueemNext.



23.Natela“ListenerConfigurationDone”,cliqueemNext.

24.NatelaWelcome,cliqueemFinish.



25.Quandoacriaçãodabasededadosterminar,cliqueemOK.



26. Quandoatela“ExecuteConfigurationscripts”(executarscriptsdeconfiguração)forexibida,abraumasegundajaneladeconsoleefaçaologincomoroot.Executeoprimeiroscriptnosnósremotoseosegundoemtodososnós.

# ssh node02 /u01/app/oraInventory/orainstRoot.sh# ssh node03 /u01/app/oraInventory/orainstRoot.sh… # /u01/app/grid/product/11.2.0/dbhome_1/root.sh# ssh node02 \ /u01/app/grid/product/11.2.0/dbhome_1/root.sh…



27. Depoisderodarosscripts,cliqueemOKnatela“ExecuteConfigurationscripts”ecliqueemClose(fechar)natelaInstallProduct(instalaroproduto).

28.NatelaFinish,cliqueemClose.



resUMoAdensidadedeprocessamentodoseudatacentertempapeldecisivonosseus

resultados–instalarmaispoderdeprocessamentoemespaçosmenorespodereduzirdemaneirasignificativaoscustosdedatacenters.OservidorbladeDellPowerEdgeM420,ultradensoecomumquartodealtura,combinaosswitchesDellPowerConnecteForce10,ogabinetebladeDellPowerEdgeM1000eeasmatrizesDellEqualLogicPS6110XSparamaximizaradensidadedeprocessamentodoseudatacenter.



sistema Dell Poweredge M420

fontes de alimentação GabineteBladePowerEdgeM1000eNúmerototal 6Fornecedorenúmerodomodelo DellA236P-00Potênciadecada(W) 2.360Ventiladores GabineteBladePowerEdgeM1000eNúmerototal 9Fornecedorenúmerodomodelo DellYK776Rev.X50Dimensões(axl)decada 3,1"x3,5"Volts 12Amps 7geral Númerodepacotesdeprocessadores 2Númerodenúcleosporprocessador BNúmerodethreadspornúcleo 2Políticadegerenciamentodeenergiadosistema EquilibradacPU Fornecedor IntelNome XeonNúmerodoModelo E5-2470Stepping C2Tipodesoquete FCLGA1356Frequênciadenúcleo(GHz) 2,3FrequênciadeBus 8GT/sCacheL1 32KB+32KB(pornúcleo)CacheL2 256KB(pornúcleo)CacheL3 20MBPlataformaFornecedorenúmerodomodelo DellPowerEdgeM420Númerodomodelodaplaca-mãe 0MN3VCNomeeversãodaBIOS Phoenix1.2.4ConfiguraçõesdaBIOS PadrãoMódulos de memóriaRAMtotaldosistema(GB) 96Fornecedorenúmerodomodelo SamsungM393B2G70BH0-YH9Tipo PC3L-10600RVelocidade(MHz) 1,333Velocidadedosistema(MHz) 1,333Tempo/Latência(tCL-tRCD-tRP-tRASmin) 9-9-9-36

APênDICE A – DEtALHES DO SIStEMA DELL POwEREDGE M420 AFigura5exibeaconfiguraçãodeservidorqueutilizamosnesteguia.



sistema Dell Poweredge M420

Tamanho(GB) 16NúmerodemódulosRAM 6Organizaçãodochip DedoisladosRank Duplosistema operacionalNome OracleEnterpriseLinux6.2,x86_64Sistemadearquivos ext4;OracleASMvolumemanagerKernel 2.6.32-220.el6.x86_64Idioma InglêsPlaca GráficaFornecedorenúmerodomodelo Matrox®G200eRMemóriadevídeo(MB) 16Driver 2.4.1.09/8/2011controladores de raiDFornecedorenúmerodomodelo DellPERCH310EmbeddedVersãodofirmware 20.10.1-0084Discos rígidosFornecedorenúmerodomodelo DellM16CSD1-50UCV-DNúmerodediscosdosistema 2Tamanho(GB) 50Tamanhodobuffer(MB) N/DRPM N/DTipo SSDadaptadores ethernetFornecedorenúmerodomodelo 4xBroadcom®BCM57810NetXtreme®II10GigETipo MezzanineDriver 7.2.8.03/13/2012Portas Usb:Número 2externasTipo 2.0

Figura 5: Configuração do servidor utilizada para esta arquitetura de referência.



sobre a PrinciPleD tecHnologies

PrincipledTechnologies,Inc.1007SlaterRoad,Suite300Durham,NC,27703www.principledtechnologies.com

Oferecemosavaliaçõesdetecnologialíderesnaindústriaeserviçosdemarketingcentradosemfatos.Acadaavaliação,aplicamosanossaextensaexperiênciaeexpertiseemtodososaspectosdostesteseanálisesdetecnologia–dapesquisadeinovaçõestecnológicas,passandopelodesenvolvimentodenovasmetodologias,alémdostestesqueincluemtantoferramentasatuaisquantoasnovidadesdosetor.

Depoisqueaavaliaçãoforcompletada,sabemoscomoapresentarosresultadosaospúblicosmaisabrangentes.Fornecemosaosnossosclientesoqueelesprecisam,incluindoinformaçõesfocadasnomercadoparautilizaremnapersonalizaçãodevendas,comrelatóriosdeteste,avaliaçõesdedesempenhoefolhetosexplicativos.Cadadocumentorefleteosresultadosdasnossasanálisesindependenteseconfiáveis.

Prestamosserviçospersonalizadoscomfoconasexigênciasdosnossosclientesindividuais.Astecnologiasincluemhardware,software,sitesdainternetouserviços–paratodaselas,oferecemosexperiência,expertiseeferramentasparaajudarnossosclientesaavaliarcomopodemdesenvolvervantagensemrelaçãoàconcorrência,desempenho,prontidãoparaomercado,qualidadeeconfiabilidade.

Nossosfundadores,MarkL.VanNameeBillCatchings,trabalharampormaisde20anosnaavaliaçãodetecnologia.Comojornalistas,elespublicarammaisdemilartigosdosmaisdiferentestemasrelacionadosàtecnologia.ElescriaramepresidiramaZiff-DavisBenchmarkOperation,quedesenvolviabenchmarkscomospadrõesdaindústria,comooWinstone,daZiffDavisMedia,eoWebBench.ElesfundaramepresidiramoeTestingLabse,depoisdaaquisiçãodaempresapelaLionbridgeTechnologies,foramdiretoreCTOdaVeriTest.

PrincipledTechnologieséumamarcaregistradadaPrincipledTechnologies,Inc.Todososnomesdeprodutossãomarcasregistradasdosseusrespectivosdetentores.

IsençãodeGarantias;LimitaçãodeResponsabilidade:

APRINCIPLEDTECHNOLOGIES,INC.TOMOUASMEDIDASAOSEUALCANCEPARAGARANTIRAPRECISãOEVALIDADEDOSSEUSTESTES.NOENTANTO,AEMPRESASEISENTAESPECIFICAMENTEDEQUALQUERGARANTIA,EXPRESSAOUSUBENTENDIDA,RELACIONADAAOSRESULTADOSEANáLISESDETESTES,SUAPRECISãO,COMPLETUDEOUQUALIDADE,INCLUINDOQUALQUERGARANTIAINFERIDADEADEQUAçãOAQUALQUEROBJETIVO.QUAISQUERPESSOASOUENTIDADESQUEDEPENDEREMDESSESRESULTADOSDETESTESOFAZEMPORSUAPRóPRIACONTAERISCO,CONCORDANDOQUEAPRINCIPLEDTECHNOLOGIESINC.,SEUSFUNCIONáRIOSEFORNECEDORESNãODEVERãOSERRESPONSABILIZADOSPORQUAISQUERDEMANDASDEPERDAOUDANOOCASIONADOPORSUPOSTOSERROSOUDEFEITOSEMQUAISQUERPROCEDIMENTOSOURESULTADOSDETESTES.

APRINCIPLEDTECHNOLOGIESINC.JAMAISPODERáSERRESPONSABILIZADAPORDANOSINDIRETOS,ESPECIAIS,INCIDENTAISOUEMERGENTESRELACIONADOSASEUSTESTES,MESMOSEADVERTIDADAPOSSIBILIDADEDESSESDANOS.ARESPONSABILIDADEDAPRINCIPLEDTECHNOLOGIESINC.PORDANOSDIRETOSJAMAISDEVERáEXCEDERASQUANTIASPAGASEMRELAçãOAOSTESTESDAPRINCIPLEDTECHNOLOGIESINC.TODOSOSRECURSOSINDIVIDUAISEEXCLUSIVOSDOCLIENTEENCONTRAM-SEAQUIDISPOSTOS.