Departament d'Arquitectura de Computadors i Sistemes Operatius
Mster en Computaci d'Altes Prestacions
BalanceoDistribuidodelEncaminamientoparatopologasFattreesobreRedesInfiniband
MemoriadeltrabajodeinvestigacindelMsterenComputacindeAltasPrestaciones,realizadaporBelmarMexUc,bajoladireccindeDanielFrancoPuntes.PresentadaenlaEscuelaTcnicaSuperiordeIngeniera(DepartamentodeArquitecturadeComputadoresySistemasOperativos)
2 0 0 8
Trabajodeinvestigacin
MsterenComputacindeAltasPrestacionesCurso 2007-08
Ttulo:BalanceoDistribuidodelEncaminamientoparatopologasFattreesobreredesInfinibandAutor:BelmarMexUcDirector:DanielFrancoPuntesDepartamentoArquitecturadeComputadoresySistemasOperativosEscuelaTcnicaSuperiordeIngeniera(ETSE)UniversidadAutnomadeBarcelonaFirmadoAutor Director
AGRADECIMIENTOS:
A mis padres que son mi modelo a seguir y la motivacin principal paracontinuarprosperando.Amishermanas que con su apoyome hacen serunmejorhermanomayor.Amiabuelitalacualtieneunlugarmuyimportanteenmicoraznpor todoelcarioquemebrind.Amis familiaresMexyUcquesiempre sehanpreocupadoporm y han contribuidomucho en lo que soy.TambinamitoManuelqueestdondeestsequeestarorgullosodem.Amis amigos de Campeche que siempre me decan chale ganas. A lafundacinPabloGarcaquemeproporcionmediosparapoderhacermejormiestanciaenBarcelona.SinolvidaraDios,yalCristoNegrodeSanRomnporpermitirmelograrelmsterycuidarmedurantemiestanciaenBarcelona.ConmuchaimportanciaamidirectordeproyectoDanielFranco,queantesquemitutoresunamigo,quecuandoseest tan lejosdecasaes lomejorquesepuede tener.A lacoordinadora delmsterLolaRexachsquedesdeelprimerdaenlaescuelasupequepodacontarconella,mesacdemuchosproblemas,ymehamostradootrasformasdeestudiar.AEmilioLuque,conquientuveelprivilegiodetrabajar,puesesunejemploaseguir;losconocimientosyconsejosque lme aportnunca los olvidar.A todos losmiembrosdemi grupodeinvestigacin: Gonzalo, John, lvaro, Diego y Juan CarlosMoure. Y miscompaerosdemster lvaro,Andrs, Juan,Leonardo,Ronal, ya todos losotrosamigosdellaboratorio.Graciasportodoyatodos.Viviressepararsedeloquefuimosparaacercarnosaloqueseremosenelfuturo
OctavioPaz.
Resumen:
Las redes de interconexin juegan un papel importante en el rendimiento de lossistemas de altas prestaciones. Actualmente la gestin del encaminamiento de losmensajesesunfactordeterminanteparamantenerlasprestacionesdelared.Nuestrapropuesta es trabajar sobre un algoritmo de encaminamiento adaptativo, quedistribuyeelencaminamientodelosmensajesparaevitarlosproblemasdecongestinenlasredesdeinterconexin,queaparecenporelgranvolumendecomunicacionesdeaplicacionescientficascomerciales.Elobjetivoesajustarelalgoritmoaunatopologamuyutilizadaen lossistemasactualescomo loesel fattree,e implementarloenunatecnologa Infiniband. En la experimentacin realizada comparamos elmtodo decontrol de congestin de la arquitectura Infiniband, con nuestro algoritmo. Losresultadosobtenidosmuestranquemejoramoslosnivelesdelatenciaporencimadeun50%ydethroughputentreun38%yun81%.
Abstract:
Interconnection networks play an important role in the throughput of highperformance systems.Currently, themessage routingmanagement isakey factor tomaintain network performance. Our proposal is to work on an adaptive routingalgorithm, which distributes message routing to avoid congestion problems oninterconnection networks that appear due to the large volume of scientific orcommercial application communications. The aim is to adjust the algorithm to atopology that iswidelyused inexisting systems suchas fattree,and couple itwithInfinibandtechnology.InourexperimentswecomparethecontrolcongestionmethodonInfinibandarchitecture,withouralgorithm.Theresultsobtainedshownthatlatencylevelshavebeenimprovedabove50%andthroughputbetween38%and81%.
Resum:
Les xarxes de interconnexi juguen un papermolt important en el rendiment delssistemesdaltesprestacions.Actualmentlagestidelencaminamentdelsmissatgessunfactordeterminantpermantenir lesprestacionsde laxarxa.Lanostrapropostaesdissenyarunalgorismedeencaminamentadaptatiuquedistribueixielencaminamentdelsmissatgesperevitarelsproblemesdecongestienlesxarxesdeinterconnexi,elsquals apareixen pel gran volum de comunicacions de aplicacions cientfiques ocomercials. Lobjectiu s ajustar lalgorisme a una topologiamolt utilitzada en elssistemes actuals como ho es el fattree, i implementarho per a una tecnologiaInfiniband. En lexperimentaci realitzada comparem el mtode de control decongestide larquitecturaInfinibandambelnostrealgorisme.Elsresultatsobtingutsmostrenquemilloremelsnivellsdelatnciapersobredun50%idethroughputentreun38%iun81%.
Balanceo Distribuido del Encaminamiento para topologas Fat-tree sobre redes Infiniband
Master HPC 07/08, DACSO-CAOS 1
CONTENIDO
CAPTULO 1. INTRODUCCIN _________________________________________ _ 55
1.1.CONTEXTO ____________________________________________________________________ 5
1.2.ANTECEDENTES _______________________________________________________________ 6
1.3.MOTIVACIN __________________________________________________________________ 8
1.4.OBJETIVOS ____________________________________________________________________ 10
1.5.ORGANIZACINDELDOCUMENTO ___________________________________________ 10
CAPTULO 2. REDES DE INTERCONEXIN ______________________________ 13
2.1.INTRODUCCIN ______________________________________________________________ 13
2.2.REQUERIMIENTOSDELAREDDEINTERCONEXIN ____________________________ 14 2.2.1.Topologa__________________________________________________________________________ 15 2.2.2ControldeFlujo_____________________________________________________________________ 19 2.2.3TcnicasdeConmutacin ____________________________________________________________ 19 2.2.4Encaminamiento ____________________________________________________________________ 20
2.3 CONSECUENCIASDELHOTSPOT _________________________________________ 23
2.4BALANCEODISTRIBUIDODELENCAMINAMIENTO _____________________________ 25
2.5ALGORITMOSDECONTROLDECONGESTINENTOPOLOGASFATTREE _____ 26
CAPTULO 3. ARQUITECTURA INFINIBAND _____________________________ 29
3.1 DESCRIPCINGENERAL____________________________________________________ 29
3.2COMPONENTES _______________________________________________________________ 30 3.2.1EnlacesyRepetidores ________________________________________________________________ 30 3.2.2SubnetManager_____________________________________________________________________ 31 3.2.3AdaptadoresdeCanal _______________________________________________________________ 31 3.2.4ConmutadoroSwitch________________________________________________________________ 33 3.2.5Canalesvirtuales ____________________________________________________________________ 34 3.2.6AgentedeControldeCongestin______________________________________________________ 35
3.3 CONEXIONES ______________________________________________________________ 36
3.4.ARQUITECTURAPORCAPAS___________________________________________________ 36
CAPTULO 4. OPNET: PLATAFORMA DE SIMULACIN Y DESARROLLO_ 39
4.1.PROJECTEDITOR. _____________________________________________________________ 40
4.2.NODEEDITOR. ________________________________________________________________ 41
4.3.PROCESSEDITOR. _____________________________________________________________ 42
4.4.LINKMODELEDITOR. _________________________________________________________ 44
Balanceo Distribuido del Encaminamiento para topologas Fat-tree sobre redes Infiniband
Master HPC 07/08, DACSO-CAOS 2
4.5.PAKETFORMATEDITOR. ______________________________________________________ 44
4.6.PROBEEDITOR. _______________________________________________________________ 44
4.7.SIMULATIONSEQUENCEEDITOR.______________________________________________ 45
4.8.SIMULACINDES._____________________________________________________________ 45
CAPTULO 5. ANLISIS Y DISEO ______________________________________ 47
5.1FASE1:MONITORIZACINDELACARGADETRFICO __________________________ 47
5.2FASE2:NOTIFICACINDELACONGESTIN ____________________________________ 48
5.3FASE3:CLCULOYSELECCINDETRAYECTORIASALTERNATIVAS_____________ 49
CAPTULO 6. IMPLEMENTACIN _________________________________________ 53
6.1MODELODERED ______________________________________________________________ 53
6.2.MODELADODELNODODECMPUTO _________________________________________ 56 6.2.1.Estadosdelmdulofuente(src). ______________________________________________________ 57 6.2.2.EstadodelmduloSLtoVLmappingunit.______________________________________________ 58 6.2.3.EstadosdelmduloVLarbitrationunit.________________________________________________ 59 6.2.4.EstadosdelmduloSM. _____________________________________________________________ 60 6.2.5.EstadosdelmduloCCMgtA. ________________________________________________________ 62
6.3.MODELODELCONMUTADOR _________________________________________________ 63 6.3.1.EstadosdelmduloCrossbar_________________________________________________________ 65 6.3.2.EstadosdelmduloRoutingunit. _____________________________________________________ 65 6.3.3.EstadosdelmduloBuffer_rcvydelmduloBuffer_xmt_________________________________ 66
CAPTULO 7. EXPERIMENTACIN Y ANLISIS DE RENDIMIENTO _____ 69
7.1.REDESDEINTERCONEXIN ___________________________________________________ 69
7.2.CARGADECOMUNICACIONES ________________________________________________ 70
7.3.PATRONESDETRFICO _____
