Datanettet ved UiO, og litt til…

© UNIVERSITETETS SENTER FOR INFORMASJONSTEKNOLOGI

UNIVERSITETET I OSLOUSIT

Side 1

Datanettet ved UiO, og litt til…..Kjetil Otter Olsen

– Underdirektør» Underavdeling for IT-Drift

– Universitetets Senter for InformasjonsTeknlologi (USIT)

Har ansvaret for alt som er av IT-Drift ved UiO

Har tidligere hatt ansvaret for UiOs datanett++

Og er fortsatt aktiv og interessert innenfor det fagfeltet



Side 2

Dagens agenda• En gjennomgang av UiOs datanett

– Tanker bak designet– Teknologier som benyttes– Noen eksempler– Verktøy

• Utstyr, med mulighet til å kikke i pausen• Internet, hvordan henger det sammen• UNINETT og NORDUnet• WDM, eller hvordan få ”nok” båndbredde• Trådløstnett ved UiO



Side 3

Datanettet ved UiO• UiOs datanett er bygget opp med tre grunnregler

– Raskt, nok båndbredde til alle– Stabilt, minimal nedetid, redundans på viktige steder– Rimelig, mest mulig fart for pengene

• Nettet er under kontinuerlig utbygging, og vil alltid være det

– Andre bygger etter ”skippertak-metoden”

• Vi deler nettet grovt i to deler– Stamnettet, som kopler alle bygningene sammen

» Rutet, Lag 3 i OSI-modellen, bruker OSPF som rutingprotokoll– Lokalnettene, som sørger for kopling til alle maskinene

» Switchet, Lag 2 i OSI-modellen



Side 4

Kabler må til!• To hovedtyper av datakabler

– Fiber. Glassfiber som leder lys– Kobber. Kobbertråder som leder strøm

• To hovedtyper av fiberkabler– Singel-mode, for lange avstander og høye hastigheter– Multi-mode, innomhus, lavere hastigheter. Rimeligere optikk

• Mange typer kobberkabel– Category 3, 5, 5e, 6, 6e, 6a, 7. Høy hastighet, kort avstand– Vanlig «telefonkabel». Enkle signaler over lang avstand (xDSL)



Side 5

Viktige teknologier• Fiber

– Heleid, deleid, leid. Enkelt å få ”nok” båndbredde

• WDM (WaveDivision Multiplexing)– Utnytter fiberen bedre, gir mange forbindelser på en fiber

• Fast-ethernet (FE) og Gigabit-ethernet (GE)– Dagens standarder for datanettet på UiO– 100BaseTX, 100BaseFX– 1000BaseT, 1000BaseSX, 1000BaseLX, 1000BaseZX

• 10Gigabit-ethernet (10GE)– Standarden for stamnett ved UiO for de neste 3-5 årene– 10GBaseSR, 10GBaseLR, 10GBaseER, 10GBaseT– Servertilkopling med 10GE er ikke uvanlig

• 40 og 100gigabit-ethernet (40G og 100G) er godt på vei



Side 6

40 og 100 Gigabit Ethernet• Et arbeid som startet i 2006. Ferdig i 2010. 802.3ba• Eksempler på 40G og 100G

– 40GBase-SR4 10G på 4 x MM fiber, 100 meter– 100GBase-SR10 10G på 10 x MM fiber, 100 meter– 40GBase-LR4 4 x 10G på SM fiber, 10 Km– 100GBase-LR4 4 x 25G på SM fiber, 10 Km

• Produkter tilgjengelig nå, men kostbare, 300.000 pr 100G port!– UNINETT har 100G Oslo - Trondheim, landets første 100G forbindelse!!

• Forventes å falle i pris med 15-30% pr år• 400G og Terabit Ethernet tenkes det på

– Klart rundt 2015 og 2016, kanskje



Side 7

Utstyret, byggeklossene• Stamnettet bygges av Rutere

– Softwarebaserte rutere» Alle pakker inspiseres av SW» Lav hastighet, høy funksjonalitet

– Hardwarebaserte rutere» Alle pakker switches i HW (av ASICs)» Høy hastighet, lav funksjonalitet (men stigende)

• Lokalnettene er bygget opp av Switcher – Binder sammen endeutstyret (servere, maskiner) med ruterne

(stamnettet)

• Alle sammen autonome enheter– Kompliserte, må ta høyde for alt som kan skje– Komplisert å lage, og drifte, store nett med store variasjoner



Side 8

SDN – Software Defined Networking

• Ny teknologi på fremmarsj• Skiller ruting-logikken og

selve «pakkeskyflingen»• Programvare i egen servere• Styrer nettverksutstyret

gjennom et definert grensesnitt

• Åpner for mer avanserte protokoller og trafikkstyring

• Enklere og rimeligere nettverksutstyr



Side 9

Status på UiOs stamnett 2014• Redundant kjerne med mye kapasitet• Redundant høykapasitetsforbindelse til omverden• Redundant ryggradsnett utenfor ”Campus”• Redundant nett på ”Campus”• Planer videre

– Økt redundans– Fiber til flere steder

• Nøkkelord; Redundans og Kapasitet• Og KISS: Keep It Simple, Stupid



Side 10

Sentral infrastruktur

CiscoCatalyst 6509 uio-gw8

CiscoCatalyst 6509uio-gw7

10.000 mb/s



Side 11

Sentral infrastruktur

cat6509 uio-gw8 cat6509 uio-gw7

1.000 mb/s

cat6504 uio-gw10

cat6509 mrom-gw1

cat6509 mrom-gw2

10.000 mb/s



Side 12

Campus 2014

uio-gw7

uio-gw8

HF SV

Adm Abel

Fys

1.000 mb/s

10.000 mb/s

uio-gw22 uio-gw21

FV3

PK

St Olavs plass



Side 13

UiOs stamnett i IFI2

uio-gw21komrom 1

uio-gw22komrom 2

tung-gw2mrom4

ifi-gw22mrom-ifi

ifi-gw21mrom-ifi

mrom-gw21mrom1

mrom-gw22mrom2

uio-gw8

uio-gw7

pk-gw

hf-gw

10G

stp-gw



Side 14

10G LR (sm fiber)

10G kobber (sfp)

ifi-gw21cat6509

ifi-gw22cat6509

Rom 3256 TM A3Rom 3242 TM B3Rom 3206 TM C3

Rom 4310 TM G4 Rom 4227 TM F4 Rom 4241 TM E4 Rom 4267 TM D4

Rom 6366 TM H6

Rom 9366 TM I9IFI2 lokalnett

3 Cat4506 med antall 48p kort

33 33 2 3

33333

3

3

3

3

IfI maskinrom

2?2? uio-gw22

uio-gw21

10G kobber (CX4)



Side 15

Forbindelsen til omverden

uio-gw8

uio-gw21

oslo-gw1

ifi2-gw

NORDUnetStockholm

København

stolav-gw1

10 Gb/s

IFI1 / IFI2

St Olavs plass

NIX1

NIX2

stp-gw

40 Gb/s



Side 16

MAN (Metropolitan Area Network)

uio-gw8

uio-gw7

sentrum-gw stp-gw

odont-gwus-gw

1.000 mb/s

Karl Johansgate 47 St. Olavs plass 5

Geitmyrsveien 69/71Ullevål sykehus

Blindern

10.000 mb/s



Side 17

ObservPreklinisk

Gaustad

SSBU

Geitm.v.

Tøyen

CA30

Fredrik2

St Olav 29

S68

Sentrum

AkerSyk.

B9/11

InformatikkSt.Olavsp.

US

CAS

Viking

Chateau N

FV2

2mb10++mb100mb1000mb

Blindern

RH

F3B

Arbinsgt7

Fredrik3

Kr.Aug15

Lilletorget

AHUS

Grande

FV3

Essen3

Fornebu

28

20

10000mb



Side 18

Ruterredundans• Ofte er det en ruter pr knutepunkt

– Stopper den er det dødt

• Vi kan sette ut en ruter til (HSRP, VRRP)• Fordeler

– Ruterne kan ta over for hverandre, det er en god ting

• Ulemper– Mer komplisert oppsett, en stor feilkilde– To steder å konfigurere, enda en stor feilkilde– To steder å kople enhetene til, også en feilkilde

• Alternativer– Ha reservedeler i huset og ha rask respons ved feil– Og spre risikoen på flere rutere (=færre nett pr ruter)– Og benytte rutere med god oppetid



Side 19

Maskinrom, med ruter-redundans

uio-gw7

uio-gw8 switch

mrom-gw2

mrom-gw1

switch

server

1.000 mb/s

10.000 mb/s



Side 20

Lokalnettet (LAN)• Nettet inne i hvert hus• Består av

– Strukturert kabling (telematikkrom, spredenett, stigenett/utjevning)

– Nettverkselektronikk (switcher)– Forbindelse til stamnettet (til nærmeste ruter)

• Den mest omfangsrike delen av ethvert nett• Krever orden!!



Side 21

LokalnettetSkjematisk struktur med telematikkrom, kabling og utstyr.

Fra stamnettet

Telematikkrom

Telematikkrom

Telematikkrom

Stigenett/utjevning

Spredenett

Nettverksutstyr



Side 22

Gammelt telematikkrom



Side 23

Nytt telematikkrom



Side 24

Verktøy som trengs i nettverksdrift• Alarmverktøy. For å varsle om feil

– Utstyr og linjer som ikke fungerer– Høy temperatur– For mye trafikk/overbelastning

• Trafikkverktøy/Grafverktøy. For å se tall og trender– Trafikkutvikling– Unormal oppførsel

• Hvem og Hvor. For å finne brukere og maskiner– Når ”noe” skjer

• Loggverktøy– For å samle meldinger fra utstyret



Side 25

Trafikken ut og inn av UiO siste året



Side 26

Unormal oppførsel kan observeres



Side 27

Utstyr• Rutere fra Cisco

– SW-baserte, massevis av funksjoner, mange forskjellige grensesnitt– HW-baserte, massevis av krefter, stort sett bare ethernet-grensesnitt

• Switcher fra Alcatel, HP, Cisco og Nortel– Alle moderne switcher har mye kapasitet, ”wire-speed”– MEN; mengden av buffer og funksjonalitet varierer sterkt, stort sett med

prisen

• Optikkmoduler– GBIC (GigaBit Interface Converter) 1 Gb/s interface– SFP (Small Formfactor Plugable) Også et 1 Gb/s interface– XENPAK, X2, SFP+ 10 Gb/s interfaces

• Kabler– Fiber. Single og multimode– Kobber. Cat 3 og Cat 5 (uskjermet og skjermet)



Side 28

Pause

Med mulighet for å se nærmere på utstyret



Side 29

Internet• Internet består av mange sammenkoplede nett• Noen viktige Internet-begreper

– Internet Service Provider (ISP)» Nettet til en ISP kalles også et Autonomt System

(AS)– Internet eXchange Point (IXP)

» Her utveksles det trafikk mellom ISPene– Regional Internet Registries (RIR)

» Reséaux IP Européen (RIPE)» AfriNIC (Afrika)» APNIC (Asia-Pacific)» ARIN (Amerika = Nord-Amerika)» LACNIC (Latin America and Caribbeen)

– Internet Assigned Numbers Authority (IANA)» Holder orden på standarder etc på Internet



Side 30

Internet Service Provider (ISP)• Selve byggeklossen i Internet

– Internet = samlingen av nettene til alle ISPene

• ISPens nett kalles også et Autonomt System (AS)• ISPene får AS-nummer (ASN) og IP-adresser fra sin

RIR• ISPene har ansvaret for eget internt nett • Og koplingene mot andre ISPer

– Via Public Peering eller Private Peering, eller begge deler

• I Norge har vi ca 250 ISPer med smått og stort– Ca 15 av dem er store (i Norsk målestokk..)



Side 31

Internet eXchange Point (IXP)• Sammenkoplingspunkter for ISPer• Trafikk mellom ISPene utveksles her

– Kalles for ”Public Peering”

• Ruting skjer med Border Gateway Protocol (BGP)• I Oslo er det to IXPer, NIX1 og NIX2

– Ca 60 ISPer er tilkoplet NIX1 og ca 20 er tilkoplet NIX2

• I Bergen og Trondheim er det spede begynnelser• Nye IXPer er på trappene i Tromsø og Stavanger• Alle disse er samlet under NIX-navnet www.nix.no• I Europa er det ca 60 IXPer

– De største er i Amsterdam, London og Frankfurt

• Se www.euro-ix.net for mer informasjon



Side 32

Prinsippet for IXP

IXP

Fysiske linjer

Logiske forbindelser(peering)

ISP EISP D

ISP C

ISP BISP A



Side 33

Fredag 11. mars 2011.

Internettrafikkenvs. hendelser

Styrke 9 jordskjelv pluss Tsunami.



Side 34

Bare en ISP hadde økt trafikk

11. april 2011 Ny Powerpoint mal 2011 34



Side 35

NIX-trafikkdvs Internet-trafikk i Norge

Uke 10 2011. Inkl fredag 11. mars.



Side 36

RIPE NCC• Reséaux IP Européens Network Coordination

Centre • Den operative delen av RIPE• Holder orden på ASN og IP-adresser i Europa• Brukere (enkeltpersoner og bedrifter) må

henvende seg via en ISP, ikke direkte• Holder til i Amsterdam og avholder RIPE-

konferanser to ganger i året• www.ripe.net for de som vil vite mer



Side 37

UNINETT• Internet-tilbyder for UH-sektoren i Norge

– National Research and Education Network (NREN)

• Eies av Kunnskapsdepartementet• Hovedsete i Trondheim• Samarbeider tett med de fire gamle universitetene• Driver kontinuerlig utbygging for å dekke

behovene• Høy kapasitet og høy kvalitet er nøkkelord• www.uninett.no og drift.uninett.no



Side 38

UNINETT stamnett



Side 39

UNINETT Østlandet



Side 40

NORDUnet• Eies av Nordisk råd• Har ledelsen sittende i København• Og de driftsansvarlige i Stockholm• Har som oppgave å kople de nasjonale

utdanningsnettene (NREN) sammen og til Internet• Sørger for koplinger til forskningsnett utenfor

Norden• Driver også kontinuerlig utbygging• www.nordu.net



Side 41

NORDUnetInternt og eksternt nett



Side 42



Side 43



Side 44

Båndbredde• Mange snakker om ”raskere” datanett• Det raskeste vi har er fiber-baserte nett, og

der er det lyshastigheten som setter grensen

– I glass er max lyshastighet ca 0,67 *c

• Det begrenser overføringshastigheten, og kan redusere overføringskapasiteten

• Viktig å tenke på når store datamengder skal overføres over avstand



Side 45

LFN (Long Fat Networks)• Vi skal overføre data Oslo – Trondheim vha TCP• Rundreisetiden er ca 8 ms• TCP-vindusstørrelsen er 64 KByte• Det gir max: 64KBytes pr 8 ms = 64 Mbit/s

– Uansett hastighet på nettet mellom Oslo og Trondheim

• Cluet er å øke TCP-vindusstørrelsen– Default i mange OS er kun 32 eller 64 KByte – RFC 1323 er nyttig lesestoff

• Enda viktigere ved overføringer over større avstand– 16 ms til Tromsø, ~120 ms til California– 32 KByte og ~120 ms gir max ~2 Mb/s



Side 46

WDM, ”uendelig” med båndbredde

• Wave Division Multiplexing• Utnytter at fiberkabel bare er et ”rør” som leder

lys– Kjernen er 8-10 mikrometer

» Et hårstrå er 50-100 mikrometer

• Sender lys med forskjellige ”farger” (bølgelengder)

• Dense WDM (DWDM) – Mer enn ca 16 bølgelengder, ofte aktivt utstyr– Brukes på langdistansenett

• Coarse WDM (CWDM) – Mindre enn ca 16 bølgelender, passivt utstyr– Brukes i lokalnett og på korte avstander (< 10 Km)



Side 47

UNINETT DWDM• Samarbeid med BaneTele/Ventelo• Dekker Oslo, Trondheim, Bergen og Tromsø

– Men også mulig å hente ut (add/drop) bølgelengder underveis

• Utstyret takler 10G, 40G og 100G– 100G Oslo – Trondheim i produksjon

• Etableres som punkt til punkt-systemer– Redundans på ruter-nivå, ikke på optisk/DWDM-nivå

• Mellom 4 og 20 bølgelengder for UNINETT i hver forbindelse



Side 48



Side 49

Tromsø

Trondheim

Bergen

OSLO

Trase180λ

Trase240λ

U1 (UiT)

U2 (UiT)

40λ

40λ

40λ

USIT, Gaustadalleen23

St Olavs plass

Hovedbygget Realfagbyg

get

Thormøhlensgt 55

BT-bygget

4λ mellom BT og UNINETT10λ mellom BT og UNINETT20λ mellom BT og UNINETT

OADM/MUX hos BT

UNINETTs terminal

4λKystTele



Side 50

NORDUnet DWDM• Bygger DWDM-nett på egenhånd

– Utstyr fra Alcatel/Lucent

• Dekker Oslo, Stockholm, København, Helsinki og Hamburg

• Bygger sammenkoplede, to-veis ringer med OADMer– Optical Add/Drop Multiplexer

• Kapasitet på 32 bølgelengder i dag– Kan bygges ut til 88 bølgelender

• Muliggjør tilkopling til GEANT2 og GLIF– Gir oss dedikerte høykapasitetsveier ut i verden, rimelig, men ikke

gratis



Side 51

Oslo Centrum

USIT

Fredhäll

UNI-C

CSC

Helsinki University

Tug

Ørestad

1850 TSS-320

1626 LM T-OADM

Dark Fiber G.652

634 Km; 3,2 msec.

Multiple 10 Gbps I/O

566 Km; 2,8 msec.

611 Km; 3,0 msec.

866 Km; 4,3 msec.

767 Km; 3,8 msec.

570 Km; 2,9 msec.

20 Km0,1 msec.

20 Km0,1 msec.

20 Km0,1 msec.

20 Km; 0,1 msec.

Hamburg 1&2

wss-usi

wss

-osc

wss

-ore

wss-uni

wss-ha2

wss

-fre

wss-tug

wss-csc

wss-heu

msx-usi

msx-osc

msx-uni

msx-ore

msx-fre

msx-tug

msx-csc

msx-heu

434 Km; 2,2 msec.

wss-ha1wss-ha1

Dark Fiber G.655 TrueWave RS

ILA Node

+23dBm Pump Amp.

ILA Node with PGE

R R R R

RR

R Link with Raman Amplifification

Kar

lsko

ga

Ten

hult

Göteborg

Ode

nse

Kol

ding

Finska utö

Finska utö

Seacable

Seacable

Long Span

Extra +23dBm pumps when moving beyond 50% of capacity. Also applicable to all Add/drop POP’s for <32 channels Add/drop (refer to EMPM)



Side 52

GÉANT2009



Side 53

GLIF, Global Lambda Integrated Facility



Side 54

GLIF, Europa



Side 55



Side 56



Side 57

Trådløst nett (WLAN)• I sterk vekst. Alle vil ha WLAN!• Mye utstyr tilgjengelig, både rimelig og dyrt• Store teknologiske begrensninger

– Lav båndbredde pga få radiokanaler og halv duplex– Mange standarder, ikke alle er kompatible– Problematisk å få god radio-dekning pga forstyrrelser og radiostøy– Kryptering er ikke enkelt– Mange dårlige drivere

• Autentisering og management er viktig i store WLAN



Side 58

Trådløst ved UiO• Basert på 802.11a/b/g/n, 802.1x og RADIUS• Management via 3 redundante kontrollere• Bruker dynamiske nøkler (WPA/WPA2)• Støttes i Windows 8/7/Vista/XP, MacOS X og Linux

– Og de aller fleste håndholdte enhetene (Android, iOS, Symbien etc)

• Over 1.000 aksesspunkter på UiO i dag– Dekker nesten 300.000 kvm (av UiOs nesten 600.000)

• Over 14.000 aktive brukere pr uke– Ca 12.000 er studenter

• Flere logiske nett, et fysisk nett (uio, uio-guest, eduroam)

• Se http://www.uio.no/tjenester/it/nett/ for info



Side 59

Oppsummering• Nettverksteknologien er i konstant utvikling• Alt skal etter hvert på nett• Alle skal på nett

• Det er morsomt å jobbe med datanett!!



Side 60

Spørsmål ?

Documents

Datanettet ved UiO, og litt til…