Upload
pawel-wawrzyniak
View
713
Download
0
Embed Size (px)
DESCRIPTION
This presentation – made together by my friend, Robert Gronberski, Project Manager and I, Pawel Wawrzyniak, Head of Data Centre Services Team – is dedicated to data center infrastructure related projects which were managed to complete between 2008 and 2013 in Nordea Bank Polska S.A. Our presentation covers the following projects: • "Old" PDC (Primary Data Center) extension - 2008 • Site adaptation for the purposes of DRC (Disaster Recovery Center), 2009-2010 • "New" PDC (Primary Data Center) construction, 2010-2012 • Other important infrastructure projects in Nordea: Adaptation and extension of Nordea Operation Centre (NOC), 2009-2013; Server room construction in Nordea House Warsaw (NHW, a new HQ), 2012 The aim of presentation is to show these demanding projects, challenges we've faced, standards we've developed and lessons we've learned to share our company's experience in data center infrastructure related projects, which were collected between 2008 – 2013, with other industry experts. Presented on DatacenterDynamics Converged Warsaw 2013: http://www.datacenterdynamics.com/pl/conferences/2013/warsaw-2013 Presentation language: Polish Presentation title (translated): Nordea's experience on construction, maintenance and management of data centre facilities. Historical/Technological view with Project Management perspective
Citation preview
www.datacenterdynamics.com
Doświadczenia Nordea w zakresie budowyi eksploatacji ośrodków przetwarzania danych
Rys historyczno-technologicznyz perspektywy zarządzania projektami
Robert Gronberski, Paweł Wawrzyniak / Nordea BP S.A.
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Zwiększone zapotrzebowanie Nordea na przestrzeń OPD (Ośrodków Przetwarzania Danych)
Konieczność sprawnej obsługi rejonu PL&BC: Polska Litwa Łotwa Estonia
Zapada decyzja o rozbudowie podstawowego OPD (tzw. „stare” PDC) Prace realizowane w ekspresowym tempie – na podstawie wcześniej przygotowanych w
Nordea projektów koncepcyjnych, firmy podwykonawcze otrzymują zlecenia na: Projekt techniczny i wykonanie rozbudowy systemów: zasilania gwarantowanego,
chłodzenia, okablowania strukturalnego Projekt techniczny i wykonanie wymaganego wzmocnienia konstrukcji budynku
Centrali
2013-05-063 • DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są: Nowa, budynkowa stacja transformatorowa o mocy 800 kW Nowy agregat prądotwórczy o mocy 630 kVA oraz dodatkowe przyłącze agregatu
zapasowego, używanego w czasie prac serwisowych na podstawowym agregacie Dedykowane pomieszczenie dla centralnego systemu UPS o mocy 2x120 kVA
(2(N+1)) z możliwością rozbudowy do mocy 2x160 kVA (N+1) Dedykowane pomieszczenie butlowni systemu gaszenia gazem Inergen Dedykowane pomieszczenie RGNN (Rozdzielni Głównej Niskiego Napięcia)
wyposażone w najnowocześniejsze rozwiązania w roku 2008, w tym automatyczny układ SZR (Samoczynnego Załączania Rezerwy) oraz analizator jakości zasilania Eaton PowerXpert
Dodatkowa powierzchnia serwerowni: 100 m. kw., zabudowa zimnego korytarza (elastyczna - ColdBlox), nadmiarowy system klimatyzacji precyzyjnej (2N+1) pracujący w trybie rotacyjnym, wodoszczelny (i wygłuszający) sufit oraz podłoga podniesiona
4 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Po 3 miesiącach intensywnych prac, 1 października 2008 roku, dostępne są (c.d.): Wydzielone stanowisko testowe zasilania (przenośny szynoprzewód) System wczesnego wykrywania zadymienia VESDA System gaszenia gazem Inergen zintegrowany z budynkowym systemem ppoż. Budynkowy system KD i SSWiN (jak dla wszystkich pomieszczeń PDC) Dozór kamerami IP (serwerownie i pomieszczenia techniczne), CCTV (korytarze) Monitoring parametrów krytycznych ośrodka za pomocą systemów:
BMS – TAC/Vista (parametry zasilania RGNN, UPS, agregat, czujki temperatury/wilgotności, zalania)
NMS – SNMPc Enterprise Edition (obecnie 8.0) Wdrożenie systemu zarządzania infrastrukturą fizyczną OPD: DCPI (Data Centre
Physical Infrastructure Manager) Łączna powierzchnia PDC po rozbudowie: ok. 300 m. kw. (stare serwerownie i
nowa przestrzeń) Obiekt podlega ochronie budynkowej (jeden, wspólny posterunek dla całego
obiektu)
5 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Sukces: PDC otrzymuje status tymczasowego, podstawowego ośrodka przetwarzania danych do czasu znalezienia partnera do projektu budowy nowych OPD
Wykonany zostaje szereg audytów rozbudowanego PDC – w audycie firmy IBM ośrodek zostaje sklasyfikowany na poziomie odpowiadającym Tier II wg klasyfikacji Uptime Institute (IBM Level 2)
Nowa serwerownia rozbudowanego PDC, po obciążeniu odbiorami IT, osiąga PUE o wartości 1,7
6 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Kilka zdjęć z przebudowy i obecnie
2013-05-06DatacenterDynamics 2013 Warszawa7 •
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Systemy i narzędzia wspomagające
2013-05-06DatacenterDynamics 2013 Warszawa8 •
www.datacenterdynamics.com
Rozbudowa „starego” PDC, 2008 rok
Ciekawostki: Rozbudowa PDC w 2008 roku trwała 3 miesiące od momentu zatwierdzenia
projektów technicznych opracowanych na podstawie specyfikacji wymagań i projektów koncepcyjnych
Wszystkie prace odbyły się bezprzerwowo! Wyjątkiem było zaplanowane wyłączenie ośrodka związane z wymianą budynkowej stacji transformatorowej
Wnioski: Konieczność znalezienia partnera z doświadczeniem w budowie OPD IT Banku nie powinno prowadzić prac budowlanych, a wyłącznie definiować
wymagania dotyczące infrastruktury i poświęcać swój czas na egzekwowanie standardów od wykonawcy generalnego
W IT musi istnieć komórka merytoryczna odpowiedzialna za definicję standardów i kontrolę jakości prac podwykonawców w dziedzinie infrastruktury OPD
DRC będzie obiektem poddanym adaptacji
9 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Pojawia się potrzeba stworzenia profesjonalnego, zapasowego ośrodka przetwarzania danych – Disaster Recovery Centre, DRC
W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych i profesjonalnych oferentów
Wybrana zostaje firma IBM Polska Na podstawie doświadczeń Nordea wynikających z rozbudowy PDC w 2008 roku,
powstaje specyfikacja funkcjonalna ośrodka przetwarzania danych oraz ustalony zostaje zakres projektu
Po ocenie ryzyka zostaje wybrana lokalizacja – obiekt mieszanego przeznaczenia, do adaptacji
IBM opracowuje techniczne projekty branżowe na podstawie wymagań Nordea (w tym na podstawie projektów koncepcyjnych) i przedstawia swoje propozycje do zatwierdzenia w Nordea
Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagań i standardów
11 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Specyfikacja ośrodka DRC (700 m.kw. powierzchni całkowitej): 200 m.kw. przestrzeni komory serwerowej (z możliwością rozbudowy o dodatkowe
50 m.kw.) Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z
rozbudowy PDC w 2008 roku) powstaje: Zabudowa zimnych korytarzy (sztywna):
4 rzędy, po 9 szaf w każdym rzędzie dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia
między węzłami klastrów) Centralny punkt dystrybucji połączeń – tzw. MDF (Main Distribution Frame)
Ponadto, komora serwerowni posiada: 2 krótsze rzędy dla urządzeń wolnostojących (duże serwery, macierze,
biblioteka taśmowa itp.) – każdy rząd składający się z 6-ciu punków montażowych
12 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Specyfikacja ośrodka DRC, c.d.: Zespół 3 zasilaczy UPS Emerson/Chloride 80 NET o mocy 150 kW z możliwością
łatwej rozbudowy (1 punkt montażowy) o 50 kW Dedykowany moduł UPS do podtrzymania klimatyzacji Dedykowany, mniejszy UPS do podtrzymania odbiorów budynkowych na
powierzchniach biurowych (sala BCP IT) o mocy 10 kW (Eaton) Agregat prądotwórczy o mocy 516 kW; zewnętrzny, monitorowany zbiornik paliwa Możliwość podłączenia zapasowego agregatu prądotwórczego w przypadku
serwisu lub awarii agregatu podstawowego (rozwiązanie z PDC 2008) Ze względu na nadmiarowość powierzchni serwerowej względem obecnie
dostępnej mocy – opracowano gotowe plany rozbudowy systemu zasilania, które można wdrożyć w przyszłości
System gaszenia gazem FM200 System CCTV, KD, BMS
13 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Specyfikacja ośrodka DRC, c.d.: Dedykowany posterunek ochrony Obsługa techniczna IBM on-site, początkowo 2 osoby (1 zmiana) – wsparcie
Nordea, realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu
Dostęp dla IT Nordea: 24/7
Przeprowadzone zostają audyty: Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie
zasad konstrukcji i eksploatacji ośrodków przetwarzania danych Zewnętrzne – w tym audyt firmy IBM, który określił poziom niezawodności ośrodka
jako: IBM Level 2 (zdaniem IBM odpowiednik Tier 2 wg klasyfikacji Uptime Institute)
14 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Ciekawostki: Standard niezawodności nowego DRC odpowiada standardowi ówczesnego PDC
(2008), co – jednocześnie – podnosi poprzeczkę, jeżeli chodzi o oczekiwania względem nowego PDC
Po obciążeniu odbiorami IT, DRC osiąga PUE = 1,6
15 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Kilka zdjęć z budowy i obecnych
2013-05-06DatacenterDynamics 2013 Warszawa16 •
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Kilka zdjęć z budowy i obecnych
2013-05-06DatacenterDynamics 2013 Warszawa17 •
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Kilka zdjęć z budowy i obecnych
2013-05-06DatacenterDynamics 2013 Warszawa18 •
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Kilka zdjęć z budowy i obecnych
2013-05-06DatacenterDynamics 2013 Warszawa19 •
www.datacenterdynamics.com
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Wnioski: Nowe PDC musi zostać wybudowane „od zera” – obiekt dedykowany pod ośrodek
przetwarzania danych Standard niezawodności musi zostać podwyższony (więcej niż IBM Level 2) – na
podstawie wniosków z audytów „resilience”
20 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Zgodnie z planami rozwoju infrastruktury ośrodków przetwarzania danych w Nordea, konsekwentnie realizowany jest projekt konstrukcji nowego PDC
W toku procesu wyłaniania wykonawcy generalnego pojawia się wielu konkurencyjnych i profesjonalnych oferentów
Wybrana zostaje firma IBM Polska – która już zdążyła wyrobić sobie odpowiednią markę w Nordea (projekt DRC)
Umowa zostaje podpisana w 2010 roku Na podstawie dotychczasowych doświadczeń obydwu partnerów i wiedzy IBM na
temat standardów obowiązujących w Nordea, zdefiniowane zostają wymagania funkcjonalne i opracowane zostają projekty koncepcyjne
IBM opracowuje techniczne projekty branżowe i przedstawia swoje propozycje do zatwierdzenia w Nordea
Ścisła kontrola Nordea pozwala IBM na realizację ustalonych wymagań i standardów
22 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Specyfikacja nowego ośrodka PDC: 500 m.kw. przestrzeni komory serwerowej, zabezpieczonej komorą AST Według projektów koncepcyjnych Nordea (opartych na doświadczeniach z
rozbudowy PDC w 2008 roku i konstrukcji DRC) powstaje: Zabudowa zimnych korytarzy (sztywna):
6 rzędów, po 12 szaf w każdym rzędzie dukty kablowe na szczytach szaf i pomiędzy rzędami (np. połączenia
między węzłami klastrów) Przestrzeń pod dodatkowe 4 rzędy szaf (po 12 szaf w rzędzie) 2 rzędy dla urządzeń wolnostojących (12 punktów montażowych na rząd) Łącznie 12 rzędów po 12 punktów montażowych
Nowoczesna, wysokiej niezawodności architektura okablowania sieciowego oparta na koncepcji mieszanej: EoR, ToR, MDF (w oparciu o m.in. przełączniki sieciowe Cisco Nexus z extenderami)
W każdej szafie stosowane są PDU z monitoringiem (SNMP, Syslog, WWW) Wydzielone stanowiska testowe zasilania (naścienne w komorze serwerowni)
23 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Specyfikacja nowego ośrodka PDC, c.d.: Moc gwarantowana na UPS dla komory IT = 798 kW, dwa modularne, nowoczesne
zasilacze UPS firmy Emerson Trinergy (99% sprawności wg producenta, PF bliski 1) Dedykowane zasilacze UPS Emerson/Chloride 80 NET do podtrzymania klimatyzacji
i odbiorów budynkowych 2 agregaty prądotwórcze SDMO o mocy 2 500 kVA każdy; zewnętrzny,
monitorowany zbiornik paliwa o pojemności 30 000 litrów Klimatyzacja oparta na rozwiązaniach firmy Emerson – freecooling, wysoka
efektywność energetyczna System CCTV, KD, BMS
24 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Specyfikacja nowego ośrodka PDC, c.d.: Dedykowany posterunek ochrony Obsługa techniczna IBM on-site, łącznie 7 osób (3 zmiany) - wsparcie Nordea,
realizacja usług interwencyjnych i utrzymania obiektu wg ustalonego zakresu Dostęp dla IT Nordea: 24/7
Przeprowadzone zostają audyty: Wewnętrzne Nordea – pod kątem zgodności ze standardami Nordea w zakresie
zasad konstrukcji i eksploatacji ośrodków przetwarzania danych, w tym testy obciążeniowe przy współpracy z firmą Nixen (według metodyki testowej Uptime Institute)
Zewnętrzne – w tym testy integracyjne IBM
Testy integracyjne systemów nowego PDC oraz testy obciążeniowe (Nordea + Nixen) potwierdzają, że ośrodek spełnia wymagania dla poziomu niezawodności IBM Level 3+ (według klasyfikacji IBM)
25 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Ciekawostki: Wsparcie systemu klimatyzacji dedykowanym algorytmem według koncepcji
Nordea, który pozwala zminimalizować koszt energii elektrycznej w okresie relokacji (niepełne obciążenie komory serwerowej)
Obecnie trwa relokacja do nowego PDC z lokalizacji rozbudowanej w 2008 roku („stare PDC”)
Po obciążeniu odbiorami IT spodziewamy się, że współczynnik PUE będzie równy 1,4 ;-) – projekt zakładał min.: 1,6
26 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
27 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
28 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
29 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
30 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa „nowego” PDC, 2010-2012 rok
Kilka zdjęć z konstrukcji i obecnie
31 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok
33 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa i rozbudowa Nordea Operation Centre, 2009-2013 rok
34 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Omówione projekty / chronologia zdarzeń:
Rozbudowa „starego” PDC, 2008 rok
Adaptacja obiektu na potrzeby DRC, 2009-2010 rok
Budowa „nowego” PDC, 2010-2012 rok
Inne większe projekty infrastrukturalne Nordea
Adaptacja i rozbudowa Nordea Operation Centre, 2009-2013 rok
Budowa serwerowni centrali Nordea House Warsaw, 2012 rok
www.datacenterdynamics.com
Budowa serwerowni centrali Nordea House Warsaw,2012 rok
36 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Budowa serwerowni centrali Nordea House Warsaw,2012 rok
37 •2013-05-06
DatacenterDynamics 2013 Warszawa
www.datacenterdynamics.com
Dziękujemy