Implementacija novog središnjeg diskovnog spremišta u Srcu

Saša Drnjević, Srce

- Podatkovni centar

• Srce - najstarija infrastrukturna ustanova akademske i istraživačke zajednice u području primjene

informacijskih i komunikacijskih tehnologija (ICT)

• središnje čvorište e-infrastrukture sustava znanosti i visokog obrazovanja i Sveučilišta u Zagrebu

• središte za obrazovanje i podršku u području primjene ICT

• podatkovni centar u Srcu

• 60+ mrežnih i poslužiteljskih ormara, 185 m2

• mrežna oprema

• 160+ fizičkih i 130+ virtualnih poslužitelja

• diskovna spremišta (FC + iSCSI SAN)

• tračna knjižnica (LTO Ultrium)

• računalni klaster Isabella – najmoćniji u HR

Pohrana podataka u Srcu – prije zamjene

Korisnici i zahtjevi (1)

• sustavi i aplikacije

• VMware vSphere – središnja virtualizacijska platforma u Srcu

– klaster 8 poslužitelja, 130+ VM-ova, 15 TB (6 x 2,5 TB VMFS)

• ISVU – IBM Informix, Oracle Solaris OS; MS SQL, Windows Server OS; Linux OS

– ISVU upisi, ispiti – 100+ visokoškolskih ustanova; 10.000 predavača i administrativno osoblje

– 130.000 studenata; 1.000.000 prijava i 400.000 ispita mjesečno u veljači, lipnju i rujnu

– 2.200.000 transakcija u bazi mjesečno, baza 130 GB

• ISSP – MS SQL, Windows Server OS

– 45.000 računa (180.000 transakcija) dnevno cijelu ak. godinu; 95.000+ korisnika, baza 40 GB

• IPISVU – ERP (SAP with Oracle), Linux OS

– 5 produkcijskih + 4 testne Oracle instance, ukupno 1,2 TB

Korisnici i zahtjevi (2)

• sustavi i aplikacije

• DOMUS – udomljavanje internetskih servisa, Linux OS

– DNS, web, MySQL, e-mail, LDAP itd. – 22 visoke škole i instituta; 16 udruga – 13.000+ korisnika, 12.000 e-mailova dnevno, ukupno 2 TB

• Nagios + Zabbix + OCS + GLPI – središnji sustav Srca za nadzor mreže, poslužitelja, aplikacija + inventar

IT opreme, MySQL + PostgreSQL, Linux OS

– ujednačeno opterećenje 24/7/365 – ukupno baze 53 GB

• Backup/Archive za Srce – IBM TSM, Linux OS

– baza 95 GB, 170+ klijenata, dnevni backup od 18:00 do 06:00, 2 TB, 400.000 datoteka

Zamjena “Tier 1” diskovnog spremišta

• Tier 1 spremište nabavljeno 2007. godine

• entry-level enterprise, 24 TB neto, 12.000 IOPS, kraj službene podrške

• analiza – zahtjevi za novo “Tier 1” spremište

• high midrange ili entry-level enterprise segment (cijena!)

• najmanje 48 TB neto uz mogućnost proširenja

• poželjno najmanje 5% kapaciteta na SSD diskovima

• tvrdi diskovi 2,5” SAS 10 k rpm

• najmanje 32 GB cache (R/W operacije)

• najmanje 30.000 IOPS (polovica na HDD diskovima)

• sučelja FC (8 Gb/s) + iSCSI (10 Gb/s)

• tehnologije: tiering, thin provisioning, wide striping

• potpuna integracija s VMware vSphere platformom

• nadzor, analiza, upravljanje kapacitetom i djelovanjem sustava

• manja potrošnja električne energije, itd.

Pohrana podataka u Srcu – poslije zamjene

Javna nabava – IBM Storwize V7000 (2076)

• isporučena konfiguracija

• klaster dva IBM Storwize V7000 node-a

• 80 x 900 GB 2,5” SAS 10 k rpm diskova (72.000 GB)

• 24 x 200 GB 2,5” SSD diskova (4.800 GB)

• 32 GB R/W cache

• 16 x FC (8 Gb/s) + 8 x iSCSI (10 Gb/s)

• ukupno samo 12 RU

Instalacija i testiranje

• instalacija

• u dva susjedna ormara radi jednostavnijeg proširivanja, spojeno na 4 FC switch-a zbog migracije

• testiranje prije produkcije – prosječne vrijednosti (Linux naredba dd i IOzone benchmark)

4 Gb/s – limit FC switch-a

32 GB R/W cache – slični rezultati

SSD – RAID6

(7D+2P)

SSD – RAID5

(6D+1P)

HDD – 3xRAID6

(8D+2P)

HDD – 5xRAID5

(7D+1P)

Seq R/W - MB/s(Linux naredba dd)

387 / 340 353 / 368 366 / 298 369 / 257

Rnd R/W - MB/s(IOzone benchmark)

260 / 180 253 / 162 257 / 182 256 / 179

Seq R/W – IOPS(IOzone benchmark)

9777 / 2798 9759 / 2977 9735 / 2733 10013 / 2978

Rnd R/W – IOPS(IOzone benchmark)

9648 / 4837 9667 / 4881 9536 / 4903 9884 / 4908

Konfiguracija

Storage Pool MDISK-ovi (RAID grupe) GB Easy Tier

St1_R6_pool_01 3 x HDD RAID6(8D+2P)

1 x SSD RAID10(2D+2D)

20.480,26 Da

St2_R6_pool_01 3 x HDD RAID6(8D+2P)

1 x SSD RAID10(2D+2D)

20.480,26 Da

St1_R5_pool_01 1 x HDD RAID5(7D+1P) 5.865,02 Ne

St2_R5_pool_01 1 x HDD RAID5(7D+1P) 5.865,02 Ne

St1_R5_ssd_01 1 x SSD RAID5(6D+1P) 1.114,86 Ne

St2_R5_ssd_01 1 x SSD RAID5(6D+1P) 1.114,86 Ne

Iskoristivo ukupno: 53,63 TB

Migracija na IBM Storwize V7000

• 130+ virtualnih poslužitelja

• 120 bez prekida

• od 2 do 30 minuta po VM-u

• 7 fizičkih uz minoran downtime

• VMware – 15 TB (6 x 2,5 TB VMFS)

• OS – Linux, Windows

• baze – IBM Informix, Oracle, MySQL, PostgreSQL, MS SQL

• servisi – web, e-mail, LDAP, DNS itd.

Iskustva u produkciji

• novi RAID5(6D+1P) SSD LUN vs stari RAID10(2D+2D) HDD LUN

• IBM TSM baza podataka – svakodnevni primjer (IBM TSM Expiration process)

• 10 x IOPS i 10 x propusnost (45 minuta umjesto 8 sati)

• prosječno 2.000.000 operacija

• VMware

• pokretanje VM-ova – sad je 2 do 5 puta brže (gotovo svi Windows VM-ovi ispod 10 sekundi)

• Storage Vmotion – prije 70 MB/s, sad 300 MB/s

• Firmware nadogradnja

• izrazito jednostavno, bez prekida naravno :-)

• potrošnja električne energije

• klaster dva IBM Storwize V7000 node-a – 11.887 kWh/god

• zamijenjeno staro spremište – 30.610 kWh/god

Upravljanje i nadzor

• IBM SVC engine – upravljanje kroz GUI i command line

• osnovni nadzor ugrađen u SVC engine

• IBM Tivoli Storage Productivity Center Select Edition

– nadzor, analiza, povijesni prikaz, upravljanje kapacitetom i djelovanjem sustava ...

Kraj

Pitanja?

Hvala! :-)