SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm

Phần mềm mã mở và dự tính khí hậu 100 năm

Nguyen Trung Kien Hanoi University of Science DTT Technology Group

Hà Nội, ngày 21 tháng 09 năm 2013

So.ware Freedom Day 2013, HUST, Hanoi

Nội dung

Nhu cầu @nh toán & lưu trữ 1

PMMM cho HPC và lưu trữ 2

Hỏi đáp 3

Nhu cầu @nh toán và lưu trữ

•  Đề tài cấp nhà nước: – Nghiên cứu xây dựng hệ thống mô hình dự báo hạn mùa một số hiện tượng khí hậu cực đoan phục vụ phòng tránh thiên tai ở VN

– Nghiên cứu xây dựng hệ thống đồng hoá tổ hợp cho mô hình thời lết và hệ thống tổ hợp cho một số mô hình khí hậu khu vực nhằm dự báo và dự @nh các hiện tượng thời lết, khí hậu cực đoan


•  Dự án Danida – Đan Mạch: – Nghiên cứu thuỷ tai do biến đổi khí hậu và xây dựng hệ thống thông ln nhiều bên tham gia nhằm giảm thiểu @nh dễ bị tổn thương ở Bắc Trung Bộ Việt Nam

•  Dự án CSIRO – Úc: – Hạ quy mô phân giải cao cho Việt Nam


•  Dự báo thời lết: MM5, WRF, HRM –  Dự báo 3 ngày – chạy 4 lần/ngày –  2 giờ/1 lần chạy (node @nh: 2xQuad 2.5GHz, 8GB Ram)

•  Dò �m xoáy bão: RegCM –  Dò �m 12 tháng – chạy 1 lần/tháng –  140 giờ/1 lần chạy –  Lưu trữ 70 GB dữ liệu

•  Dự báo mùa: MM5, WRF, RegCM –  Dự báo 7 tháng – chạy 1 lần/tuần –  35-‐50 giờ/1 lần chạy –  Lưu trữ 6-‐16 GB dữ liệu


•  Mô phỏng khí hậu 1979 – 2010: – Nhiều loại đầu vào: ERA40, NCEP, INTERIM – Models: RegCM, MM5CL, clWRF, REMO – Mất 2-‐5 giờ/1 tháng mô phỏng, ~ 5GB dữ liệu

•  Dự @nh khí hậu 2011-‐2100: – Kịch bản phát thải A1B, A2 – Models: MM5CL, CCAM, RegCM, clWRF, REMO – Mất 2-‐5 giờ/1 tháng mô phỏng, ~ 5GB dữ liệu


•  Số lượng tương đối lớn người dùng: – 10 cán bộ – 2-‐3 NCS – 5-‐6 Học viên CH – > 15 sinh viên ĐH – Người dùng từ các tổ chức khác

•  Cần lưu trữ dữ liệu từ các dự án/đề tài trước •  Nhu cầu lưu trữ: > 100 TB •  Ngân sách hạn chế

Phần cứng thông dụng và PMMM cho HPC

•  Phần cứng thông dụng: – Đã được chuẩn hoá –  Sản xuất với số lượng lớn

•  Sử dụng server Intel, Supermicro •  Mellanox Infiniband SDR 10 Gbps •  Rocks toolkit •  Centos •  Torque + Maui •  GNU, Intel compiler (academic), mvapich, netcdf, opengrads, module environment, …

PMMM cho hệ thống lưu trữ

•  Tốc độ đọc/ghi cao •  Dung lượng lưu trữ > 100 TB •  Tin cậy, ổn định •  Tận dụng được các ổ cứng có sẵn

– Hàng chục ổ cứng 300GB – 2TB dành cho máy để bàn (WD, Seagate, Samsung, …)

LustreFS và HDFS

Hệ thống lưu trữ LustreFS

•  Linux + Cluster = Lustre •  Khởi đầu tại Cluster File System – 2003 •  Mua lại bởi Sun – 2007 •  Oracle lếp quản – 2010 •  Cuối 2010, Oracle dừng phát triển Lustre => cộng đồng: Whamcloud, Xyratex, OpenSFS, …

•  Intel mua lại Whamcloud – 2012


•  Hệ thống file phân tán •  Thường được sử dụng trong các hệ thống @nh toán lớn

•  6/10 và 60/100 hệ thống mạnh nhất thế giới (Titan #2, K Computer #4, …)

•  Hỗ trợ hàng chục nghìn node @nh •  Dung lượng mở rộng tới hàng chục PB •  Thông lượng I/O > 1 TB/s



Hot spare Raid5

Raid5


Hot spare Raid5

Raid5

Hot spare Raid5

Raid5


Hot spare Raid5

Raid5

Hot spare Raid5

Raid5

Infiniband (10Gbps)


Hot spare Raid5

Raid5

Hot spare Raid5

Raid5

Infiniband (10Gbps)

Use only Enterprise SAS/SATA HDD

LustreFS

Hệ thống lưu trữ HDFS

•  HDFS = Hadoop Distributed File System •  Thiết kế để chạy trên phần cứng thông dụng (commodity hardware)

•  Bắt đầu phát triển bởi Doug Cu¡ng – 2002 •  Được “truyền cảm hứng” từ GFS của Google – 2003

•  Trở thành dự án mã mở Apache – 2006 •  Sử dụng bởi: Facebook, Yahoo, Ne¦lix, … •  Không tương thích chuẩn POSIX •  Thông lượng I/O tổng gộp cao nhưng độ trễ lớn



Namenode

Data node3

Client

Hệ số nhân = 2: Mỗi file được cắt thành các block 64MB và được lưu trên 2 node khác nhau

Data node1

Data node2


Namenode

Client

Client đọc dữ liệu trực lếp từ các Datanode -‐> thông lượng tổng gộp cao

Data node3

Data node1

Data node2


Namenode

Chịu lỗi: Block có số bản nhân < 2 được tự động copy sang 1 node khác

Data node2

Data node3

Data node1

Metocean Cluster

•  14 node, 106 core, 141 GB RAM, Rpeak ~ TFlops •  Infiniband SDR 10Gbps & 1Gbps interconnect network •  76 TB LustreFS sử dụng Enterprise HDD (2TB/ổ) •  ~ 70 TB “Cloud Storage” HDFS sử dụng ổ cứng cho máy để bàn

–  Lưu trữ những file dung lượng lớn (bội số của 64MB) –  Hệ số nhân = 2 (dung lượng thực dùng ~ 35 TB) –  Mount vào hệ thống file bằng FUSE

•  Dữ liệu quan trọng nhất của hệ thống HDFS và LustreFS -‐ metadata (vài GB) -‐ được upload tự động lên Dropbox

Infiniband 10Gbps

1Gbps Ethernet

192.168.0.0/24

192.168.1.0/24

Dropbox Cloud Storage

Kết quả benchmark Đánh giá khi LustreFS đã sử dụng tới 98% (Tốc độ đọc/ghi giảm đáng kể) mpirun -np 16 IOR -a MPIIO -r -w -b 1g -t 1m -o \ ! /work/users/kiennt/IORFILE -v -i 3 !

1 mb 10 mb 100 mb 1 gb 2 gb 3 gb 8 clients 460.05 648.65 301.74 343.47 340.3 337.21

16 clients 45.72 661.26 438.17 477.21 477.76 363.43

24 clients 42.15 548.84 444.19 479.93 499.2 387.3

32 clients 111.86 373.07 544.19 514.12 488.83 410.73

40 clients 142.81 333.58 551.62 556.51 524.36 453.79

0 100 200 300 400 500 600 700

MB

/s

Block size

Write speed

Max speed

1 mb 10 mb 100 mb 1 gb 2 gb 3 gb 8 clients 72.68 5725.97 4116.08 614.1 493.62 500.98

16 clients 155.99 953.16 3856.11 1613.18 1269.88 1029.32

24 clients 223.75 514.94 2983.58 1573.84 1286.87 953.75

32 clients 1315.45 1993.96 4310.74 1804.51 1175.01 979.01

40 clients 1546.91 2181.85 5007.63 1957.33 1128.21 1065.43

50

250

1250

6250

MB

/s

Block size

Read speed

caching effect

Kết quả thực

•  LustreFS: –  Chạy RegCM, MM5, CCAM trên 1 node –  Dữ liệu xuất ra được ghi lên LustreFS và NFS –  Thời gian chạy trên LustreFS giảm từ 30%-‐50% so với NFS

•  Hadoop Streaming: –  Chỉ dùng Map để phân @ch dữ liệu trên 12 nodes (2 mapper/node)

–  Các nodes vẫn đang chạy các chương trình MPI –  Thời gian chạy giảm tới 10 lần

•  An toàn dữ liệu: – Mất 3 block HDFS / 2.5 năm

Hỏi đáp

Xin chân thành cảm ơn

Documents

SFD 2013 Hanoi: Phần mềm nguồn mở và dự tính khí hậu 100 năm