TRƯƠNG ĐH CÔNG NGHÊ THÔNG TIN & TRUYÊN THÔNGTRƯƠNG ĐH CÔNG NGHÊ THÔNG TIN & TRUYÊN THÔNGKHOA CN ĐIÊN TƯ & TRUYÊN THÔNGKHOA CN ĐIÊN TƯ & TRUYÊN THÔNG

Semina

ĐÊ TÀI: SUPER COMPUTER

Ngươi thưc hiên: Đô Thi LoanĐơn vi công tac: Bô môn CN KTMT–Khoa CN ĐT&TT

NỘI DUNGNỘI DUNG

I. GIỚI THIÊU VÊ SUPER COMPUTER

II. WAREHOUSE-SCALE COMPUTER

III. HÊ THÔNG GOOGLE WSC

I. GIỚI THIÊU VÊ SUPER COMPUTERI. GIỚI THIÊU VÊ SUPER COMPUTER

Supercomputer (siêu máy tính) là một máy tính có tính vượt trội trong khả năng và tốc độ xử lý. Siêu máy tính hiện nay có tốc độ xử lý hàng nghìn teraflop hay bằng tổng hiệu suất của 6000 chiếc máy tính hiện đại nhất hiện nay gộp lại.

Hầu hết các siêu máy tính đều sử dụng các phương pháp xử lý song song: chúng chứa một giàn các vi xử lý cực nhanh.

Có thê hiêu siêu máy tính là các máy tính xử lý song song

Hinh 1: Siêu may tinh Cray XT5, 22/05/2009 chạy nền Linux, bộ nhớ 362.000 GB, gồm 184 tủ may, mỗi tủ may chứa 192 chip Opteron 4 lõi của AMD

II. WAREHOUSE-SCALE - WSCII. WAREHOUSE-SCALE - WSC GIỚI THIÊU• WSC là một siêu máy tính mơi• WSC là nền tảng của các dich vụ Internet như: tìm kiếm dữ liệu, mạng xã hội, bản đồ trực tuyến, chia se video, mua bán trực tuyến, thư điện tử, …• Một WSC chứa tư 50.000 đến 100.000 máy chủ• WSC là hạ tầng của các dich vụ Internet phục vụ cho hàng nghìn ngươi dung một lúc vì vây WSC sử dụng phương pháp xử lý các ứng dụng theo lô.

Nhân tô quan trong đê thiêt kê WSCNhân tô quan trong đê thiêt kê WSCChi phí thực hiệnHiệu suất năng lượngVào/ra mạngTương tác và các công việc xử lý theo lôĐộ tin cây thông qua sự dư thưaQuan tâm đến thuân lợi và khó khăn khi

xây dựng một WSC do hệ thống có quy mô rất lơn

…

Hinh 2: Thông kê sư hong hoc của hê thông WSC Hinh 2: Thông kê sư hong hoc của hê thông WSC trong một nămtrong một năm

2.1 Kiên truc cua WSC

Hinh 3: Kiêm truc của WSC

2.2 Cac thanh phân trong kiên truc WSC2.2 Cac thanh phân trong kiên truc WSC

Thiêt bi lưu trư- Các máy chủ chứa các ổ cứng bên trong hoặc sử dụng các ổ cứng mạng NAS (Network Attached Storage) thông qua các đương truyền tốc độ rất cao nhưng thông thương các WSC dựa vào ở các ổ cứng được tích hợp sẵn bên trong.

- Các ổ cứng bên trong máy chủ luôn tích hợp công nghệ RAID đê bảo đảm an toàn dữ liệu và tốc độ truyền.

Array SwitchArray Switch

Hinh 4: Câu truc phân câp cac Switch trong WSC

Phân câp bô nhơ trong WSCPhân câp bô nhơ trong WSCChia bộ nhơ của WSC thành 3 cấp: Local, Rack và ArrayChia bộ nhơ của WSC thành 3 cấp: Local, Rack và Array

Hinh 5: Đanh gia độ trễ, băng thông và dung lượng của bộ nhớ phân câp trong một WSC

Tư hình 5 ta có đồ thi so sánh các giá tri thành phần Tư hình 5 ta có đồ thi so sánh các giá tri thành phần

trong bộ nhơ phân cấp WSCtrong bộ nhơ phân cấp WSC..

Hinh 6: Đồ thi của độ trễ, băng thông và dung lượng của bộ nhớ phân câp trong 1WSC

Mô hình mạng 3 tầng được dung đê nối Mô hình mạng 3 tầng được dung đê nối các array vơi nhau và nối tơi Internetcác array vơi nhau và nối tơi Internet

2.3 Mô hinh lâp trinh cho WSC2.3 Mô hinh lâp trinh cho WSCMapReduce:- MapReduce là một mô hình vân hành đơn lệnh đa

dữ liệu SIMD (Single Instruction Multi Data). Các dữ liệu này được đặt tại các máy tính phân tán, hoạt động song song độc lâp vơi nhau

- Dữ liệu đầu vào có thê là dữ liệu có cấu trúc hoặc dữ liệu không cấu trúc.

- Các máy tính lưu trữ các dữ liệu phân tán trong quá trình thực thi được gọi là các nút (nodes) của hệ thống. Các máy này được gọi làCluster – Nếu sử dụng chung 1 phần cứngGrid – Nếu hoạt động riêng re trên các phầncứng khác nhau.

Nguyên tăc hoat đông cua MapReduceNguyên tăc hoat đông cua MapReduce

MapReduce gồm 2 quá trình thực hiện là hàm "Map" và "Reduce". Ý tưởng chính của MapReduce chính là thực hiện việc “Chia đê tri”

- Chia vấn đề cần xử lý (dữ liệu) thành các phần nhỏ đê xử lý

- Xử lý các vấn đề nhỏ đó 1 cách song song trên các máy tính phân tán hoạt động độc lâp.

- Tổng hợp các kết quả thu được đê đưa ra kết quả cuối cung

Nguyên tăc hoat đông cua MapReduceNguyên tăc hoat đông cua MapReduceNhư vậy toàn bộ qua trinh

MapReduce co thể hiểu như sau:

Đọc dữ liệu đầu vào Thực hiên xử lý các phần dữ

liệu vào (xử lý tưng phần một) (thực hiện hàm Map)

Trộn và sắp xếp các kết quả thu được tư các máy tính làm sao đê được kết quả tiện lợi nhất so vơi mục đích của quá trình.

Tổng hợp các kết quả trung gian thu được tư các máy tính phân tán (Thực hiện hàm Reduce)

Đưa ra kết quả cuối cung.

Ưu điêm cua MapReduceƯu điêm cua MapReduce Rút ngắn thơi gian xử lý toàn bộ dữ liệu Xử lý tốt bài toán về lượng dữ liệu lơn có các tác vụ phân tích và tính toán phức tạp không lương trươc được. Có thê tiến hành chạy song song trên các máy phân tán 1 cách chính xác và hiệu quả. Không phải quan tâm đến sự trao đổi dữ liệu giữa các clusters vơi nhau vì chúng hoạt động 1 cách độc lâp, không phải theo dõi xử lý các tác vụ, xử lý lỗi. Có thê thực hiên mô hình Mapreduce trên nhiều ngôn ngữ như : Java, C++, Python, Perl, Ruby, C vơi các thư viện tương ứng.

2.4 Cơ sơ vât chât cua WSC2.4 Cơ sơ vât chât cua WSC Vi trí lắp đặt

Do WSC nó gần giống vơi mạng trục của Internet nên vi trí lắp đặt của nó phải đảm bảo về nguồn điện, thuế suất, có khả năng chiu được rủi ro do bão, lụt, động đất. Chi phí cho WSC

- Chi phí đầu tư (CAPEX) là chi phí cho việc xây dựng một WSC

- Chi phí hoạt động (OPEX) là chi phí đê vân hành một WSC

Phân phôi điên năngPhân phôi điên năngCác WSC tiêu thụ

điện năng rất lơn do vây hạ tầng phân phối điện phải được thiết kế theo tưng cấp theo hình bên.

Các WSC được cung cấp điện tư hệ thống điện cao thế đã được hạ áp, đồng thơi bên trong tòa nhà lắp đặt WSC còn được sử dụng hệ thống UPS- hệ thống cấp điện không bi ngắt và các máy phát điện riêng.

Hê thông lam matHê thông lam matNhiệt độ lý tưởng

của các tòa nhà trong khoảng tư 64F đến 71F se đảm bảo được độ bền, tính ổn đinh của các thiết bi bên trong WSC. Hệ thống làm mát của WSC sử dụng nhiều phương pháp khác nhau như: làm mát bằng không khí, làm mát bằng nươc… Được mô tả hình bên.

III. HÊ THÔNG GOOGLE WSCIII. HÊ THÔNG GOOGLE WSC* Google WSC có

45 container (12.2 x 2.4 x 2.9m).

* Mỗi container chứa:

1160 máy chủ* Google WSC=>

52.200 máy chủ.

* Môi container la đôc lâp va chi kêt nôi bên ngoai bơi hê thông điên, mang may tinh va nươc lam mat.

Luông không khi lam mat bên trong Container

• Nguôn điên bên trai, • 2 HDD phia trên, • 2 CPU 2.2GHz AMD Barcelona, • 8 Gb RAM, • 2 NIC 1Gbit

May chu trong Google WSC

XIN CHÂN THÀNH CẢM ƠN!