Google을 지탱하는 기술5

1. 구글의 운용 비용

2. CPU의 전력 사용

3. PC의 소비전력 절감

4. Data Centre의 전력 배치

5. HDD는 언제 고장 나는가?

6. Bigdaddy

7. Recently

1. 구글의 운용 비용

기업공개자료

System운용비

용

Hardware

Power

• 2004년 기업 공개자료

→ hardware에 2억5000만 달러 투자

→ 당시 총 5만 대 전후의 machine

• 2007년 보유 machine수 10배 가량 증가

1. 구글의 운용 비용

기업공개자료

System운용비

용

Hardware

Power

하드웨어 비용

• Computer & Network equipment

전력 비용

• 전기료 & 설비 비용

보수 운용 비용

• 인건비

소프트웨어 비용

• 자체 개발→ 인건비

1. 구글의 운용 비용

기업공개자료

System운용비

용

Hardware

Power

저가의 Hardware로 비용 절감

약 2억 8천만 원 약 7억 6천만 원

Rack Server

HDD : 8TB

Memory : 64GB

CPU(Xeon2GHz×2)

HDD : 80GB

Memory : 2GB

CPU(Xeon2GHz×2)

Machine : 88대

1. 구글의 운용 비용

기업공개자료

System운용비

용

Hardware

Power사용 전력증가 최대 원인 = CPU

전력성능비

Superscalar

2. CPU의 전력 사용

CMOS회로

CPU성능

Pipeline

IPC 와 f 관계

• CMOS(Complementary Metal Oxide Semiconductor)

• 동작전력 = α x C x V² x f(α : switch비율 f : clock주파수 C : 정전용량)

입력

0 = Vss →

출력

Vdd = 1→출력

0 = Vss

입력

Vdd = 1

C

전력성능비

Superscalar

2. CPU의 전력 사용

CMOS회로

CPU성능

Pipeline

IPC 와 f 관계

• CPU 소비전력 억제 → V & Clocks

but, 단순히 clock↓ → 성능저하

• CPU 성능 = f x IPCIPC (Instruction Per Cycle)

: 1회 clock cycle에서 실행할 수 있는 명령 수

f 내리고 IPC 올리는 방법?

전력성능비

Superscalar

2. CPU의 전력 사용

CMOS회로

CPU성능

Pipeline

IPC 와 f 관계

전력성능비

Superscalar

2. CPU의 전력 사용

CMOS회로

CPU성능

Pipeline

IPC 와 f 관계

Pipeline 길어질 수록 f(주파수) 올라감

but, IPC는 오히려 저하

전력성능비

Superscalar

2. CPU의 전력 사용

CMOS회로

CPU성능

Pipeline

IPC 와 f 관계

• Pipeline 수를 늘림

전력성능비

Superscalar

2. CPU의 전력 사용

CMOS회로

CPU성능

Pipeline

IPC 와 f 관계

• CPU 주파수↑ Multi Core

: Pipeline 단계 줄여 주파수 내림

IPC 높이도록 설계 변경

3. PC의 소비전력 절감

• 저클럭 고IPC CPU 선택

• Multi-Thread 활용

• 전원 효율성 높임

PSU(Power Supply Unit)의 전력 변환 효율 60%~70%

→ 불필요한 요소 제거(12V만 남김) → 85%~90% 정도까지 향상

4. Data Centre의 전력배치

• Peak power 는 비용과 직결

• 한정된 전력을 최대한 유용하게 사용

• 계층적 전력배분 설계

• 다양한 machine 조합이

효율성 있는 전력이용가능

• Power Capping

– 최고 전력 사용량 제한

– System 부하 줄이도록 feedback

• 전력 절감 기술 이용

4. Data Centre의 전력배치

• 실제 Peak power 계측 → Rack의 최대 전력

• Rack 단위에서 여유롭게 설계

• 이용빈도가 다른 machine을 같은 PDU에 연결

→ 전력 평준화 → 실제 Peak power ↓

• 계산상의 최대치보다 Rack을 넉넉히 연결

→ 설비 이용 효율↑

• Power Capping 통해 system 정지 위험 방지

Conclusions

5. HDD는 언제 고장 나는

가?연평균고장률

Utilization

Temperature

SMART Data

• AFR (Annualized Failure Rate)

Conclusions

5. HDD는 언제 고장 나는

가?연평균고장률

Utilization

Temperature

SMART Data

Conclusions

5. HDD는 언제 고장 나는

가?연평균고장률

Utilization

Temperature

SMART Data

Conclusions

5. HDD는 언제 고장 나는

가?연평균고장률

Utilization

Temperature

SMART Data

• Scan Error- 발생 후 60일 내 고장 날 확률 : 39배

• Reallocation Count- 발생 후 60일 내 고장 날 확률 : 14배

• Offline Reallocation- 발생 후 60일 내 고장 날 확률 : 21배

• Probational Count- 발생 후 60일 내 고장 날 확률 : 16배

Conclusions

5. HDD는 언제 고장 나는

가?연평균고장률

Utilization

Temperature

SMART Data

• 평균적인 고장률

– drive의 종류, maker, 구입시기에 따라 다름

• Utilization levels 과 고장사이 상관관계 약함

• 높은 온도는 HDD 고장과 큰 상관관계 없고

낮은 온도가 고장발생 비율 높임

– 30 ~40도 정도 유지시에 가장 고장률 낮음

• SMART 값만 가지고 고장을 예측하기 어려움

6. Bigdaddy

Bigdaddy

C.C.P

URL의 정규화

2-Types

• 새로운 Search engine의 기반 system

• Search engine의 frame work를

바꾸는 대대적인 것

6. Bigdaddy

Bigdaddy

C.C.P

URL의 정규화

2-Types

• Crawl Caching Proxy: 새로운 crawling system

6. Bigdaddy

Bigdaddy

C.C.P

URL의 정규화

2-Types

• URL Canonicalization– www.example.com

– example.com/

– www.example.com/index.html

– example.com/home.asp

→ 동일하다고 판단되는 web page에 같은 key 할당

6. Bigdaddy

Bigdaddy

C.C.P

URL의 정규화

2-Types

• Type 1 – 전세계로 분산된 소규모 data centre

→ 빠른 응답 제공

• Type 2 – 엄선된 대규모의 data centre

→ 적은 비용으로 대용량 데이터 처리

7. Recently

Google Server

Data Centre

• Case : 2U rack mount

• CPU : Soket 604 dual-Xenon board

running dual Nocono (Prescott) P4 processor

• RAM : 8Dimm slots

• HDD : 2EA SATA

• Power Supply : 12V only

• UPS : 12V Battery per server

7. Recently

Google Server

Data Centre

• 컨테이너를 이용한 모듈화

• 1개 컨테이너에 최대 1,160대 서버

• 45개 컨테이너에 약 4만대의 서버

• 컨테이너당 전력소비량 250Kw

• 10MW

• 자체 설계, 조립 한 server 사용

• 컨테이너 바닥에 cooling system(전면 'Cold Aisle' 측이 27℃ 유지)※ 찬 공기를 끌어들이는 전면을 Cold Aisle, 반대로

공기가 배출되는 뒷면을 Hot Aisle

Thank you