Параллелизм ...Препятствия на пути Multicore систем 9Баланс...

Нижегородский государственный университет им Н И Лобачевскогоим. Н.И.Лобачевского

Факультет Вычислительной математики и кибернетики

ПараллелизмПараллелизмкаккак основаоснова архитектурыархитектуры ВСВС

Раздел 18В бВзгляд в будущее

Кудин А.В., к.т.н.

Содержание

Эволюция процессоростроенияНовые тенденции развития процессоровНовый закон МураНовый закон МураСпецифика грядущих архитектурР бРоль энергопотребленияНовое понятие вычислительной эффективностиMulticore и ManycoreПроблемы многоядерных системПроблемы многоядерных системПроблемы сопряжения hardware и software

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 2 из 20

Революционный 2007 год

2007

Multicore EraMicroprocessor Era

2007

Microprocessor Era

MegaFLOP GigaFLOP TeraFLOP PetaFLOP ExaFLOP

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 3 из 20

Коррекция тенденций развития

Причины:Экспоненциальный рост

числа транзисторов сохраняетсясохраняется

15 лет экспоненциального роста тактовой частоты закончилисьЭнергопотребление

удалось стабилизироватьудалось стабилизироватьILP достиг предела

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 4 из 20

Коррекция тенденций развития

Традиционные источники повышения производительности р д ц р д(тактовая частота, IPC) стабилизировались

Новый закон Мура:число ядер удваивается каждые 18 месяцевр у ц(вместо удвоения частоты)

“The processor is the new transistor!” Chris Rowen

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 5 из 20

The processor is the new transistor! Chris Rowen

Энергопотребление мультипроцессоров

CV2F

е

VIleakage

ребление

ергопотр

эне

Вывод: если мультипроцессор слишком горяч сократитеслишком горяч, сократите напряжение и частоту, а не процессоры

производительность

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 6 из 20

производительность

Проблемы передовых процессоров

Жёсткие ограничения по энергопотреблениюр р р

Темпы роста производительности падают драматично

К й б бКрайне сложное тестирование работоспособности

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 7 из 20

Проблемы передовых процессоров

Жёсткие ограничения по энергопотреблениюр р р

Темпы роста производительности падают драматично

К й б бКрайне сложное тестирование работоспособности

Решение: малые ядраРешение: малые ядра

Малые ядра не на много медленнее больших

Малые ядра имеют меньшее энергопотребление

Малые ядра легче проверятьМалые ядра легче проверять

Малых ядер на чипе может быть существенно больше

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 8 из 20

Сравнивая ядра

Power5 (Server)– 389 mm2

– 120 W @ 1900 MHzIntel Core2 (Laptop)

130 mm2– 130 mm2

– 15 W @ 1000 MHzARM Cortex A8 (BMW Auto)( )

– 5 mm2

– 0.8 W @ 800 MHzTensilica DP (Cell phones)Tensilica DP (Cell phones)

– 0.8 mm2

– 0.09 W @ 600 MHzTensilica Xtensa (CISCO router)

– 0.32 mm2 for 3!– 0 05 W @ 600 MHz

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 9 из 20

– 0.05 W @ 600 MHz

Сравнивая ядра (Intel)

Передовые системы потребляютпотребляют мегаватты энергии

Стоимость энергии ббольше стоимости оборудования

Энергопотребление р рограничивает будущий рост систем

новое понятие вычислительной эффективности:эффективности: performance/watt

(вместо пиковой

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 10 из 20

(производительности)

Сравнивая ядра

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 11 из 20

От Multicore к Manycore

MulticoreИспользование передовых ядер (архитектур)р д д р ( р ур)Удвоение числа ядер каждые 18 месяцевОриентация на типичную вычислительную нагрузку (workload)

Пример: Intel Core2 Duo (2 cores)Пример: Intel Core2 Duo (2 cores)

ManycoreУпрощенные ядра (короткие конвейеры, небольшие частоты, in-order

обработка)Начиная со ста ядер на чипеУдвоение числа ядер каждые 18 месяцевд д р д цПреимущества: наилучшая вычислительная эффективность на ватт,

простое тестирование, низкая вероятность дефектов производства, малая стоимость разработкистоимость разработкиПример: Nvidia G80 (128 cores), Intel Polaris (80 cores), Cisco/Tensilica Metro (188 cores)

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 12 из 20

Пример: Tensilica Xtensa

188+4 Xtensa general gpurpose processor cores

используется в Ciscoиспользуется в Cisco CRS-1 Terabit Router

кластер из 12 ядер(всего 16×12=192)

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 13 из 20

Эра Multicore

Ближайший рубеж: 1M ядер в системе

OP1

5ро

в в

TOоц

ессор

исло

пр

Чи

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 14 из 20

Препятствия на пути Multicore систем

Баланс системытрадиционная проблема SMP – доступ к RAM(полоса пропускания RAM – ключевой ограничивающий фактор)

Надёжность системыбольше ядер больше вероятность отказовбольше ядер – больше вероятность отказов(надёжность пропорциональна числу чипов в системе)

Программная поддержкаsoftware отстал от hardware(например, нет решений для 1M+ ядер)

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 15 из 20

Требования к ОС для Multicore систем

Не временное, а пространственное мультиплексирование

Симметричный доступ не только к памяти но и кСимметричный доступ не только к памяти, но и к устройствам ввода/вывода

Новый многоядерный механизм прерываний

Создание механизма обеспеченияСоздание механизма обеспечения отказоустойчивости по ядрам

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 16 из 20

Назад в будущее

Последовательные программы теперь стали медленными д р р р дпрограммами…Ни SMP, ни OpenMP модели программирования, p д р р рне поддерживают потенциал сцеплённых ядер…

Программирование необходимоб !изобрести заново!

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 17 из 20

Вопросы для обсуждения

Какой из нижеперечисленных трендов сейчас не актуален и подлежит замене на Новый закон Мура?

– удвоение плотности элементов процессорных СБИС каждые два года– удвоение частоты процессорных СБИС каждые два года– удвоение количества элементов запоминающих СБИС каждые полтора года

двукратное уменьшение времени доступа запоминающих СБИС каждые десять лет– двукратное уменьшение времени доступа запоминающих СБИС каждые десять лет– удвоение ёмкости внешней памяти каждый год– двукратное уменьшение времени доступа во внешней памяти каждые десять лет– удвоение скорости передачи данных в глобальных сетях каждый году р р

Какой из вышеперечисленных трендов обусловил переход в эру Multicore?Сравните основные технологии распараллеливания операцийСравните основные технологии распараллеливания операций высокого уровня: CMP, SMT и VLIW. Оцените масштабируемость.Почему именно энергопотребление стало ключевым сдерживающим фактором традиционного развития вычислительных систем?Почему передовые ядра с высоким ILP стали уступать простым малым ядрам?

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 18 из 20

ядрам?

Литература

Shalf J.The Landscape of Computer ArchitectureISC2007, Dresden, 2007

Sterling T.HPC Achievement and ImpactHPC Achievement and ImpactISC2007, Dresden, 2007

Burton S.Reinventing ComputingISC2007 Dresden 2007ISC2007, Dresden, 2007

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 19 из 20

Следующая тема

The END ☺

Н.Новгород, 2007 г. Архитектура ВС: Взгляд в будущее© Кудин А.В. 20 из 20