1

Харьковский национальный экономический университет, Харьков, Харьковский национальный экономический университет, Харьков, Украина Украина

Институт сцинтилляционных материалов НАН Украины, Харьков, Институт сцинтилляционных материалов НАН Украины, Харьков, Украина Украина

НТК «Институт монокристаллов» НАН Украины, Харьков, Украина НТК «Институт монокристаллов» НАН Украины, Харьков, Украина

С.В. Минухин, С.В. Баранник, С.В. Знахур,

Р.И. Зубатюк

ЭФФЕКТИВНЫЙ АЛГОРИТМ ПЛАНИРОВАНИЯ ЗАДАНИЙ НА ГЕТЕРОГЕННЫХ КЛАСТЕРАХ НА ОСНОВЕ

MAUI

2

Цель исследованияЦель исследования

• Цель - разработка эффективного алгоритма планирования ресурсов в гетерогенной среде, исследование его эффективности в условиях динамики количества, интенсивности и вычислительной сложности заданий, обоснование выбора оптимальных значений параметров системы планирования для повышения эффективности работы распределенной системы.

3

ResourceBroker

Grid Resource Manager

Grid Resource Manager

Grid Resource Manager

Information Services

MonitoringServices

SecurityServices

Ядро Грид-сервисовЯдро Грид-сервисовCore Grid

Infrastructure Services

User/Application

Higher-Level Services

Грид -промежуточно

е ПО

PBS LSF …

Resource Resource Resource

Управление локальными ресурсами

Общая схема управления ресурсами в Общая схема управления ресурсами в

ГридГрид

4

Критерии Критерии эффективности работы эффективности работы

планировщикапланировщика• Максимизация средней загрузки всех ресурсов системы

• Минимизация среднего времени ответа (времени выполнения одного задания)

• Минимизация суммарного времени выполнения заданий глобальной очереди

5

Основные идеи подхода

1. Минимизировать на каждом этапе планирования количество задействованных (выделенных для планирования) ресурсов.

2. Максимизация (упаковка) количества заданий, которые планируются для их выполнения на ресурсах.

3. Разработка механизма планирования на основе компонент, позволяющих повышать эффективность результатов планирования на основе выбора значений соответствующих параметров.

6

Модель Модель предлагаемой предлагаемой

системы системы планированияпланирования

7

Математическая модель планирования на Математическая модель планирования на основе задачи о наименьшем покрытии (ЗНП)основе задачи о наименьшем покрытии (ЗНП)

Математическая постановка задачи планирования представляет собой задачу линейногобулевого программирования

min)(1

ktn

jjxtL

при ограничениях

.1,0)(};1,0{

;,1i ,11

)(

ktjxij

mn

jktjxij

где m – количество заданий, подлежащих планированию; n – количество ресурсов исследуемой системы, доступных и свободных на момент планирования; tk [T0, TN]. Планирование осуществляется на интервале времени [T0, TN], где T0 – время начала планирования; TN – время окончания планирования заданий очереди. Задачу можно рассматривать как задачу определения минимального числа столбцов в булевой матрице В, покрывающего единицами все строки данной матрицы, элементы которой в контексте решения задачи планирования интерпретируются следующим образом: столбцам соответствуют свободные на момент планирования ресурсы Грид-системы, а строкам – задания, подлежащие планированию, которые должны быть решены на этих ресурсах

8

Матрица соответствия задания/ресурсы Матрица соответствия задания/ресурсы для приведения к ЗНПдля приведения к ЗНП

Таблица 1 Матрица соответствия заданий ресурсам

R1* R2 R3* R4 R5* R6 R7 R8 З1 1 З2 1 1 1 З3 1 1 З4 1 1 З5 1 1 1 З6 1 1 З7 1 1 З8 1 1 З9 1 З10 1 1 1 З11 1 1 З12 1 1 1

9

Определение единицы измерения времени

имитационной модели

В качестве единицы времени планирования и расчетов в программе используется внутреннее время имитационной модели 1 такт, которое соответствует времени решения одного задания, имеющего сложность 100 000 MI на ресурсе, производительность которого 100 000 MIPS. Для вычислительных экспериментов, в которых учитывалась сложность заданий, задания малой сложности (трудоемкости) определялись в интервале от 10 до 300 тактов; средней – от 300 до 10 000 тактов; высокой – от 10 000 и выше тактов.

10

Состав и описание характеристик системы Состав и описание характеристик системы планированияпланирования

№ п/п

Наименование ха-рактеристик (зада-

ний и ресурсов)

Параметр Закон распределе-ния

1 Задание количество заданий, которое будут по-дано на вход модели для решения

нормальный, экс-поненциальный,

равномерный 2 Ресурс количество всех ресурсов, которыми

решаются задания нормальный, экс-поненциальный,

равномерный 3 Сложность решения

задания максимальное количество тактов, за

которое будет решено задание нормальный, экс-поненциальный,

равномерный 4 Универсальность

задания количество ресурсов, которыми может

быть решено задание, в процентах к общему количеству ресурсов

постоянная вели-чина

5 Пул заданий промежуточный временной стек сис-темы определенного размера, в кото-рый загружаются входящие задания

экспоненциальный, нормальный, по-

стоянная величина 6 Производительность

ресурса максимальное количество тактов ре-

шения задания, которое ресурс может выполнить за единицу времени

нормальный, экс-поненциальный,

равномерный 7 Пакет заданий количество заданий, которое может

«выстроиться» в очередь на выбранный ресурс после планирования

постоянная вели-чина

8 Коммуникационная задержка

количество тактов, которое характери-зует временную задержку передачи за-дания на выбранный для ее решения

ресурс

постоянная вели-чина

9 Периодичность планирования

количество тактов, через которое осу-ществляется процедура планирования

для заданий, поступивших в пул

постоянная вели-чина

11

Интерфейс программы для имитационного Интерфейс программы для имитационного моделирования работы планировщикамоделирования работы планировщика

12

Метрики производительности системыМетрики производительности системыВ качестве метрик производительности работы планировщика и Грид-системы используются следующие: Среднее время выполнения одного задания определяется по формуле:

заданиявыполнениявремясреднееt ___ =

N

iвыполненияitN 1

,1

где N – количество заданий глобальной очереди. Время выполнения всех заданий очереди TN, рассчитывается по формуле:

,первпослN TTT

где первT – время поступления первого задания в очередь; послT – времени завершения выполнения последнего задания очереди. Коэффициент использования ресурса Rj определяется по формуле:

,NT

RT

использKi

где TRi – время выполнения всех заданий очереди на ресурсе Rj..

13

Зависимость времени выполнения заданий от количества заданий для методов MC и FCFS при экспоненциальном законе

интенсивности входного потока заданий

14

Зависимость времени выполнения от количества заданий для методов MC и FCFS при равномерном законе интенсивности

входного потока заданий

15

Зависимость коэффициента использования от количества заданий для методов MC и FCFS при экспоненциальном законе

интенсивности входного потока заданий

16

Влияние периодичности планирования на коэффициент Влияние периодичности планирования на коэффициент использования ресурсов (для заданий низкой сложности )использования ресурсов (для заданий низкой сложности )

Результаты эксперимента для заданий низкой сложности

17

Влияние интенсивности поступления сложных заданий (30000 Влияние интенсивности поступления сложных заданий (30000 тактов) на коэффициент использования ресурсов (при нормальном тактов) на коэффициент использования ресурсов (при нормальном законе распределения заданий) для различных периодичностей законе распределения заданий) для различных периодичностей

планированияпланирования

MC периодич нос ть - 1 = 1,2919-0,0121* x +0,0001* x ^2-6,8217E-7* x ^3+1,1276E-9* x ^4

МС периодич нос ть - 5 = 0,8932+0,0016* x -1,8759E-5* x ^2+9,0988E-8* x ^3-1,4848E-10* x ^4

F C F S = 0,5105-0,0006* x +6,1121E-6* x ^2-2,7389E-8* x ^3+4,3173E-11* x ^4

MC периодич нос ть - 1 МС периодич нос ть - 5 F C F S

40 60 80 100 120 140 160 180 200 220 240 260

И нтенс ив нос ть

0,4

0,5

0,6

0,7

0,8

0,9

1,0

Результаты эксперимента для заданий высокой сложности

18

Правила настройки параметров характеристик системы планирования для повышения эффективности работы системы

Условия Система правил для получения лучших результатов показателей эффективности

Интенсивность заданий

Сложность задания Размер пула Размер пакета заданий

Периодичность планирования

Низкая (среднее количество посту пающих в систему заданий меньше количества ресурсов)

Средняя сложность задания больше средней производительности ресурса

Больше максимального значения интенсивности заданий Для нормального закона (M+3σ)

Размер равен средней интенсивности.

Определяется средним временем освобождения ресурса

Средняя сложность задания меньше средней производительности ресурса

Больше максимального значения интенсивности

Размер равен средней интенсивности

Определяется средним временем освобождения ресурса

Высокая (среднее количество поступающих в систему заданий больше количества ресурсов)

Средняя сложность задания больше средней производительности ресурса

Больше среднего значения интенсивности

Размер больше 1 Определяется минимальным временем освобождения ресурса

Средняя сложность задания меньше средней производительности ресурса

Больше среднего значения интенсивности

Размер больше 1 Планирование осуществляется на каждом такте работы системы

19

Исследование практической реализации метода в планировщике MAUI

Реализация алгоритма MC и его адаптация к существующей системе планирования на кластерах осуществляется на базе планировщика MAUI, программная реализация которого имеет открытый код. Исходный код планировщика MAUI реализован на языке С.

Структурно адаптация включает в себя процедуры:1. Настройка конфигурации MAUI для работы с несколькими очередями

и определение политик для работы с разными типами пользовательских заданий.

2. Создание пула заданий для алгоритма MC.3. Заполнение пула теми заданиями, которые определены политиками

и результатом работы MAUI.4. Мониторинг свободных ресурсов и формирование массива

соответствия заданий-ресурсов.5. Запуск собственного алгоритма планирования МС.6. Назначения заданий на ресурсы и передача указателей (назначений)

локальному планировщику TORQUE.Функции заполнения пула пакетом заданий и вызов алгоритма

реализуется в файле «*\maui-3-*-*\src\moab\MSched.c». Для включения и адаптации алгоритма МС в данном файле дополнительно созданы функции создания пула и вызов алгоритма планирования MC

20

Описание структуры типов данных, которыми описываются задания и ресурсы в MAUI

Структура (тип данных), описывающая mcres_t *Ares (Доступные ресурсы) typedef struct { int Procs; int Mem; /* (in MB) */ int Swap; /* (in MB) */ int Disk; /* (in MB) */ mnuml_t PSlot[MAX_MCLASS]; mnuml_t GRes[MAX_MGRES]; } mcres_t;

21

Фрагмент функции «MLocalQueueScheduleIJobs» для вызова функции,

реализующей метод планирования МС. Функция находиться в файле

maui-3.3.*\src\moab\MLocal.c

• #include "../../contrib/sched/MC_Alg.c" Подключение файла с алгоритмом МС• int MLocalQueueScheduleIJobs(• int *Q, • mpar_t *P)• {• mjob_t *J;• int jindex;• if ((Q == NULL) || (P == NULL))• {• return(FAILURE);• }• • /* NOTE: insert call to scheduling algorithm here */• for (jindex = 0;Q[jindex] != -1;jindex++)• {• J = MJob[Q[jindex]];• /* Вызываем функцию формирования пакета. В параметры передаем переменную работы(массив работ,

елементы которого задачи в очереди) и вторым параметром передаем поле ARes к которому получаем доступ из набора параметров (mpar_t *P)*/

• MJobMass(J,P->ARes); /* Call MC Algorithm */• • DBG(7,fSCHED) DPrint("INFO: checking job '%s'\n",• J->Name);• } /* END for (jindex) */• • return(SUCCESS);• } /* END MLocalQueueScheduleIJobs() */

22

Функция заполнения пула пакетом заданий и вызов алгоритма в файле «*\maui-3-*-*\src\moab\MSched.c».

• int MJobMass(• mjob_t *J, /* job ID */• mcres_t *ARes) /* available resources */• {• mjob_t PackJ[5]; /* package including five jobs*/• mcres_t PackR[5]; /* package including five resources */• int i = 0; /* переменная для движения по массивам */• int j = 0; /* переменная для обнуления массивов */• for(i; i < 5; i++)• {• if(PackJ[i] == NULL && PackR[i] == NULL) /* check for completeness of the package ; /• {• PackJ[i] = *J; /* push jobs in first column of package */• PackR[i] = *ARes; /* push available resources in second column of package */• }• else /* if package fully */• {• MShed_MC(*PackJ,*ParkR); /* send package to our algorithm */• for(j; j<5; j++) /* /• {• PackJ[j] = NULL; /* zero out the package */• PackR[j] = NULL; /* zero out the package */• }• }• }• }• int MShed_MC(mjob_t *PackJ, mcres_t *PackR)• {• }

23

ВыводыВыводы1. Предложенный подход и модель позволяют достичь лучших

показателей производительности работы системы, а именно, уменьшения времени выполнения всех заданий и увеличения среднего коэффициента использования ресурсов за счет максимальной загрузки ресурсов на каждом шаге планирования и выбора периодичности планирования в условиях динамического изменения сложности и интенсивности потока заданий. Выбор периодичности планирования позволяет уменьшить время простоя ресурсов.

2. Эффективность предложенного механизма планирования зависит от взаимодействия и настройки компонент: пула, блока планирования, пакетов заданий на ресурсы. Оптимально выбранная периодичность планирования позволяет уменьшить влияние роста интенсивности и сложности поступающих заданий – уменьшить время выполнения всех заданий.

3. Сравнительный анализ использования алгоритма МС и FCFS показывает выигрыш эффективности (выполнения всех заданий) до 60 % в тех случаях, когда пул планировщика выбирается больше величины средней интенсивности заданий, пакет заданий выбирается большим 1, а периодичность – меньше среднего времени освобождения ресурсов.

4. Разработан вариант подключения алгоритма МС в модуль планирования (MLocal.c) планировщика MAUI.

24

ЛитератураЛитература

1.Петренко А.І. Комп’ютерне моделювання грід-систем // Электроника и связь 5’ Тематический выпуск «Электроника и нанотехнологии», 2010. – С. 40–48.

2.Грушин Д.А., Поспелов А.И. Система моделирования Grid: реализация и возможности применения. [Электронный ресурс] – Режим доступа http://www.ispras.ru/ru/proceedings/docs/2010/18/isp_18_2010_243.pdf.

3.Кореньков В.В., Нечаевский А.В. Пакеты моделирования DataGrid // Электронный журнал «Системный анализ в науке и образовании». – 2009. – № 1. – С. 21. – 35.

4.Листровой С.В. Метод решения задач о минимальном вершинном покрытии в произвольном графе и задачи о наименьшем покрытии / С.В. Листровой, С.В. Минухин. // Электронное моделирование. – 2012. – Т. 34. – №1. – С. 29 – 43.

5.Grid Resource Management: State of the Art and Future Trends. - // Jarek Nabrzyski, Jennifer M. Schopf, Jan Weglarz. - Kluwer Publishing, 2004.- 575 p.

6.PBS, PBS pro: www.openpbs.org, www.pbspro.com.7.LSF, CSF: www.platform.com.8.Globus: www.globus.org.9.Global Grid Forum: www.ggf.org, SRM area.