ITSM. Руководство по измерению Дмитрий Исайченко

Роман Журавлев

http://80na20.blogspot.ru

Наведение порядка практически всегда включает в себя создание системы метрик и показателей, направленной на измерение и контроль процессов управления, предоставляемых услуг и ИТ-систем, лежащих в основе этих услуг.

3 проблемы измерений

1. Одержимость измерениями.

2. Низкое качество систем измерения и оценки. Примеры в книгах – не более чем примеры, часто вызывающие множество вопросов

3. Отсутствие единой системы, «лоскутная» оценка. Не позволяет делать выводы о работе комплекса процессов, не дает представления о «здоровье» ИТ-службы.

«Мы ни в коем случае не предполагаем, что эта книга станет универсальным набором метрик, пригодным для копирования и использования в любой ИТ-организации. Мы вообще не верим, что такой набор возможен.

Более того, мы видим свою задачу не столько в том, чтобы предложить решения, сколько в обсуждении подходов, в определении и анализе проблем, характерных для измерения и оценки отдельных процессов управления ИТ-услугами и системы управления в целом. В каждом процессе есть свои трудности, особенности, ловушки для того, кто намерен измерять и оценивать работу этого процесса. Мы постарались описать эти особенности, а кое-где - предложить свои решения для преодоления трудностей и обхода ловушек.

Это книга для тех, кто думает об измерении и оценке процессов и ищет свои решения для реальных прикладных задач управления ИТ.»

Базовые термины

• Измерение – выраженное в количественных величинах сокращение неопределенности на основании одного или нескольких наблюдений.

Если неопределенности нет, нет и необходимости в измерении.

Если вы не имеете непосредственного контакта с объектом управления (например, с персоналом в территориально распределенной организации) или не все аспекты его состояния поддаются непосредственному восприятию (например, функционирование сложной ИС), измерение становится одной из важнейших составных частей управления.

В целом мы не можем согласиться с расхожим утверждением "нельзя управлять тем, что не можешь измерить". Можно…

• Метрика – технически или процедурно измеряемая величина, характеризующая объект управления (процедура, услуга, исполнитель и пр.)

ИТ-процессы обеспечивают эффективное применение информационных технологий для удовлетворения потребностей заказчиков.

Эффективность здесь означает, что:

– Информационные технологии формируют ценность для Заказчиков (приносят пользу, повышая производительность бизнес-процессов и/или снижая действующие на эти процессы ограничения).

– Затраты на информационные технологии рациональны и контролируются.

– Риски, связанные с использованием информационных технологий, также контролируются и сведены к приемлемому уровню.

Измерение и оценка ИТ-процессов выполняется в интересах двух основных групп заинтересованных лиц (stakeholders)

1. Инвесторы, заказчики, высшее руководство, внешние регуляторы

2. ИТ-менеджеры

Инвесторов, заказчиков, высшее руководство, внешних регуляторов интересует:

• в какой степени система управления ИТ решает поставленные задачи (результативность / effectiveness)

• предусмотрены ли и как действуют управленческие механизмы, обеспечивающие должный уровень контроля и изменения системы в ответ на новые требования (соответствие / compliance)

ИТ-менеджеров интересует текущее состояние процессов с точки зрения:

• содержания и результатов деятельности, а также объёма работ (продуктивность / productivity)

• рациональности использования ресурсов (рациональность / efficiency)

1.Метрики результативности

• Результативность показывает, насколько данный процесс (или группа взаимосвязанных процессов) соответствует своему назначению, а также достигает поставленных целей. Назначение определяет роль процессов в системе управления, то есть ответ на вопрос «зачем нужен этот процесс, за что он отвечает».

• Назначение процесса, как правило, более-менее универсально, то есть мало меняется от компании к компании. Формулировки можно найти в стандартах и сводах знаний (COBIT, ITIL, ISO 20000).

• Помимо назначения у каждого управляемого процесса должны быть определены цели (SMART: конкретные, измеряемые, достижимые, актуальные, ограниченные по времени). Цели не универсальны…

Пример 1. Управление инцидентами и запросами пользователей: Назначение: обеспечение качества ИТ-услуг за счёт скорейшего устранения инцидентов и своевременного выполнения запросов на обслуживание. Примеры целей: • увеличение доли своевременно решённых инцидентов до 95% • увеличение доли обращений, решённых на первой линии, до 50% Примеры метрик результативности: • доля инцидентов и запросов, решённых в срок *%+ • среднее время решения инцидентов в разбивке по уровню влияния *час+

Пример 2. Управление уровнем ИТ-услуг: Назначение: обеспечение качества ИТ-услуг за счёт согласования и контроля соблюдения обязательств поставщика ИТ-услуг, а также организации планового совершенствования ИТ-услуг. Примеры целей: • довести уровень удовлетворённости заказчиков качеством ИТ-услуг до 90% • обеспечить своевременность формирования отчётов по ИТ услугам на уровне

100% Примеры метрик результативности: • интегральный показатель качества ИТ-услуг (рассчитывается по отчётам о

предоставлении ИТ-услуг за период) *%+ • уровень удовлетворённости заказчиков качеством ИТ-услуг (рассчитывается по

результатам опроса заказчиков за период) *%+

2.Метрики рациональности • Результативность процессов обеспечивается за счёт

использования ресурсов организации, расходуемых на исполнение процессов и обеспечение управления.

• Метрики рациональности характеризуют количество ошибок, возникающих при исполнении процесса, а также использование тех или иных механизмов сокращения затрат.

• Основной принцип обеспечения и оценки рациональности системы управления: стоимость владения системой управления и её контроля не должна превышать ценности, формируемой в результате функционирования этой системы с учётом контролируемых рисков.

Идея: оценить использование ресурсов, а по результатам оценки – оптимизировать процесс.

3.Метрики продуктивности

• Метрики продуктивности характеризуют объем работ по исполнению и контролю процесса.

• Например, при проектировании процесса управления изменениями важно понимать, какой поток изменений ожидается, прежде чем записывать в регламент процесса «все изменения рассматриваются на CAB (Change Advisory Board)».

• Например, увеличение потока инцидентов с 8000 до 15000 в месяц (за счет неудачного внедрения новой ИТ-системы) может существенно снизить значение метрики результативности («Среднее время устранения инцидентов»).

4.Метрики соответствия

• Метрики соответствия интересующие, прежде всего, внешних по отношению к процессу заинтересованных лиц, также нередко включают в себя оценку реализации назначения и ключевых практик процесса.

• Обычно оценивается зрелость системы управления ИТ. Она выражается, прежде всего, в уровнях формализации и контроля, действующих в отношении той или иной деятельности.

• Важно отметить, что определённый уровень зрелости характеризует не саму деятельность, но действующую в отношении неё практику управления: – зрелость процесса — характеристика, позволяющая оценить

насколько тщательно и формально в рамках процесса контролируются входящие в его состав виды деятельности;

– зрелость системы управления или зрелость организации характеризует практику контроля, действующую в организации в отношении процессов.

Оценка уровня зрелости обычно выполняется с использованием так называемых «моделей зрелости» (maturity models). Модели зрелости могут быть самостоятельными сводами знаний или входить в состав других сводов знаний и стандартов. Наиболее известные модели зрелости: • Capability Maturity Model (CMM). Эта модель была принята за основу

при разработке модели зрелости процессов в составе COBIT (до версии 4.1 включительно);

• ISO/IEC 15504 «Information technology — Process assessment». Эта модель была принята за основу при разработке модели зрелости процессов управления ИТ, вошедшей в состав новой — пятой — версии COBIT.

Мы используем два основных способа получения информации о значениях метрик:

1. Расчет по данным учетных систем и средств мониторинга

2. Опросы пользователей

Сложности перехода от метрик к KPI

• Разная целевая динамика метрик

• Разные единицы измерений метрик

• Несопоставимые значения метрик

Метрики позволяют собирать численную информацию об объектах управления. Но для того, чтобы оценивать результаты измерений мало их просто собрать…

• Ключевой показатель (KPI) – метрика, которая служит индикатором состояния объекта управления. Обязательное условие – наличие целевого значения и установленные допустимые отклонения.

От метрик к KPI

Сбалансированная карта показателей

Сбалансированная карта показателей представляет собой инструмент целеполагания и контроля, основанный на некотором наборе измеримых целей и соответствующих им KPI, характеризующих различные аспекты состояния объекта управления. Карта показателей помогает наглядно отобразить прогресс в достижении различных целей, характеризуемых произвольным набором метрик.

см.далее

Суть карты (таблица)

• «Вес» – характеристика значимости данного показателя в общей оценке объекта управления.

• «Целевое значение» (Т) – граница между зеленой и желтой зонами шкалы оценки метрики.

• «Граничное значение» (М) – граница между желтой и красной зонами

• «Фактическое значение» (К) – значение метрики, которое является результатом измерения за истекший отчетный период.

• «Оценка (R)» – численный результат сравнения фактического значения с целевым и граничным значениями.

!!! Важно, на формулу влияет направление целевой динамики (см.далее)

Оценка (R)

Пример оценки

Какова итоговая (интегральная) оценка?

Расчет итоговой оценки

• Вариант 1 (взвешенное среднее арифметическое)

• Вариант 2 (произведение)

!!! Важно: Вариант 1 удачен при несвязанных метриках. Вариант 2 дает более адекватную оценку, когда успехи в одном из направлений теряют ценность при наличии серьезных провалов в других.

Пример оценки (продолжение)

Вариант 1: 67%

Вариант 2: 12%

Важно помнить, что разработка метрик – не самоцель. Про каждую метрику важно понимать, кем и для чего она будет использоваться. «Чего мы хотим оценивать?» - вот первый вопрос, который необходимо задать себе перед тем, как переходить к следующему – «Что для этого нужно и можно измерять?»

Порядок разработки KPI по процессу

(процесса)

ITIL: Critical success factor (CSF) COBIT: Governance / Management Practice

Требования к KPI

• Связь с целями

• Обеспечение полноты оценки

• Обеспечение сравнимости оценок с истечением времени

• Стимулирование «правильного» поведения

• Исключение возможности манипуляций

Пример из книги

• Метрики продуктивности не используются в расчете оценок, но позволяют сопоставить успехи процесса с объемом работы, поступившей на вход.

Измерение процессов ITSM

• Управление инцидентами и запросами пользователей (8)

• Управление проблемами (5)

• Управление конфигурациями (6)

• Управление изменениями (9)

• Управление уровнем ИТ-услуг (7)

(х) – кол-во метрик, приводимых авторами в книге

Пример показателей по

процессу «управление

инцидентами».

!!! Но не из книги, а из статьи автора (обновленный

вариант) - http://bit.ly/1C50d6s

Измерение позволяет:

• Обеспечить достоверность оценки текущего состояния объекта управления

• Повысить достоверность прогноза возможных улучшений

• Проконтролировать исполнение принятых решений

• Более точно и комплексно оценить эффект от реализации принятых решений

Измерение НЕ в состоянии:

• Сделать выводы

• Принять решение

1. Каковы причины отклонений, нарушений, невыполнения планов?

2. Каков общий вывод по текущему состоянию?

3. Что необходимо предпринять для улучшения ситуации?

Важнейшие вопросы по результатам измерений

Вместо заключения

• Руководителям нужно осознать, что результаты измерения не самоценны, а лишь дают информацию для обработки. И если отчет, предназначенный для принятия решения, помимо результатов измерений не содержит анализа, выводов и предложений, то работа не сделана, потому что менеджер – по определению больше (и, как правило, дороже), чем панель мониторинга (dashboard).

• Только если правильно работать с результатами измерений, вы сможете перейти от измерений к действиям.

Дополнительные материалы

• Описание книги и фрагмент для чтения - http://www.cleverics.ru/ru/subject-field/itsm-a-practical-guide-to-process-measurement

• Видео (про книгу):

– О том, какие задачи помогает решать книга «ITSM. Руководство по измерению» - http://youtu.be/DOtCpkoMvlk

– Комплексная система измерения и оценки за пять шагов - http://youtu.be/4jBk4khLmXo

– Измерение и оценка ITSM-процесса на примере управления изменениями - http://youtu.be/3GZivPn3rqU

• Статьи консультантов Cleverics - http://www.cleverics.ru/ru/subject-field/articles

• Портал Real ITSM - http://www.realitsm.ru