Какая польза от метрик?

1

1

КакаяКакаяКакаяКакая пользапользапользапольза отототот метрикметрикметрикметрик?

Сергей Поволяшко, РМР

www.it-tuning.com

SPB SQA Group

13.10.2011

2

www.it-tuning.com2

В IT с 1996 года. Работал по нескольким IT

специальностям. С 2001 года управляю

операционной деятельностью и проектами.

Место работы – Team International, LLC.

www.teaminternational.com.

Веду проект ИТ Тюнинг, www.it-tuning.com.

Настройка управления проектами и операционной

деятельности

Достижения:

� Лидирующее участие во

внедрении CMMI L3, 2008

� Project Management Professional

(PMP), PMI. 2007

� ITIL Foundation V3. 2009

Давайте познакомимся

Сергей Поволяшко

3

www.it-tuning.com3

Правила игры

� Активное участие

� Слышим и уважаем другие мнения

� Нет фанатизму

� Внимание! Будет приз! За наиболее курьезную историю от

слушателей, либо неправильного применения метрик,

либо вынесения суждений, принятия решений на

основании ощущений (без фактов и цифр). Думаем,

вспоминаем!

4

www.it-tuning.com4

Тренинги, обучение� Тренинги

� Измерения в разработке ПО. Как, что и зачем измерять

� Метрики: проекты, процессы

� Аспекты непрерывности ИТ бизнеса – 02.12.2011, Москва

� Управление Рисками. Классика, Agile, бизнес, заказчик

� Расписание работ. Как сделать сроки реалистичными

� Эволюционный ускоритель. Путь к эффективной организации

� Тренинговый Конструктор. Гибкое формирование тренинговых и

консультационных программ для ИТ компаний.

� Альтернатива стандартным одно- и двух- дневным тренингам

� Тренинговые модули по 4 часа, фокус на одну тему

� Полтора десятка модулей

� Из этих модулей можно собрать, как из конструктора, программу

тренинга, отвечающую потребностям слушателей, компании

5

www.it-tuning.com5

События careerlab.ru

Семинар «Тестирование в Microsoft Test and Lab Management» (В.Гусаров)

� 28 октября - семинар, посвященный тестированию с использованием Microsoft Test and LabManagement. В качестве спикера выступит Владимир Гусаров.

� Автор познакомит слушателей с возможностями развертывания тестовых сред, написанием testcases, работой с тестовыми планами, написанием автоматических тестов.

Семинар «Разработка баз данных с использованием Visual Studio 2010» (А.Шамрай)

� 3 ноября - семинар, посвященный инструментам для разработки баз данных. Александр Шамрайпродемонстрирует возможности инструментов Visual Studio 2010 для разработки иразвертывания баз данных, обеспечения их качества и интегрирование в общий процессразработки ПО организации.

Конференция Internet Life

� 15 ноября в Московском Центре международной торговли состоится конференция Internet Life2011. Эксперты рассмотрят новейшие технологии и продукты в рамках трех профильныхпотоков: social experience, business и entertainment.

� Мероприятие имеет широкую целевую аудиторию и предназначено как для стартаперов и топ-менеджеров ИТ-компаний, так и для маркетологов, PR-специалистов и просто любителиИнтернета. Для тех, кто хочет получить дополнительные и более продвинутые знания, предлагается отдельная зона Advanced. Все доклады читаются в России впервые.

6

www.it-tuning.com6

Содержание

� Зачем вообще что-то измерять?

� Основные концепции метрик

� Области применимости метрик

� Обзор областей

� Подробнее о качестве продукта

� Условия успешности внедрения и применения метрик

� Кейсы реального использования метрик

� Поддержка продукта

� Центр тестирования

� Слабое звено

� Вопросы-ответы

7

www.it-tuning.com7

РазминкаКакие метрики собирались?

Чем это было полезно?

8

www.it-tuning.com8

Разминка

Чем это полезно?Какие метрики собирались,

собираете?

9

www.it-tuning.com9

Зачем вообще что-то измерять?Зачем? Непрерывно оценивать качество процесса, продукта, услуги

Инструментарий. Контрольная диаграмма (Control Chart)

Зн

аче

ни

я(н

апр

. д

еф

ект

ы)

Периоды измерений

Целевые показания или среднее значение (goal)

Верхняя и нижняя контрольные границы (upper and lower control limits)

Пример. Количество дефектов в очередной итерации, спринте, релизе

10

www.it-tuning.com10

Зачем вообще что-то измерять?Зачем? Улучшать процессы, продукт, сервис

Инструментарий. Процесс улучшений

Входящая информация:•Бизнес цели•Отчетность, контроль•Тактические цели

Что нам следует измерять?

Настроить сбор данных. Кто, что, как и когда?

Обработать, проанализироватьданные

Оценить эффект отпринятых мер

Что мы хотим улучшить?

Пример. Улучшить эффективность устранения дефектов (DRE)

Запланировать и воплотитьулучшение

11

www.it-tuning.com11

Зачем вообще что-то измерять?

Зачем? Делать приемку товаров/услуг

Инструментарий. Договорные обязательства, специфический

инструментарий, запланированные процедуры контроля критериев

Примеры:

� Программный продукт должен содержать не более 10

несущественных дефектов

� Вебсайт должен быть доступен не менее 99.8% времени

� Отчет А в среде Б должен формироваться не более чем за В

секунд

12

www.it-tuning.com12


Зачем? Оценивать достижение целей

Инструментарий. План действий и система измерений отражающие

текущее, промежуточные и целевое состояния

Пример:

� Бизнес план для выхода на валовую прибыль Х в очередном году

13

www.it-tuning.com13


Принимать обоснованные решения - УправлятьУ

луч

шать

Делатьприемку

товаров/усл

уг

Неп

рер

ыв

но

оц

ен

ивать

кач

еств

о

пр

оц

есса, п

ро

дук

та,

усл

угиОценивать достижение

целей

14

www.it-tuning.com14

Основные концепции метрик

15

www.it-tuning.com15

Основные Концепции Метрик

Немного Философии

Нельзя управлять тем, что нельзя измерить.

Peter Drucker, Tom De Marco

Не имея правильной информации, вы всего лишь еще один

человек со мнением.

Tracy O’Rourke

Если вы не знаете куда вы идете, то любая дорога приведет

вас туда

16

www.it-tuning.com16

Люди

Процессы Инструментарий

Необходимые условия успеха при внедрении метрик


17

www.it-tuning.com17

Информационные потребности и информационный продукт

Информационный продукт(Information product)

•Метрики, статистика, тренды, данные

•Информация дляпринятия управленческихрешений

•Информация дляулучшений

Система метрик(Measurement Framework)


Информационныепотребности(Information needs) исреда

•Цели/интересыкомпании, заказчика, проекта

•Виды контрактов, проектов, бизнеса, среда, ресурсы

•Бизнес итехнологическиепроцессы

18

www.it-tuning.com18


Структура показателей

Миссия, видение, стратегические цели бизнеса. Информационные

потребности. (Mission, Vision, Goals, Information needs)

Ключевой индикатор эффективности

(KPI – Key Performance Indicator)

Метрики

(Metrics)

Измерения

(Measurements, raw data)

19

www.it-tuning.com19

Структура показателей

Ключевые показатели (KPI)

Тренд метрик(и)

Метрики

Формула

Базовые измерения

- Рейтинг переоткрытых дефектов (%)

- Количество переоткрытых дефектов

- Единица времени (напр. месяц)

- Количество дефектов

- Уменьшение рейтинга (цель: в 2 раза)

- Мониторинг ежемесячно

Снизить %

переоткрытых

дефектов в 2 раза


20

www.it-tuning.com20

Разминка100 дефектов в очередной итерации.

По каким признакам вы оцените это много или мало?

21

www.it-tuning.com21

Понятие Размера (Size)

Что есть единицейразмера?

22

www.it-tuning.com22

Взаимосвязь между качеством, количеством, размером и

производительностью

� Количество = (производительность * размер) / качество

� Качество = (производительность * размер) / количество

� Производительность = (количество * качество) / размер

� Размер = (количество * качество) / производительность

Размер – условная единица объема работы


23

www.it-tuning.com23


Качество

Количество

Производительность

24

www.it-tuning.com24

Оценка размера (Size Estimate) в некоторых условных единицах используя

определенные методики.

Методики и единицы:

� Строки кода (LOC, KLOC)

� Функциональные единицы (Function Points Analysis - FPA) и разновидности

FPA

� Единицы вариантов использования (Use Case Points - UCP)

� Story points (SCRUM)

� Количество страниц в спецификации

� Любые другие единицы работы, которые могут осмысленно выразить общий

объем работ или его существенную часть (веб страница для верстки,

страница текста для перевода, одно требование в спецификации, один шаг

тестового сценария, класс, и т.п.)


25

www.it-tuning.com25

Зачем нужен Size:

� Абстрагирование от уровня знаний и опыта исполнителей

� Отображение реального объема работ

� Использования в метриках, KPI для оценки производительности,

качества

� Оценки производительности команды или персональной

� Для прогнозирования: времени, качества, расходов

� Оценки временнЫх затрат (Effort Estimate)


26

www.it-tuning.com26

Области применимости метрик

� Обзор областей

� Подробнее о качестве продукта

27

www.it-tuning.com27

Обзор областей

� Качество продукта

� Производительность: проекта, персональная

� Качество процессов производства

� Сервисные метрики

� HR метрики

� Нефинансовые метрики деятельности компании

28

www.it-tuning.com28

Качество продукта

Продукт

� Внешний – отдается заказчику

� Внутренний – результаты фаз, инженерных и

управленческих практик

Основные характеристики качества

� Defect density (степень качества)

� Defect removal efficiency (степень качества заказчику)

� Defect origin (источник проблем)

� Defect removal cost (стоимость устранения дефектов)

29

www.it-tuning.com29

� Defect density (степень качества)� Плотность дефектов (Defect Density) – количество дефектов на

единицу размера, например:

� На весь продукт, на часть функционала, на релиз, на итерацию, наспринт, на документ, на объем трудозатрат и т.п.

� DD = Σ Дефектов / Релиз

� DD = Σ Дефектов / Σ KLOC

� DD = Σ Дефектов / Σ Story_Point

� DD = Σ Дефектов / Σ Шагов_ТестКейсов

� DD = Σ Дефектов / Σ Размер_Спецификации


30

www.it-tuning.com30

� Defect removal efficiency (степень качества заказчику)

� Эффективность устранения дефектов (Defect Removal Efficiency) –

соотношение количества устраненных дефектов во время стадии и

общего количества найденных дефектов (или до передачи

заказчику и количества дефектов, найденных после передачи

заказчику)

� DRE = Σ Устраненные_Дефекты

÷ (Σ Устраненные_Дефекты + Σ Обнаруженные_Позже)

* 100%

Производство продукта Приемочное тестирование (UAT) Эксплуатация

На

ча

ло

отсч

ета

дл

яΣ

ОП

На

ча

ло

отсч

ета

дл

яΣ

ОПили


31

www.it-tuning.com31

� Defect origin (источник проблем)

� Происхождение дефектов (Defect Origin) – показывает, на какой

стадии был внесен дефект, необходимо для выявления наиболее

проблемных процессов с целью принятия фокусных улучшений

0

5

10

15

20

25

Спец. Арх. Модуль 1 Модуль N Тест. Док.


32

www.it-tuning.com32

� Defect removal cost (стоимость устранения дефектов), или Cost of

Poor Quality (стоимость плохого качества)

� Стоимость, выраженная в человеко-часах, или деньгах, или времени.

Для подсчета должна соответствующим образом быть настроена

система планирования и учета времени, а также система управления

дефектами.

Треб.Треб.Треб.Треб.Арх.Арх.Арх.Арх.Инсп.Инсп.Инсп.Инсп.Код.Код.Код.Код.Тест.Тест.Тест.Тест.Устр. Деф.Устр. Деф.Устр. Деф.Устр. Деф.


33

www.it-tuning.com33

При подсчете плотности дефектов (Defect Density) и эффективность

устранения дефектов (Defect Removal Efficiency) можно

использовать их «тяжесть» (Severity):

� Считать DD и DRE отдельно по разным категориям «тяжести»

(High, Middle, Low), и/или

� Ввести весовые коэффициенты «тяжести», например: High = 5,

Middle = 3, Low = 1

IEEE J-STD-016-1995 предлагает такую классификацию дефектов: 1 –

Критические ошибки; 2 – Ошибка, которую нельзя обойти ; 3 –

Ошибка, которую можно обойти; 4 – Неточность; 5 – Запрос об

изменении; 6 – Консультация


34

www.it-tuning.com34

Условия успешности внедрения и применения

метрик

35

www.it-tuning.com35

РазминкаКакие были/есть основные препятствия для эффективного

использования метрик?

36

www.it-tuning.com36

Внедрение метрик должно рассматриваться как проект, со всеми ему

присущими характеристиками (объем работ, план проекта, ресурсы,

результат)

Интегрировать процедуры измерений в соответствующие бизнес и

технологические процессы

Внедрение метрик

37

www.it-tuning.com37


Поддержка руководства

� Основные положения программы измерений

(что, зачем)

� Поддержка других заинтересованных сторон

� В какие проекты, производственные процессы

что и когда интегрируется

� Обеспечение ресурсами

� Компетентный персонал

� Инструментарий

� Выделение ресурсов (время, бюджет, люди и т.п.)

� Контроль внедрения и использования программы

измерений

� Использование информационного продукта для

принятия решений

38

www.it-tuning.com38


План по подготовке персонала

� Необходимая начальная подготовка «внедренцев» и

пользователей – тренинги (список и график),

необходимость найма, самообучение, сроки

� Затраты на подготовку персонала и поддержку системы

метрик

План внедрения/настройки процессов производства

� План по внедрению/настройке процессов (документация,

шаблоны, тренинги, инструментарий)

� Подготовка, настройка инструментария

39

www.it-tuning.com39


Данные

� Источники данных и методы сбора данных

� Требования к частоте (регулярность и/или

события) измерений

� Кто будет собирать, использовать данные,

когда, в каком виде

� Структура показателей (Метрики, KPI)

� Агрегация данных

40

www.it-tuning.com40

Кейсы реального использования метрик

� Поддержка продукта

� Центр тестирования

� Слабое звено

41

www.it-tuning.com41

РазминкаКурьезная история от слушателей,

либо неправильного применения

метрик, либо вынесения суждений,

принятия решений на основании

ощущений (без фактов и цифр).

�Записываем

�Голосуем

42

www.it-tuning.com42

Кейс «Поддержка продукта»

� Работа – устранение дефектов, небольшие обновления

� Модель – выделенная команда, всего 3 команды (одна - наша)

� Что важно заказчику – «отдача» - количество закрытых запросов и качествоработы. Команды сравниваются, принимаются решения о развитии бизнеса

� Что важно нам – удерживать показатели в рамках ожиданий заказчика

Что измеряем:

� Производительность команды в пересчете на 1 человека в неделю, сборданных понедельно, тренд

Пр = КоличЗакрЗапр/КоличЧеловек/Неделя,

� Качество, рейтинг количества возвратов после тестирования (Defect ReopenRate), сбор данных понедельно, тренд

РейтКоличВозвр = (КоличВозврЗапр/КоличСданныхЗапр)*100%

Использование метрик

43

www.it-tuning.com43

Кейс «Центр тестирования»

� Работа – тестирование продукта

� Модель – выделенная команда тестирования на несколько центровразработки

� Что важно заказчику – принятие решений о выпуске очередного релиза, информирование конечных пользователей об известных дефектах, принятиерешений о направлениях разработки

� Что важно нам – производительность команды на человека


� Плотность дефектов по модулям продукта. Cбор данных по релизам, тренды

ПД(мод 1..N) = (КоличОтрицТестов/КоличТестов)*100%

� Производительность команды на человека в неделю, тренд

ПК = КоличТестов/КоличЧеловек/Неделя


44

www.it-tuning.com44

Кейс «Слабое звено»

� Работа – разработка продукта, front end, backend, разработка требований,

тестирование

� Модель – выделенная команда, релизы раз в 2-3 месяца

� Проблема – Количество возвратов после тестирования на front end в несколько раз

выше, чем back end. А именно, около 50%. Решили разобраться


� Рейтинг возврата – количество дефектов на количество задач. Тренд

РейтВозвр = (КоличВозврЗадач/КоличЗадач)*100%

Разобрались:

� Заказчик часто давал указания «мимо» аналитика именно по front end, соответственно

было разное понимание задачи у разработчиков front end, у тестировщиков, у

аналитика, и у заказчика.

� Команда стала обсуждать вместе такие указания и приходить к общему пониманию

прежде чем делать

� Рейтинг со временем понизился до нормального уровня


45

www.it-tuning.com45

Полезные ссылки� Software Measurement: Establish - Extract - Evaluate – Execute. Christof

Ebert, Reiner Dumke

� Measuring the software process. William A. Florac, Anita D. Carleton

� ISO 15939 Systems and software engineering -- Measurement process

� PMBOK® Guide. Fourth Edition. PMI

� PMP Exam Prep. Fifth edition. Rita Mulcahy

� Practice Standard for Earned Value Management. PMI

� Слайдкасты http://www.it-tuning.com/, раздел «Ресурсы»

� Измерения в разработке ПО. Часть I

� Измерения в разработке ПО. Часть II

46

www.it-tuning.com46

Спасибо за внимание

Контакт:

Сергей Поволяшко

[email protected]

www.it-tuning.com

Technology

Какая польза от метрик?