Использование метрик в процессе обеспечения качества сложных систем

ИСПОЛЬЗОВАНИЕ МЕТРИК В ПРОЦЕССЕ ОБЕСПЕЧЕНИЯ КАЧЕСТВА

СЛОЖНЫХ СИСТЕМВИКТОР ГРЕБЕНЮК

Гребенюк Викторhttp://ru.linkedin.com/pub/viktor-grebenyuk/19/b55/76 Менеджер по координации процесса тестированияРайффайзенбанкМосква

КРАТКО О СЕБЕ

http://ru.linkedin.com/pub/viktor-grebenyuk/19/b55/76

Словарь ISTQB (v2.2): Метрика (metric): Шкала измерений и метод, используемый для измерений [ISO 14598]ISO/IEC 14598-1:1999 : The term "metric" has been used in many senses in software engineering publications. In this international standard it is defined as a quantitative scale and method which can be used for measurement. The word "measure" is used to refer to the result of a measurement.

Wikipedia: М трика прогр ммного обесп чения (англ. software е́� а́� е́�metric) — мера, позволяющая получить численное значение некоторого свойства программного обеспечения или его спецификаций.

ЧТО ТАКОЕ МЕТРИКИ?

http://www.rstqb.org/fileadmin/user_upload/redaktion/rstqb_ru/downloads/ISTQB_Glossary_Russian_v2_2.pdf



http://www.iso.org/iso/catalogue_detail.htm?csnumber=24902

http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%BD%D0%BE%D0%B3%D0%BE_%D0%BE%D0%B1%D0%B5%D1%81%D0%BF%D0%B5%D1%87%D0%B5%D0%BD%D0%B8%D1%8F

• отклонения от календарного плана;• отклонения по составу работ/трудозатратам;• возникновение необходимости доработок или исправления проблем после окончания запланированных работ.

МЕТРИКИ, КАК СРЕДСТВО ИДЕНТИФИКАЦИИ РИСКОВ

• нет универсального набора метрик; • нет единого подхода к использованию;• нет единого подхода к классификации; • много метрик - плохо; • некоторые метрики могут навредить; • нюансы тестируемых систем, организации, процессов.

ПОЧЕМУ ВЫБРАТЬ МЕТРИКИ НЕ ВСЕГДА ПРОСТО?

Сложная система — система, состоящая из множества взаимодействующих составляющих, вследствие чего сложная система приобретает новые свойства, которые отсутствуют на подсистемном уровне и не могут быть сведены к свойствам подсистемного уровня.

http://ru.wikipedia.org/wiki/Сложная_система

ЧТО ТАКОЕ «СЛОЖНАЯ СИСТЕМА»?

http://ru.wikipedia.org/wiki/%D0%A1%D0%BB%D0%BE%D0%B6%D0%BD%D0%B0%D1%8F_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D0%B0

12линий

НАПРИМЕР… МЕТРО?

195станций

2 463 800 000перевезённых за год пассажиров

**данные годового отчёта Московского метрополитена за 2012 год

9 279 083перевезённых за день пассажиров

39 946работников метрополитена

3 656среднесуточный эксплуатируемый парк вагонов

• разная критичность подсистем;• разные технологии и языки программирования; • отсутствие доступа к исходному коду;• разное качество аналитики, разработки, тестирования; • нет унификации между информацией о найденных дефектах, деталях выполняемых испытаний и пр.

В ЧЕМ ОСОБЕННОСТЬ ВЫБОРА МЕТРИК ДЛЯ СЛОЖНЫХ

ИНФОРМАЦИОННЫХ СИСТЕМ?

КАК ПОЛУЧИТЬ МАКСИМУМ ИНФОРМАЦИИ ИЗ ВЫБРАННОГО

МАССИВА МЕТРИК?

Приведём различные виды и типы метрик к 2 видам: а. Метрики, описывающие качество продукта; б. Метрики, характеризующие качество процесса.

УПОРЯДОЧИВАЕМ И КЛАССИФИЦИРУЕМ МЕТРИКИ

КАЧЕСТВА

Используемые метрики

- плотность дефектов в коде/по функциональным областям;- полнота покрытия кода или требований тестами;- распределение инцидентов по типам;- распределение дефектов по фазам тестирования;- уровень удовлетворённости конечных пользователей продуктом;- эффективность нахождения дефектов во время тестирования.

Обобщим данные отдельных метрик используя шкалу оценки от 0 до 10 (чем выше качество, тем выше оценка).

ОБОБЩАЕМ ДАННЫЕ ОТДЕЛЬНЫХ МЕТРИК

Система Качество продукта Качество процесса

System ASystem BSystem CSystem DSystem E

7,785,304,80

2,463,58

1,756,786,457,023,40

I четверть (высокое качество процессов и продукта) – оптимальное

соотношение уровня качества процессов и продукта

II четверть(высокое качество процессов, но низкое качество продукта)

– хорошее/неплохое состояние

III четверть(низкое качество процессов и продукта) – наихудшее

состояние

IV четверть(низкое качество процессов,

но высокое качество продукта) – неопределённое состояние

ВИЗУАЛИЗИРУЕМ ПОКАЗАТЕЛИ КАЧЕСТВА

0 5 10

5

10

КАЧЕ

СТВО

ПРО

ЦЕС

СА

КАЧЕСТВО ПРОДУКТА






состояние




0 5 10

5

10

КАЧЕ

СТВО

ПРО

ЦЕС

СА







состояние




0 5 10

5

10

КАЧЕ

СТВО

ПРО

ЦЕС

СА







состояние




0 5 10

5

10

КАЧЕ

СТВО

ПРО

ЦЕС

СА


Шаг 1. Определим критичность подсистем. Выставим уровень критичности каждой из подсистем по шкале от 1 до 5 (тем выше риск, тем выше оценка). Этот показатель будет определять «вес» системы на графике.

Шаг 2. Определим зависимости подсистем и нанесём на диаграмму их отображение. Это сделает возможным получение дополнительной информации о рисках, связанных с зависимыми системами.

ДОБАВЛЯЕМ НАГЛЯДНОСТИ

ОТОБРАЖАЕМ ПОЛУЧЕННЫЕ ДАННЫЕ НА ДИАГРАММЕ

System A

System B

System C

System D

System E

0

1

2

3

4

5

6

7

8

9

10

0 1 2 3 4 5 6 7 8 9 10


КАЧЕ

СТВО

ПРО

ЦЕС

СА

II I

III IV

• Наглядно отобразили текущую ситуацию с качеством в системы целом, как и для каждой подсистемы;• Упорядочили всё множество используемых метрик и показателей качества;• Избежали длинных аннотаций и пояснений;• Выделили масштабы систем и наиболее критичные связи.

ЧЕМ УДОБЕН ТАКОЙ МЕТОД?

Гребенюк Виктор


ВОПРОСЫ?


1. Kan S.H., Metrics and Models in Software Quality Engineering, Second Edition. - Addison Wesle, 2002. - 560 c.2. Certified Tester, Expert Level Syllabus, Ed. by Veenendaal E., Bath G., Evans I. - ISTQB, 2011 Режим доступа: http://www.istqb.org/downloads/finish/18/12.html 3. Kaner C., Bond W.P., Software Engineering Metrics: What Do They Measure and How Do We Know?, 10th International Software Metrics Symposium, Metrics 2004. Режим доступа: http://testingeducation.org/a/34. Hoffman D. The Darker Side of Metrics // Сайт компании Software Quality Methods, LLC. Режим доступа: http://www.softwarequalitymethods.com/Papers/DarkMets%20Paper.pdf5. Гребенюк В.М. О методах определения эффективности и достаточности мер по обеспечению качества сложных информационных систем // INTERMATIC – 2013, Материалы Международной научно-технической конференции, 2 – 6 декабря 2013 г., Москва, часть 6, c. 11-12.6. SWEBOK v3.0, edited by Bourque P., Fairley R.E. – IEEE, 2014 Режим доступа: www.swebok.org 7. Northrop L. at al, Ultra-Large-Scale Systems: The Software Challenge of the Future. - Carnegie Mellon University, 2006. - 150 c..8. ГОСТ Р 51901-2002 "Управление надежностью. Анализ риска технологических систем"9. ГОСТ 27.310-95 "Надежность в технике. Анализ видов, последствий и критичности отказов. Основные положения"10. Схемы компонентов UML: справочные материалы // Microsoft Developer Network. Режим доступа: http://msdn.microsoft.com/ru-ru/library/dd409390(v=vs.100).aspx (дата обращения 19.03.2014)11. Гребенюк В.М. Использование метрик в процессе обеспечения качества сложных информационных систем // Интернет-журнал «INTERNATIONAL JOURNAL OF OPEN INFORMATION TECHNOLOGIES» [Электронный ресурс]. – Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова , № 4 2014 – Режим доступа: http://injoit.org/index.php/j1/article/view/94/69.12. Годовой отчет Московского метрополитена за 2012 год //http://mosmetro.ru/upload/1716/2012.pdf

ЛИТЕРАТУРА ПО ТЕМЕ

Education

Использование метрик в процессе обеспечения качества сложных систем