Какой разработчик лучше? Или как сравнивать качество различных систем?

Software quality assurance days

17 Международная конференция

по вопросам качества ПО

sqadays.com

Минск. 29–30 мая 2015

Шабалина АнастасияPerformance Lab. Москва, Россия

Какой разработчик лучше?

Или как сравнить качество различных

систем?

1

Какой разработчик лучше? Или как сравнить качество различных систем?

Участвую в проектах по

обеспечению качества для

Департамента Информационных Технологий

города Москва.

Приветствие

Анастасия Шабалина

2

Инженер по тестированию

в компании «Перфоманс лаб».


Предоставление услуг по обеспечению качества

информационных систем.

Среди ключевых клиентов – государственные

организации, развивающих работу электронного

правительства РФ.

Приветствие

3


Государственные IT компании Специфика работы

Ключевой фактор –

стоимость услуг

подрядчика

Ограничения, связанные с

законодательством РФ

4


Государственные IT компании Специфика работы

Как эффективно контролировать

работу многочисленных

поставщиков?

5


Постановка задачи

Сравнение качества автоматизированных систем

разработанных различными подрядчиками

с применением различных технологий

имеющих различную биснес-логику

находящихся на разных этапах

ЖЦПО

различный объем

6


Обзор существующих методов оценки качества ПО

Метрики продукта – размер, сложность, особенности конструкции, производительность, качество кода

Stephen H. Kan, Metrics and Models in Software Quality Engineering,Addison-Wesley Longman Publishing Co., Inc. Boston, MA, USA ©2002

7




Метрики процесса – эффективность деффектинга, паттерн тестирования, среднее время устранения дефектов


8




Метрики процесса – эффективность деффектинга, паттерн тестирования, среднее время устранения дефектов

Метрики проекта – число разработчиков, распределение сотрудников в процессе жизненного цикла проекта, цена, временные рамки, продуктивность


9


Требования к критерию сравнения

Универсальность – вычисляется из характеристик,

присущих любой автоматизированной системе

10





Чувствительность – способен отразить наибольшее число

ошибок допущенных на всех стадиях разработки системы

11





Чувствительность – способен отразить наибольшее число

ошибок допущенных на всех стадиях разработки системы

Доступность – вычисляется

посредством анализа результатов

тестирования

12


Критерий сравнения. Формула

Kср = 𝛥𝐷𝑛𝑒𝑤 + 𝐷

𝜟𝑫𝒏𝒆𝒘 − число новых дефектов, заведенных за

определенный период (месяц)

𝑫 − число заведенных и неисправленных дефектов

в системе, измеряется с определенной

периодичностью (месяц)

13



𝑽тм − объем тестовой модели

(число тест-кейсов), величина, соответствующая

числу функциональных блоков в коде системы

Kср =𝛥𝐷𝑛𝑒𝑤 + 𝐷

𝑉тм

14



𝛥𝑽тм𝑵𝒆𝒘

𝑽тм− Удельный объем прироста нового

функционала системы, при нормировании критерия

на параметр происходит приведение формулы к

упрощенному виду

Kср =𝛥𝐷𝑛𝑒𝑤 + 𝐷

𝛥𝑉тм𝑁𝑒𝑤

15



𝑇1, 𝑇2, . . 𝑇𝑛 − обозначение различных типов

дефектов

𝑚1,𝑚2, . . 𝑚𝑛 − весовые коэффициенты для

нормирования числа дефектов, в зависимости от их

уровня критичности, числа в диапазоне от 0 до 1

Kср=𝛥𝐷𝑛𝑒𝑤𝑇1+𝐷𝑇1 ∗𝑚1+ 𝛥𝐷𝑛𝑒𝑤𝑇2+𝐷𝑇2 ∗𝑚2+..+ 𝛥𝐷𝑛𝑒𝑤𝑇𝑛 +𝐷𝑇𝑛 ∗𝑚𝑛

𝛥𝑉тм𝑁𝑒𝑤

16


Примеры. Сравнение качества двух систем

17


Критерий сравнения. Медианное значение

𝑀𝑒 – медианное значение полученное по всей выборке

значений критерия для каждой АС

Kср = 𝑀𝑒( 𝑚=1𝑚=𝑛 𝛥𝐷𝑛𝑒𝑤+ 𝑚=1

𝑚=𝑛 𝐷

𝛥𝑉тм𝑁𝑒𝑤)

18


Критерий сравнения. Показатель динамики

Рассчитывается на основе значения наклона тренда линейной

регрессии распределения значений критерия от времени

• Отрицательный наклон –

качество улучшается

• Положительный наклон –

качество ухудшается

• Нулевое значение –

качество не изменяется

со временем

19


Критерий сравнения. Показатель динамики

Kср = 𝑀𝑒( 𝑚=1𝑚=𝑛 𝛥𝐷𝑛𝑒𝑤+ 𝑚=1

𝑚=𝑛 𝐷

𝛥𝑉тм𝑁𝑒𝑤) + 𝑒𝑏 ∗ 𝑘

𝒃 – значение наклона тренда

𝒆 – произвольное основание

больше 1

𝒌 – произвольный весовой

коэффициент, модулирует

влияние на основное

значение

20


Область применения

Компании заказчику для эффективного взаимодействия с

большим числом различных поставщиков IT систем,

необходима сравнительная оценка качества их услуг, на

которую можно ориентироваться при оценке качества

отдельного поставщика.

Заказчик сталкивается с выбором наиболее оптимальной

системы из ряда аналогичных по функциональности.

Частный случай – филиальная система.

21


Спасибо за внимание!

Контакты:

Данила Павлюченко – соавтор доклада

E-mail: [email protected]

Шабалина Анастасия – докладчик

E-mail: [email protected]

22

Education

Какой разработчик лучше? Или как сравнивать качество различных систем?