9. Оценка качества ПО Прогресс наступит лишь тогда, когда мы приучим себя думать о программах, не считая их просто кусками исполняемого кода.

Эдсгер Дейкстра

Проблемами оценки качества промышленной продукции занимается квалиметрия – наука, определяющая основные термины в области качества продукции, устанавливаю-щая группы показателей качества, определяющая методы получения количественных значений показателей качества и методы определения уровня качества различных образ-цов промышленной продукции.

Для рассмотрения проблемы оценки качества ПО необходимо ввести основные по-нятия о качестве ПО. Качество программы (quality) – весь объём признаков и характери-стик программы, который относится к её способности удовлетворять установленным или предполагаемым потребностям. Уровень качества функционирования

Качество программы не должно быть делом случая. Качество должно гарантиро-ваться процессом разработки. Контроль качества программного продукта – это система-тические действия, подтверждающие пригодность к использованию программного про-дукта в целом. Цель контроля качества – дать количественные меры качества программ-ной системы.

(level of performance) – степень, в которой удовлетворяются потребности, представленные кон-кретным набором значений для характеристик качества. Из приведенной формулировки следует, что не все свойства ПО входят в его качество, а только та их совокупность, кото-рая определяется потребностью в этом ПО. Если по каким-то причинам исчезнет потреб-ность в данном ПО, то его качество будет нулевым.

Характеристики качества программного обеспечения (software quality characteristics) – набор свойств (атрибутов) программной продукции, по которым её ка-чество описывается и оценивается. Характеристики качества программного обеспечения могут быть уточнены на множестве уровней комплексных показателей (подхарактери-стик).

Свойства ПО можно условно разделить на функциональные и конструктивные. Функциональные свойства отражают возможности и специфику применения про-

граммы и обусловливают степень её соответствия своему целевому назначению. Они ха-рактеризуют программу с точки зрения того, как в действительности она выполняется.

Конструктивные свойства программы более или менее не зависят от её функцио-нальных возможностей и назначения. Они характеризуют программу с точки зрения то-го, как в действительности она сконструирована, устроена. Наиболее важные свойства разрабатываемого ПО (как функциональные, так и конструктивные) формируются и учи-тываются заранее, при составлении технического задания и при проектировании.

9.1. Методы оценки свойств ПО Измеряй то, что измеримо, и делай измеримым то, что нельзя измерить.

Галилео Галилей

В соответствии с ГОСТ 28195–89 «Оценка качества программных средств» методы определения показателей качества ПО различаются:

• по способам получения информации о ПО – измерительный, регистрационный, ор-ганолептический, расчетный;

• по источникам получения информации – традиционный, экспертный, социологи-ческий.

Измерительный метод основан на получении информации о свойствах и характери-стиках ПО с использованием инструментальных средств. Например, с использованием этого метода определяется объём ПО – число строк исходного текста программ и число строк-комментариев, число операторов и операндов, число исполненных операторов, число ветвей в программе, число точек входа (выхода), время выполнения ветви про-граммы, время реакции и другие показатели.

Регистрационный метод основан на получении информации во время испытаний или функционирования ПО, когда регистрируются и подсчитываются определённые со-бытия, например: время и число сбоев и отказов, время передачи управления другим мо-дулям, время начала и окончания работы.

Органолептический метод основан на использовании информации, получаемой в результате анализа восприятия органов чувств (зрения, слуха), и применяется для опре-деления таких показателей, как удобство применения, эффективность

Расчетный метод основан на использовании теоретических и эмпирических зави-симостей (на ранних этапах разработки), статистических данных, накапливаемых при испытаниях, эксплуатации и сопровождении ПО. При помощи расчетного метода опре-деляются длительность и точность вычислений, время реакции, необходимые ресурсы.

и т. п.

Экспертный метод применяется в случаях, когда задача не может быть решена ни-каким другим из существующих способов или другие способы являются значительно бо-лее трудоёмкими. Экспертный метод рекомендуется применять при определении показа-телей наглядности, полноты и доступности программной документации, легкости освое-ния, структурности. Определение значений показателей качества ПО экспертным мето-дом осуществляется группой экспертов-специалистов, компетентных в решении данной задачи, на базе их опыта и интуиции.

Социологические методы основаны на обработке специальных анкет-вопросников. В настоящее время используется подход к оценке качества ПО, основанный на ком-

плексном использовании всех методов получения количественных значений показателей качества.

Оценка качества ПО проводится на фазах жизненного цикла и включает выбор номенклатуры показателей, их оценку и сопоставление значений пока-зателей, полученных в результате сравнения, с базовыми значениями.

9.2. Номенклатура показателей качества В нашем ПО нет никаких ошибок. В нём просто обнаруживаются непредусмот-ренные возможности.

Из фольклора

Номенклатура показателей качества и характеризуемые ими свойства программных средств приведены в соответствии с [10].

9.2.1. Функциональные возможности (Functionality) Функциональные возможности – набор атрибутов, относящихся к сути набора функ-

ций и их конкретным свойствам. Функциями являются те, которые реализуют установлен-ные или предполагаемые потребности.

Примечание. Данный набор атрибутов характеризует то, что программное обеспе-чение выполняет для удовлетворения потребностей, тогда как другие наборы главным образом характеризуют, когда и как это выполняется.

Подхарактеристики: пригодность (suitability), правильность (accuracy), способ-ность к взаимодействию (interoperability), согласованность (compliance), защищенность (security).

9.2.2. Надёжность (Reliability) Надёжность – набор атрибутов, относящихся к способности программного обеспе-

чения сохранять свой уровень качества функционирования при установленных условиях за установленный период времени.

Примечание. Износ или старение программного обеспечения не происходит. Огра-ничения надёжности проявляются из-за ошибок в требованиях, проекте и реализации. Отказы из-за этих ошибок зависят от способа использования программного обеспечения и ранее выбранных версий программ.

Подхарактеристики: стабильность (maturity), устойчивость к ошибке (fault tolerance), восстанавливаемость (recoverability).

9.2.3. Практичность (Usability) Набор атрибутов, относящихся к объёму работ, требуемых для использования и ин-

дивидуальной оценки такого использования определённым или предполагаемым кругом пользователей.

Примечания: 1. «Пользователи» могут интерпретироваться как большинство непосредственных

пользователей интерактивного программного обеспечения. Круг пользователей может включать операторов, конечных пользователей и косвенных пользователей, на которых влияет данное программное обеспечение или которые зависят от его использования. Практичность

2. Практичность, определённая в данном стандарте как конкретный набор атрибутов программной продукции, отличается от определения с точки зрения эргономики, где рас-сматриваются как составные части практичности другие характеристики, такие как эф-фективность и неэффективность.

должна рассматриваться во всем разнообразии условий эксплуатации пользователем, которые могут влиять на программное обеспечение, включая подготовку к использованию и оценку результатов.

Подхарактеристики: понятность (understandability), обучаемость (learnability), про-стота использования (operability).

9.2.4. Эффективность (Efficiencies) Эффективность – набор атрибутов, относящихся к соотношению между уровнем ка-

чества функционирования программного обеспечения и объёмом используемых ресурсов при установленных условиях.

Примечание. Ресурсы могут включать другие программные продукты, технические средства, материалы (например, бумагу для печати, гибкие диски) и услуги эксплуати-рующего, сопровождающего или обслуживающего персонала.

Подхарактеристики: характер изменения во времени (time behavior), характер из-менения ресурсов (resource behavior).

9.2.5. Сопровождаемость (Maintainability) Сопровождаемость – набор атрибутов, относящихся к объёму работ, требуемых для

проведения конкретных изменений (модификаций). Примечание. Изменение может включать исправления, усовершенствования или

адаптацию

Подхарактеристики: анализируемость (analysability), изменяемость (changeability), устойчивость (stability), тестируемость (testability).

программного обеспечения к изменениям в окружающей обстановке, требо-ваниях и условиях функционирования.

9.2.6. Мобильность (Portability) Мобильность

Примечание. Окружающая обстановка может включать организационное, техниче-ское или программное окружение.

– набор атрибутов, относящихся к способности программного обеспече-ния быть перенесенным из одного окружения в другое.

Подхарактеристики: адаптируемость (adaptability), простота внедрения (installability), соответствие (conformance), взаимозаменяемость (replaceabilily).

ГЛОССАРИЙ

Адаптация (tailoring) методологии разработки – Процесс приспособления методологии разработки под специфику конкретной организации и/или конкретного проекта.

Акциденции – Сложности разработки, сопутствующие производству программного обеспечения, но не внутренне ему присущие.

Анализ требований – Процесс разработки, включающий исследование предметной области, выявление и фиксацию наиболее важных требований к будущему продукту с точки зрения заказчика или пользователей.

Архитектурно-значимые проектные решения – Проектные решения, которые являются наиболее важными, определяющими для системы; каждое из них влияет на то, какой будет существенная часть системы или вся система.

Безнадёжный проект – Проект, имеющий отклонение от нормы, как минимум, на 50 % (срок разработки сжат в два раза или людских ресурсов в два раза меньше требуемого).

Безопасное программирование (defensive programming) – Подход к написанию программ, снижающий ущерб от программных ошибок; при этом программа сама выявляет многие ошибки, сообщает о них пользователю и/или разработчику и даже борется с ними.

Валидация – Процесс жизненного цикла, который определяет, соответствует ли окончательный продукт конкретным целям его предполагаемого применения.

Вариант использования (Use case) – Формальное описание взаимодействия системы и пользователя при решении конкретной задачи. Каждый ВИ нацелен на конкретную бизнес-цель (конкретную задачу).

Верификация – Процесс жизненного цикла, который определяет, являются ли требования к системе полными и корректными и удовлетворяют ли этим требованиям результаты деятельностей по разработке.

Водопадная модель разработки – Модель разработки, предполагающая разделение всего процесса на последовательные этапы, причем последующий этап начинается после того, как полностью завершен предыдущий.

Восходящее проектирование (bottom-up design) – Проектирование «снизу вверх», при котором выделяется множество необходимых элементов нижнего уровня реализации, затем над ними надстраивается уровень управления.

Декомпозиция системы (decomposition) – Разделение системы как целого на совокупность взаимосвязанных элементов.

Дефект (ошибка) программы – Отличие между реально существующим и требуемым свойствами программы.

Документирование (documentation) – Процесс разработки, в котором для продукта подготавливается эксплуатационная документация.

Дружественный (user-friendly) интерфейс пользователя – Интерфейс пользователя, который учитывает психологические и физиологические особенности человека для обеспечения максимально возможного комфорта и эффективности решения его задач.

Единая система программной документации (ЕСПД) – Методология разработки, представляющая собой комплекс государственных стандартов РФ, устанавливающих взаимоувязанные правила разработки, оформления и обращения программ и программной документации в РФ.

Жизненный цикл программного средства (software life-cycle) – Совокупность взаимосвязанных процессов создания и последовательного изменения его состояния — от формирования исходных требований до окончания эксплуатации.

Зацепление (linkage) модуля/класса – Сила связей модуля (класса) с другими модулями (классами), мера его независимости.

Инкрементальная модель разработки – См. Эволюционная модель разработки

Интерфейс пользователя (user interface) – Система правил и средств, соответственно регламентирующих и обеспечивающих взаимодействие пользователя и вычислительной системы в процессе выполнения данной программы.

.

Интуитивно-понятный интерфейс пользователя – Интерфейс пользователя, который позволяет пользователю эффективно применять накопленный опыт, с меньшими усилиями «догадываться» о том, как решить ту или иную задачу, без необходимости специального обучения или чтения документации.

Исполняемая программа (executable program) – совокупность машинного кода и данных, пригодных для исполнения процессором.

Итеративная модель разработки – См. Эволюционная модель разработки

Качество программы (quality) – Весь объём признаков и характеристик программы, который относится к её способности удовлетворять установленным или предполагаемым потребностям.

.

Кодирование (coding) – Процесс разработки, в котором выполняется реализация проекта на конкретных языках программирования с использованием конкретного инструментария.

Конфигурация (configuration) – Совокупность всей информации о проекте в виде файлов и документов проекта.

Методология разработки – Конкретизация некоторой модели разработки, увязывающая в идеале все аспекты организации разработки, в том числе: последовательность работ и их содержание; артефакты, которые необходимо создавать в процессе работы: документы, диаграммы, исходные тексты и т. д.; организацию команды и ролевую

ответственность специалистов; лучшие практики (best practices), позволяющие максимально эффективно воспользоваться методологией и её моделью

Мобильность (Portability) программы – Набор атрибутов, относящихся к способности программного обеспечения быть перенесенным из одного окружения в другое.

Модель разработки – Наиболее общий принцип организации процессов жизненного цикла; обобщенная схема, характеризующая их последовательность и взаимосвязь; концептуальный взгляд на организацию процессов разработки

Модуль программы – Единица структуры исходного текста программы, оформляемая, как правило, в виде отдельного файла; является единицей компиляции, описания и администрирования.

Надёжность (Reliability) программы – Набор атрибутов, относящихся к способности программного обеспечения сохранять свой уровень качества функционирования при установленных условиях за установленный период времени.

Нисходящее проектирование (top-down design) – Проектирование «сверху вниз», которое начинается с верхнего уровня абстракции — представления системы как «черного ящика». Система иерархически разбивается на подсистемы/классы и т. д. вплоть до элементов нижнего уровня.

Обеспечение качества – Процесс жизненного цикла, который предоставляет среду для обеспечения соответствия продукта контрактным требованиям и следования установленным планам.

Открытый стандарт – Общедоступная и не секретная техническая спецификация, у которой либо отсутствует правообладатель (общественное достояние), либо же правообладателем является общественная организация, не совпадающая тождественно с производителем, использующим спецификацию в своих продуктах.

Парадигма разработки – См. Модель разработки

.

Поставка (Supply) – Процесс жизненного цикла, который определяет действия предприятия-поставщика, которое снабжает покупателя программным продуктом или сервисом ПО.

Практичность (Usability) программы – Набор атрибутов, относящихся к объёму работ, требуемых для использования и индивидуальной оценки такого использования определённым или предполагаемым кругом пользователей.

Предметная (проблемная) область (application/problem domain) – Система понятий и объектов конкретной области человеческих знаний.

Приобретение (Acquisition) – Процесс жизненного цикла, который определяет действия предприятия-покупателя, которое приобретает программный продукт или сервис ПО

Программа-компонент – программа, рассматриваемая как единое целое, выполняющая законченную функцию и применяемая самостоятельно или в составе комплекса.

Программная система (program / software system) – Программа, состоящая из двух или более компонентов и (или) систем, выполняющих взаимосвязанные функции, и применяемая самостоятельно или в составе другой системы.

Программное изделие – См. программный продукт

Программное обеспечение (software), ПО – Совокупность программ системы обработки информации и программных документов, необходимых для их эксплуатации.

.

Программное средств – См. программный продукт

Программный комплекс – См.

.

программная система

Программный продукт (software product, production program) – Прошедшая испытания программа или программная система, полностью готовая для продажи (поставки) и снабженная всей необходимой документацией.

.

Проект (design) – Результат проектирования; формальная модель (а точнее, совокупность моделей) будущей системы.

Проект (project) – Комплекс действий, направленных на создание продукта или услуги

Проектирование (design) – Процесс разработки, в котором внешние, пользовательские требования к программному продукту преобразуются в детальные и конкретные требования к внутреннему устройству и функционированию будущей программы с точки зрения программистов; моделирование будущей системы

Процесс жизненного цикла – Конкретный вид деятельности, систематически выполняющийся для решения определённых задач жизненного цикла.

Разработка (Development) – Процесс жизненного цикла, который определяет действия предприятия-разработчика, которое разрабатывает принцип построения программного изделия и программный продукт.

Резервное копирование (backup) – Регулярный процесс создания копии данных на энергонезависимом носителе (жёстком диске и т. д.), предназначенной для восстановления данных в случае их повреждения или разрушения.

Риск разработки – Действующий/развивающийся фактор процесса, обладающий потенциалом негативного влияния на ход процесса.

Связность (cohesion) модуля/класса – Мера внутренних связей модуля (класса), то есть связей между его элементами.

Сложная система – Простая система характеризуется тем, что человек уверенно может перебрать все связи между её элементами, в сложной он этого сделать не в состоянии; сложная система обладает недетерминированным (точнее, не полностью детерминированным) поведением.

Сопровождаемость (Maintainability) программы – Набор атрибутов, относящихся к объёму работ, требуемых для проведения конкретных изменений (модификаций).

Сопровождение (Maintenance) – Процесс жизненного цикла, который определяет действия персонала сопровождения, который обеспечивает сопровождение программного продукта, что представляет собой управление модификациями программного продукта, поддержку его текущего состояния и функциональной пригодности, включает в себя инсталляцию и удаление программного изделия на вычислительной системе.

Спиральная модель разработки – Авторский вариант эволюционной модели разработки, предложенный Б. Боэмом (Barry Boehm), в котором введена концепция контрольных точек и уделено особое внимание рискам разработки.

Структура декомпозиции работ (Work Breakdown Structure, WBS) – Описание содержания работ по проекту в виде иерархической структуры.

Тест – Эксперимент, выполняемый над программой, для которого определены критерии успешности.

Тестирование (testing) – Процесс разработки, в котором выполняется выявление ошибок и (частично) установления соответствия созданного продукта его спецификации.

Тестовый сценарий – Спецификация проведения теста, которая описывает порядок ввода тестовых данных и критерии успешности, то есть те признаки, по которым следует судить о правильности работы программы (успех) или о наличии ошибки (неуспех).

Техническое задание – Спецификация требований к создаваемому программному продукту с точки зрения заказчика; в РФ обычно подготавливается в соответствие с ЕСПД.

Технология программирования (software engineering) – Технологическая дисциплина, изучающая методы программирования и производства программного обеспечения. По определению IEEE, технология программирования есть (1) применение систематического, упорядоченного, измеримого подхода к разработке, использованию и сопровождению ПО, то есть использование инженерного искусства в программном обеспечении и (2) создание подходов п. (1).

Унифицированный язык моделирования, UML (Unified Modeling Language) – Язык графического описания для объектного моделирования в области разработки программного обеспечения.

Управление конфигурацией (Configuration Management) – Процесс жизненного цикла, который необходим для выделения элементов продукта, управления и отслеживания их изменений.

Управление проектом – Процесс жизненного цикла, который включает все задачи и виды деятельности менеджеров, включая планирование и контроль исполнения.

Функциональные возможности (Functionality) программы – Набор атрибутов, относящихся к сути набора функций и их конкретным свойствам. Функциями являются те, которые реализуют установленные или предполагаемые потребности.

Функционирование (Operation) – Процесс жизненного цикла, который определяет действия предприятия-оператора, которое обеспечивает обслуживание системы (а не только ПО) в процессе её функционирования в интересах пользователей.

Целостный интерфейс пользователя – Интерфейс пользователя, обеспечивающий стилевое единство, последовательное, согласованное применением одних и тех же принципов во всех частях интерфейса программы.

Шаблон (паттерн) проектирования (design pattern) – Формализованное описание часто встречающейся задачи проектирования, удачное решение данной задачи, а также рекомендации по применению этого решения в различных ситуациях.

Эволюционная модель разработки – Модель разработки, которая предполагает разбиение жизненного цикла проекта на последовательность итераций, каждая из которых напоминает «мини-проект», включая все процессы разработки в применении к созданию меньших фрагментов функциональности, по сравнению с проектом в целом.

Эффективность (Efficiencies) программы – Набор атрибутов, относящихся к соотношению между уровнем качества функционирования программного обеспечения и объёмом используемых ресурсов при установленных условиях.

Язык программирования – Формальная знаковая система, предназначенная для записи компьютерных программ. Язык программирования определяет набор лексических, синтаксических и семантических правил, задающих внешний вид программы и действия, которые выполнит исполнитель (компьютер) под ее управлением.

Agile-методологии – Группа методологий разработки, которые ориентированы на минимальный уровень формализации. В группу входят методологии Adaptive Software Development (ASD), Lean Development, SCRUM, Feature Driven Development (FDD), Dynamic Systems Development Method (DSDM), Crystal Clear, eXtreme Programming.

Capability Maturity Model, CMM (модель зрелости возможностей) – Модель зрелости процессов создания программных средств, созданная в 1987 г. организацией Software Engineering Institute (SEI): эволюционная модель развития способности компании разрабатывать программное обеспечение.

ISO 9000 – Серия стандартов ISO, которые применяются при создании и совершенствовании систем менеджмента качества организаций.

Microsoft Solutions Framework (MSF) – Методология разработки, предложенная компанией Microsoft; согласно заявлениям компании, суммирует собственный опыт Microsoft.

Object Management Group (OMG) – Консорциум (рабочая группа), занимающийся разработкой и продвижением объектно-ориентированных технологий и стандартов. Некоммерческое объединение, разрабатывающее стандарты для создания интероперабельных, то есть платформо-независимых, приложений на уровне предприятия.

Rational Unified Process (RUP) – Методология разработки программного обеспечения, созданная компанией Rational Software (в настоящее время подразделение компании IBM).

SPICE (Software Process Improvement and Capability dEtermination) – Единый стандарт ISO оценки программных процессов организации.

Home

PgUp

PgDn

Alt F4+

Нажатие клавиши «Home» на клавиатуре вызывает переходк титульной странице документа.С титульной страницы можно осуществить переход к оглавлению(в локальной версии курса).

Панель управления – содержит перечень разделов, а также кнопкинавигации, управления программойпросмотра и вызова функциипоиска по тексту.

Просматриваемый в данный момент раздел.

Доступные разделы.

В зависимости от текущего активного раздела в перечне могут присутствовать подразделыэтого раздела.

Кнопки последовательного перехода к предыдущей и следующей страницам.

Кнопка возврата к предыдущему виду. Используйте еёдля обратного перехода из глоссария.

Кнопка перехода к справочной странице.(этой)

Кнопка завершения работы.

Кнопка вызова функции поиска по тексту.

Кнопка переключения между полноэкранными оконным режимом просмотра.

Нажатие клавиши «PgUp» («PageUp») или показанных клавишсо стрелками на клавиатуре вызывает переход к просмотрупредыдущей страницы относительно просматриваемойв настоящий момент согласно порядку их расположенияв документе.

Нажатие комбинации клавиш «Alt»+«F4» на клавиатуре вызывает завершение работы программы просмотра документа(в локальной версии курса).

Нажатие левой клавиши «мыши» или вращение колёсика в направлении «от себя» вызывает переход к просмотру следующей страницы относительно просматриваемой в настоящий момент согласно порядку их расположения в документе.

Нажатие правой клавиши «мыши» или вращение колёсика в направлении «к себе» вызывает переход к просмотру предыдущейстраницы относительно просматриваемой в настоящий моментсогласно порядку их расположения в документе.

Нажатие клавиши «PgDn» («PageDown») или показанных клавиш со стрелками на клавиатуре вызывает переход к просмотруследующей страницы относительно просматриваемойв настоящий момент согласно порядку их расположенияв документе.

Возвратиз справки