Оценка эффективности

работы аналитикаНаталья Желнова

Москва

Об авторе доклада

Наталья Желнова:• С 1997 года занимается сбором, систематизацией

и управлением требованиями в проектах по разработке ПО

• 6 лет участия в консалтинговых проектах (постановка процессов разработки ПО)

• Автор нескольких курсов по управлению требованиями, управлению проектами и управлению рисками в проектах по разработке ПО

Тезисы доклада• Общие вопросы оценки эффективности в IT: что понимать

под эффективностью?• Зачем вообще оценивать эффективность?• В чем смысл работы аналитика?• Несколько плохих примеров попыток оценки

эффективности аналитика. • Несколько хороших примеров оценки эффективности

аналитика.• Общие принципы гуманизма, или в каких целях не надо

использовать метрики.• Заключение

Оценка эффективности в IT• Что понимать под эффективностью?

Эффективный – действенный, производительный, дающий результат

Эффект – абсолютная величина, обозначающая достигаемый результат какого-либо процесса

Экономическая эффективность =

Эффективный = успешный?

Производительность = эффективность?

Эффект в команде = ∑ эффективности одиночек?

Оценка эффективности в IT• Зачем вообще оценивать эффективность?

• Повышаем рентабельность, снижаем издержки

• Даем четкие ориентиры команде

• Улучшаем планирование, повышаем управляемость

• Повышаем компетенцию членов команды

• Избавляемся от некомпетентных сотрудников

В чем смысл работы аналитика?• Что делает аналитик?

Выявляет заинтересованных лиц и определяет их ожидания

Выявляет, систематизирует, анализирует требования, четко определяющие:

– project scope– project quality

Дает команде информацию о том, что нужно сделать:– точную– вовремя

Участвует в управлении требованиями

Три уровня навыков системных аналитиков

Первый уровень:

• Выявление заинтересованных лиц в проекте• Выявление высокоуровневых требований и согласование:

– Требований с собранной информацией– Требований между собой

• Участие в проектировании системы:– Описание поведения системы– Выявление нефункциональных требований

Три уровня навыков системных аналитиков

Второй уровень:

• Управление ожиданиями заинтересованных лиц• Определение границ системы• Выделение подсистем и определение их границ• Выявление низкоуровневых требований

– описания алгоритмов– описания структур данных– описания компонентов ПО – описания низкоуровневых интерфейсов – описания механизмов управления ресурсами и др

• Применение стандартов (ГОСТ, IEEE 1990)

Три уровня навыков системных аналитиков

Третий уровень:

• Знание существующего IT-ландшафта и умение определять перспективы его развития в контексте выполняемого проекта

• Участие в управлении рисками проекта• Управление требованиями– управление документами– управление требованиями: участие в процессе

управления полным жизненным циклом требований и трассировки требований

Эффективность работы аналитика• Как оценить работу аналитика?

Очевидные вещи:

– скорость работы (в конкретном проекте, в разных проектах)

– качество работы (в конкретном проекте, в разных проектах)

– сложность работы (в конкретном проекте, в разных проектах)

– уровень технической компетенции

– применение технической компетенции в разных проектах

Неочевидные вещи:

– soft skills

– лидерство

Эффективность работы аналитика• Кто должен оценивать работу аналитика?

Очевидные роли, участвующие в оценке:

– непосредственный руководитель (руководитель отдела, менеджер проекта)

– проектная команда

Неочевидные роли, участвующие в оценке:

– клиенты

– коллеги, которые работали с аналитиком

Эффективность работы аналитика• Как интерпретировать результаты?

Кто главнее:

– руководитель отдела или менеджер проекта?

– программист или тестировщик?

– проектная команда или клиент?

Неочевидные ответы:

– это разные категории оценок

– нужно разбивать эти оценки на группы и вводить уровни компетентности по каждой из категорий оценок

Пример: метрики, взятые «с потолка»Что пытались оценивать:

– качество работы

– количество работы

Метрики:

– Число грамматических ошибок на страницу текста

– Число требований, зарегистрированных в системе управления требованиями

Пример: хоррор из жизни IT-компаний

Что пытались оценивать:

– скорость работы

– качество работы

Метрики:

– Скорость работы

– Точность оценок сроков выполнения задач при планировании работ

– Качество работы

Пример: хоррор из жизни IT-компанийКак оценивали:

– скорость работы: в человеко-часах на 1 задачу

– качество работы: экспертная оценка

– точность оценок сроков : соотношение запланированных и фактических сроков

Кто оценивал:

– Непосредственные руководители

Пример: хоррор из жизни IT-компанийЧего не делали:

– Объяснение, зачем это нужно (цели, которых мы достигаем)

– Прозрачные критерии оценок

– Разделение оценок по уровням, характеризующим степень компетенции системного аналитика

– Улучшение навыков командной работы

– Согласование изменений с общим процессом управления проектами

– Планирование работ по результатам полученных оценок

– Планы развития сотрудников в переходный период

Пример: хоррор из жизни IT-компанийЧто получили:

– демотивацию

– «итальянскую забастовку»

– увольнение 50% сотрудников

Критерии оценки эффективности работы аналитика

Technical skills• Качество артефактов (всех видов)

– число ошибок (+ число требований/объем документа)– полнота требований– глубина и детальность проработки (в соответствии с реальными

потребностями команды)– соответствие установленным критериям качества, шаблонам,

стандартам

• Знания (экспертиза) в предметной области• Участие в работах, относящихся к разным уровням

компетенции аналитика• Точность планирования работ

Критерии оценки эффективности работы аналитика

Soft Skills• Активность (источник знаний для команды,

взаимодействие с каждой проектной ролью)• Самостоятельная генерация идей • Участие в постановке и улучшении процессов• Самомотивация и самообучение, обучение других

Как оценивать эффективность работы аналитика

Technical skills• Регулярные инспекции, проверки артефактов на

соответствие установленным шаблонам (QA)• Review артефактов и требований (коллеги, руководитель)• Оценка вклада аналитика в проект «технарями»

Soft skills• Оценка методом «360 градусов»

Какую информацию собирает аналитик:

Project scope:

• пользователи системы, их роли и число

• функции системы

• системы, с которыми предполагается интеграция

• ограничения

• регламенты и стандарты, влияющие на разработку

Project quality:

• требования к качеству продукта (производительность, масштабируемость, надежность, доступность, безопасность, отказоустойчивость; требования к платформе; usability, etc.)

• приоритеты требований

Какие артефакты создаются в процессе работы аналитика:

• профиль ЗЛ • потребности ЗЛ• требования (User Stories, Use Cases, перечень функций системы, НФТ)• глоссарий• концептуальная модель• описание реализации и архитектуры (в том числе и прототип UI)• план тестирования

С кем взаимодействует аналитик

• заказчик (внешний? внутренний?)

• проектная команда– менеджер проекта– разработчкики– тестировщики

Кто оценивает работу аналитика

• Наличие артефактов: руководитель/служба качества

• Качество артефактов: заказчик, проектная команда (по ролям, с учетом использования конкретного вида артефактов)

• Глубина проработки: руководитель, проектная команда

• Соблюдение сроков: руководитель

Примеры оценки

Примеры оценки

Общие принципы гуманизма

• Не используйте оценку эффективности для:– «Наказания невиновных и награждения

непричастных»– Увольнения неугодных сотрудников

• Используйте оценку эффективности для:– Определения KPI– Определения коэффициентов трудового участия– Аттестации сотрудников– Составления планов индивидуального развития

сотрудников

Заключение

• Для оценки эффективности сотрудника используйте метрики

• Проводите оценки эффективности регулярно• Адаптируйте метрики для учета специфики

проектов• Адаптируйте метрики с учетом уровня ваших

сотрудников• Применяйте метрики для того, чтобы

измерить приближение к конечной цели

Спасибо

Наталья Желноваnzhelnova@teamcit.ru

• http://nz.moikrug.ru/ • https://www.linkedin.com/profile/view?id=46

9663

• https://www.facebook.com/nzhelnova • http://slideshare.net/nzhelnova