Не все метрики одинаково полезны

Бондаренко АлександрДиректор по развитию ЗАО «ЛЕТА», CISA, CISSP

Август 2013

2

Для чего нужны метрики

«Вы не можете управлять тем, что не можете измерить»

Питер Друкер

«Одно из 7 смертельных болезней менеджмента – это управление компанией исключительно на основании видимых показателей»

Уильям Эдвардс Деминг

3

Для чего нужны метрики

4

Для чего нужны метрики

ЭФФЕКТИВНОСТЬ - относительный эффект, результативность процесса, операции, проекта, определяемые как отношение эффекта, результата к затратам, расходам, обусловившим, обеспечившим его получение.

Экономический словарь. 2000.

ЭФФЕКТИВНОСТЬ - полезное действие, отдача, коэффициент полезного действия, кпд; производительность, продуктивность, действенность, результативность; плодотворность, действительность, оперативность

Словарь синонимов

Метрики Эффективностьне всегда

5

Примеры метрик

6

Примеры метрик

7

Примеры метрик

8

Примеры метрик

CIS Consensus Security Metrics

9

Примеры метрик

6 основных областей:

Безопасность приложений

Управление конфигурацией

Финансы

Управление инцидентами

Управление обновлениями

Управление уязвимостями

10

Примеры метрик

11

Примеры метрик

Комплекс СТО БР ИББС

12

Примеры метрик

13

Литература

14

MetricsCenter

15

База метрик

16

Правила составления метрик

Цель использования метрики

контроль соответствия

отслеживание прогресса

эффективность (KPI)

контроль нагрузки

17

Правила составления метрик

Типы метрик

базовые / производные

охват / уровень соответствия

18

Составление метрик

Источник, периодичность, алгоритм

источник сбора (система, журналы, люди)

частота сбора данных

математические преобразования с результатами

19

Составление метрик

Шкалы, диапазоны, индикаторы

единицы измерения (числа, %)

диапазоны значений

индикаторы отклонений

20

Составление метрик

Признаки хорошей метрики

постоянна при измерении

легко получаема

выражена в абсолютных числах или %

соответствует контексту

21

Примеры метрик

22

Примеры метрик

23

Примеры метрик

24

Сложности: получение данных о метриках

Источники информации:

Лог-файлы прикладного и общесистемного ПО

Средства защиты информации (сканеры, IDS, DLP и др.)

Бизнес-системы

Бумажные носители (реестры, журналы, отчеты и проч.)

25

Сложности: финансовые метрики

"Я точно знаю, что половина нашего маркетингового бюджета тратится впустую, но не знаю, какая именно".

Автор не известен

Сводить все к финансовым метрикам – идея хорошая, но сложно реализуемая

26

Сложности: человеческий фактор

Возможно искажение информации:

ошибки интерпретации

умышленное искажение / сокрытие

недостоверные данные

27

Итоги

Метрики всегда должны основываться на определенных целях контроля

Начните с малого, большое количество метрик в начале только усложнит работу

Применяйте средства автоматизации для сбора и обработки данных для метрик

28

КОНТАКТНАЯ ИНФОРМАЦИЯ

LETA IT-company109129, Россия, Москва, ул. 8-я Текстильщиков, д.11, стр. 2 Тел./факс: +7 (495) 921-1410

www.leta.ru

2010 LETA IT-company. All rights reserved.This presentation is for informational purposes only. LETA IT-company makes no warranties, express or implied, in this summary.

Бондаренко Александр ВалерьевичДиректор по развитиюМоб. тел.: +7 (495) 921-1410e-mail: abondarenko@leta.ru

Июнь 2011