Анатомия ошибки

АнатомияАнатомияОШИБКИОШИБКИ

Высоцкий сергейВысоцкий сергей

Специалист по ТестированиюСпециалист по ТестированиюВысоконагруженныхВысоконагруженныхСервисов, 2GISСервисов, 2GIS

http://goblingame.blogspot.com/http://goblingame.blogspot.com/

[email protected]@gmail.com

@goblingame@goblingame

Sh t happens*Sh t happens*

0. Контекст0. Контекст

1. как?1. как?

2. почему?2. почему?

3. что делать?3. что делать?





Социотехнические системыСоциотехнические системы

Социальная частьСоциальная часть

Техническая частьТехническая часть

ЛюдиЛюди

техникатехника

Морская авиацияМорская авиация

медицинамедицина

ОтказоустойчивостьОтказоустойчивость

социотехническихсоциотехнических

системсистем

Доктор КукДоктор Кук Доктор ДеккерДоктор Деккер Доктор ХоллнагельДоктор Холлнагель Доктор ВудсДоктор Вудс

сложныесложные

динамичныединамичныеИИ

сложныесложные

Трудно понятьТрудно понять

≠≠

Наша система:Наша система:

софт- софт-

железо- железо-

люди- люди-

процессы- процессы-

сеть- сеть-

Наша система:Наша система:

софт- софт-

железо- железо-

люди- люди-

процессы- процессы-

сеть- сеть-

Система, рассчитаннаяСистема, рассчитанная

На идеальную работуНа идеальную работу

Каждого звена, Каждого звена,

Обречена на провалОбречена на провал

Etto principleEtto principle

Нормы, процедуры,Нормы, процедуры,инструкцииинструкции


Ресурсы,Ресурсы,ограниченияограничения


оператороператор

Ресурсы,Ресурсы,ограниченияограничения

ошибкиошибки

компенсациикомпенсациикоррективыкоррективы

нарушениянарушения





обнаружениеобнаружение локализациялокализация починкапочинка все оквсе ок

обнаружениеобнаружениелокализациялокализация

починкапочинка все оквсе ок

обнаружениеобнаружениелокализациялокализация починкапочинка все оквсе ок

импровизацияимпровизация

ПостоянныеПостоянныекоммуникациикоммуникации

ПерегрузкаПерегрузкаинформациейинформацией

ГероиГерои--ОДИНОЧКИОДИНОЧКИ





Основное правило:«Основное правило:«любое объяснениелюбое объяснение

лучше его отсутствия»лучше его отсутствия»

ницше - ницше -про root cause analysisпро root cause analysis

Ошибка ретроспекцииОшибка ретроспекции

Знание результата«Знание результата«Влияет на анализВлияет на анализпроизошедшего»произошедшего»

ПамятьПамять

РеальностьРеальность

Ошибка ретроспекцииОшибка ретроспекции

Надо было бытьНадо было бытьвнимательнеевнимательнее

Все видно как на Все видно как на Ладони, Как ты мог Ладони, Как ты мог

проморгать?проморгать?

Отклонение в сторонуОтклонение в сторонурезультатарезультата

Суждение о решениях«Суждение о решениях«По их окончательномуПо их окончательному

результату»результату»

FMEAFMEAДерево отказовДерево отказов

Пять почемуПять почемуишикаваишикава

На самом делеНа самом деле

базабаза

ВебсерверВебсервер КэшКэш

балансировщик


базабаза



АдминПопал ваварию



базабаза





Все НаdevdayВсе Наdevday


базабаза






ПроблемыС наймом



базабаза








БюджетСдали вчера



базабаза






ПочталежитПочталежитПроблемы

С наймомПроблемыС наймом




базабаза





МаркетингНаписалстатью








базабаза












Первопричины создаются, Первопричины создаются, А не находятсяА не находятся

Нет первопричин, есть лишьНет первопричин, есть лишьмНого благоприятствующихмНого благоприятствующихОшибке факторовОшибке факторов

Человеческий фактор ЭТОЧеловеческий фактор ЭТОНе пЕРВОПричина, Не пЕРВОПричина, а побочный эффекта побочный эффект

ФункциональныйФункциональныйрезонансрезонанс



ФункциональныйФункциональныйрезонансрезонанс






Превентивные мерыПревентивные меры

Прогнозирование чего ждать?|Прогнозирование чего ждать?|




Мониторинг куда смотреть?|Мониторинг куда смотреть?|




Ответные меры что делать?|Ответные меры что делать?|




Ответные меры что делать?|Ответные меры что делать?|обучение что это было?|обучение что это было?|




Ответные меры что делать?|Ответные меры что делать?|обучение что это было?|обучение что это было?|

9 успешных релизов9 успешных релизов

ПримерПример

1 неудачный релиз1 неудачный релиз

Ошибка это...Ошибка это...

Тезис 1#Тезис 1#

Частный случай успехаЧастный случай успеха

Разбираем ошибкиРазбираем ошибки

1 случай из 101 случай из 10

Масштабируем на все релизыМасштабируем на все релизы

успех это...успех это...

Тезис 2#Тезис 2#

Частный случай ошибкиЧастный случай ошибки

Разбираем успехиРазбираем успехи

9 случаев из 109 случаев из 10

Масштабируем на все релизыМасштабируем на все релизы

Учиться на ошибкахУчиться на ошибках

Учиться на успехахУчиться на успехах

++

Человеческая ошибка Человеческая ошибка не случайнане случайна

Не оправдывать Не оправдывать Человеческой Ошибкой Человеческой Ошибкой все подрядвсе подряд

Человеческая ошибкаЧеловеческая ошибкаПрилагается к любой Прилагается к любой Сложной системеСложной системе

Бороться со сложностьюБороться со сложностью

Безопасных систем Безопасных систем Не СУЩЕСТВУЕТНе СУЩЕСТВУЕТ

Изменение на любом уровнеИзменение на любом уровнеМожет породить новые Может породить новые уязвимостиуязвимости

Понимать как работает Понимать как работает Система На остром конце« »Система На остром конце« »

The EndThe End

[email protected]@gmail.com

Documents

Анатомия ошибки