Upload
doanque
View
217
Download
0
Embed Size (px)
Citation preview
Cuantificacin del Riesgo en Etapas Tempranas
Ing. P. Ortiz Bochard, M.Sc., PMPSet-2014
V Congreso Internacional sobre Gobierno, Riesgos, Auditora y Seguridad de la Informacin
Agenda
Riesgo e Incertidumbre Objetivo Algunas crticas al enfoque cualitativo Ms crticas.. El problema y algunas soluciones
Axiomas y Ley de Cox Mtodo de priorizacin AHP
Ing. P. Ortiz Bochardset-2014
Education never ends Watson. It is a series of lessons with the greatest for the last
Sherlock Holmes, The red circle, 1917
2
Riesgo e Incertiumbre
Ing. P. Ortiz Bochardset-2014 3
If you will begin with certainties, you shall end in doubts, but if you will content to begin with doubts, you shall end in almost certainties. Francis Bacon
Es extremadamenterelevante el riesgoen etapastempranas; sucuantificacindebera ser unobjetivo deseable,aunque en algunoscasos puede serimprctico o noadecuado
set-2014 Ing. P. Ortiz Bochard 4
Ej. de cuantificacin de la incertidumbre
+300%
-75%
+50%
-33%
El CONO DE INCERTIDUMBRE
Boehm, 1981
El PMBOK tiene un enfoque similar pero asimtrico; ROM [+75%;-25%]??
Riesgo Incertidumbre
set-2014 Ing. P. Ortiz Bochard 5
Riesgo = Incertidumbre que importa, esto es, que puede afectar los objetivos
El Riesgo es el efecto de la incertidumbre en los objetivos (ISO 31000:2009)
Un Riesgo es un evento o condicin incierta que, si ocurre, puede tener un efecto positivo o negativo en los objetivos (PMBOK, 2013)
Incertidumbre Objetivosriesgo
Probability is the language of uncertainty
J. Schuyler, 2011
Cuantitativamente (Hubbard, 2009)
Incertidumbre: falta de completa certeza, esto es, la existencia de mas de una posibilidad. El valor de los resultados verdaderos no se conocen. La incertidumbre representa la falta de conocimiento de las personas involucradas.
Medicin de la incertidumbre: un conjunto de probabilidadesasignadas a un resultado(s). Ej.: existe una probabilidad de 91% que esta noche haya tormentaselctricas
El Riesgo es un estado de incertidumbre donde algunas de sus posibilidades indicanprdida, catstrofe u otrosresultados indeseables
Medicin del riesgo: un conjuntode posibilidades con unaprobabilidad cuantificada yprdidas cuantificadas. Ej.: existe un 50% de probabilidadde que la prdida sea U$S 2: silos datos son robados
Un evento de riesgo puede o no puede ocurrir con una prob.
set-2014 Ing. P. Ortiz 6
Algunas T&H cuantitativas
Ing. P. Ortiz Bochard
Estimacin 3 puntos (PERT)
Valor Monetario Esperado
Anlisis de Sensibilidad
SimulacinMonte Carlo
Distribuciones de Probabilidad
set-2014
Anlisis: Qu pasa si?
Anlisis de Escenarios
Redes Bayesianas
rboles de decisin
7
entre otras..
set-2014 Ing. P. Ortiz Bochard
Probabilidad
ImpactoClasificacin
8
Objetivo: presentar algunas pautas de diseode MR cualitativas para clasificar riesgoscuantitativos
MR ordinales
La valoracin cualitativa de las MR
Ing. P. Ortiz Bochard
We balance probabilities and choose the most likely. It is the scientific use of the imagination
A. Conan Doyle. The Hound of the Baskervilles (1902)
set-2014 9
Crticas al enfoque cualitativo
Escalas de rating ambiguas y misteriosas
La Probabilidad e Impacto no estnclaramente definidos
Hasta el 100% de los puntos pueden estarmal rankeados si la probabilidad y el impacto estn negativamentecorrelacionados
set-2014 Ing. P. Ortiz Bochard 10
Mucha veces el propio Riesgo no est bien definido, por ejemplo
Porqu es 100% la probabilidad de un impacto menor y tambin es 100% una de impacto crtico? (range compression; Cox(2008); Hubbard (2009))
set-2014 Ing. P. Ortiz Bochard 11
Cmo se debera clasificar un riesgo de 5% de probabilidad de impactomoderado y uno de 95% de probabilidad de impacto menor?
set-2014 Ing. P. Ortiz Bochard 12
Ms crticas
Hubbard afirma que los mtodos cualitativosestn en el borde o son intiles
set-2014 Ing. P. Ortiz Bochard 13
Crticas de los mt. cualitativos s/Hubbard
set-2014 Ing. P. Ortiz Bochard
... Since what these standards all have in common is the used of various scoring schemes instead of actual quantitative risk analysis methods, I will call them collectively the scoring methods. And all of them, without exception, are borderline or worthless. In practice, they may make many decisions far worse than they would have been using merely unaided judgments
http://www.isaca.org/Journal/Past-Issues/2010/Volume-2/Documents/1002-online-the-failure.pdf 14
3 Crticas relevantes (Hubbard)
set-2014 Ing. P. Ortiz Bochard
1. Los mtodos cualitativos no tiene en cuentapercepciones errneas de los analistas queasignan puntajes, no considera el efecto delsesgo cognitivo (cognitive bias)
2. Las descripciones cualitivas son entendidasdiferente por diferentes personas.
15
Cont., 3.1
3.1 Los scores tienden a agruparse en el rangomedio-bajo. Hubbard analiza esta situacin enproyectos de tecnologa, en un escala de 1 a 5puntos, 75% de las respuestas son 3 4. Estoimplica que cambiar el score de 3 a 4, o viceversa,tiene un efecto importante en la clasificacin delos riesgos
set-2014 Ing. P. Ortiz Bochard 16
Cont., 3.2
3.2 Los scores implcitamente asumen que la cantidad asumida es directamente proporcionala la escala. Por ejemplo, un score de 2 implicaque el criterio medido es 2 veces mas grandeque el score 1. Sin embargo no es correcto si se trata con escalas ordinales
set-2014 Ing. P. Ortiz Bochard
porqu?
17
Escalas Numricas
1. Nominales- Hombre-1; Mujer-2 2. Ordinales- orden definido: primero/segundo; 0..53. Intervalo- diferencias tienen significado; ej.
temperatura, el cero no es ausencia de temperatura
4. Razn- Cero real5. Cardinal
set-2014 Ing. P. Ortiz Bochard 18
5 (5,1)
5 (1,5)
Riesgo Alto
5
X NO ESADMISIBLE
EN EO 1 5
1
Pro
b
Imp
cuan
titativascualitativa
El problema y algunas soluciones
set-2014 Ing. P. Ortiz Bochard 19
Si se quiere disear una correcta MR, cmo hacerlacorrectamente? vale la pena el esfuerzo?
Axiomas y Ley de Cox
Rankings cuantitativos
Axiomas y Ley de Cox cmo construir MR consistentes*
A1. Consistencia dbil
A2. Intermediacin(betweenness)
A3. Coloracin consistente
Ley. La regla de nicamente 3 colores
Low High
High
Low
Low High
High
Low
* Cualitative risk ranking provided by a risk matrix will agree with the quantitative risk ranking only if the matrix is constructed according to certain general principles (Cox)
Matrices de 3x3 y 4x4 deberantener este aspecto para minimizarproblemas.
set-2014 Ing. P. Ortiz Bochard 20
A y L Cox, ejemplo
set-2014 Ing. P. Ortiz Bochard 21
A1.Consistencia dbil.Todos los riesgos valorescuantitativos bajos deben estar posicionados en la regincualitativa baja (verde) e inversamente para los riesgosaltos. Los R1 y R2 son inconsistentes
x=0,17x=0,23
A2.Intermediacin. Un resultado no puede cambiar dela regin verde directamente a la regin roja debido apequeos cambios en la probabilidad y consecuencia(impacto).
+0,01 +0,02
Cont.
set-2014 Ing. P. Ortiz Bochard 22
A3. Coloracin consistente. Las celdas que intersectan oestn debajo del contorno iso-riesgo verde, deben serverdes, y recprocamente. Esto es, riesgos con el mismovalor cuantitativo deben tener el mismo color
Primer Lema de Cox: Si una MR satisface la consistencia dbil, entoncesninguna celda roja (categora de riesgo mayor) puede ser adyacente conuna celda verde (categora riesgo menor)
Tres colores son suficientes
Tres colores son suficientes
Ranking
Proceso sistemticousado para poner un conjunto de tems enuna secuencia ordinal
Simple cuando se dispone de medidasobjetivas del riesgo u otras caractersticasde inters estndisponibles
Requiere Items a ser rankeados
(alternativas) Definir cuidadosamente un
procedimiento formal para hacer el ranking
Evidencia de la medida de cada tem o un rating de cada criterio
Pesos diferentes para los criterios cuando sea apropiado
Un algoritmo que sinteticeel proceso
set-2014 Ing. P. Ortiz Bochard 23
AHP Un algoritmo formal
AHP (Analitycal HierarchyProcess) es un mtodo de toma de decisiones en situacionescon mltiples objetivos [Saaty,1980]
Provee la estructura y guapara el pensamento sistemtico en la toma de decisionescomplejas.
Permite usar criterios tanto cualitativos como cuantitativos en la evaluacin
set-2014 Ing. P. Ortiz Bochard 24
Ejemplo
El objetivo es desarrollar para un banco un modelo de poltica de seguridad de la informacin para un proyecto de banca electrnica basado en el modelo de la figura. Se usar el mtodo AHP pueda guiar a los tomadores de decisin para definir la poltica mas acertada.
set-2014 Ing. P. Ortiz Bochard 25
criterios
alternativas
objetivo
Basado en: Syamsuddin and Hwang: The Application of AHP Model to Guide Decision Makers:A Case Study of E-Banking Security
AHP Procedimiento
1. Crear una matriz , para los criterios
2. Cada elemento (, )de la matriz tiene un valorasignado segn la tabla siguiente:
set-201426Ing. P. Ortiz Bochard
Gestin Tecnologa Economa Cultura
Gestin 1 2 1/2 1/2
Tecnologa 1/2 1 1/3 1/4
Economa 2 3 1 1
Cultura 2 4 1 1
AHP- Criterios de ponderacin en la comparacin por pares
y para cada (, )ingrese el recproco
set-2014 Ing. P. Ortiz Bochard 27
AHP, cont.
3. Determinar las prioridades.
Consideremos = ; donde: es la matriz de comparacin de tamao , para criterios.
es el vector propio de tamao 1 que secorresponde con el ranking de prioridades
es el valor propio,
4. Para obtener las prioridades, se deber calcular elvalor propio principal (mximo) correspondiente alvector propio de la matriz de comparacin
set-2014 Ing. P. Ortiz Bochard 28
Resultados parciales
set-2014 Ing. P. Ortiz Bochard 29
(Web-HIPRE)
Subcriterios
set-2014 Ing. P. Ortiz Bochard 30
subcriterios
set-2014 Ing. P. Ortiz Bochard 31
set-2014 Ing. P. Ortiz Bochard 32
Confidencial idad 68,8%
Integridad 23,3%
Disponibilidad 7,9%
Priorizacin final
Consistencia y Anlisis de Sensibilidad
set-2014 Ing. P. Ortiz Bochard 33
5. Validar la consistencia de los criterios (ndice CR
Bibliografa
1. COX Jr., L., Whats Wrong with Risk Matrices?. Risk Analysis, Vol. 28, No. 2, 2008
2. HUBBARD, D., The Failure of Risk Management. Cap. 7. Worse than Useless The most popular risk assessment method and Why it doesn't work. Wiley & Sons. 2009
3. SAATY, T. The Analytic Hierarchy Process. New York: McGraw-Hill, 1980
4. SAATY, T. How to make a decision: The Analytic Hierarchy Process. European Journal of Operational Research. 1990, Vol. 48, p. 9-26
set-2014 Ing. P. Ortiz Bochard 34
Bibliografa, cont.
5. SYAMSUDDING, I.; HWANG, J. , The Application of AHP Model to Guide Decision Makers: A Case Study of E-Banking Security, 2009.
6. McCONNELL, S. http://www.construx.com/Thought_Leadership/Books/The_Cone_of_Uncertainty/ [Consultado el 1-9-14]
7. HASSET, M.; STEWART, D., Probability for RiskManagement, 2006
8. WEB-HIPRE. http://hipre.aalto.fi/ [Consultado el 30-8-14]
set-2014 Ing. P. Ortiz Bochard 35
Ing. P. Ortiz Bochardset-2014 36