Indicadores Metricas

MMéétricas e Indicadores: tricas e Indicadores: Dos Conceptos Claves para Dos Conceptos Claves para

MediciMedicióón y Evaluacin y Evaluacióónn

Dr. Luis OlsinaDr. Luis Olsina

Departamento de Ciencias de la ComputaciónUniversidad de Chile

• Introducción• Teoría de Métricas• Teoría de Indicadores• Conclusiones/Avances

Contenidos Contenidos

GIDIS, Facultad de Ingeniería, UNLPam,GIDIS, Facultad de Ingeniería, UNLPam,La Pampa La Pampa -- ArgentinaArgentinaTE 54 2302 430497 Ext. 6501TE 54 2302 430497 Ext. 6501EE--mail mail [email protected]

EsquemaEsquema

•• IntroducciónIntroducción•• Teoría de MétricasTeoría de Métricas•• Teoría de IndicadoresTeoría de Indicadores•• ConclusionesConclusiones

IntroducciónIntroducción

Beneficios de la Medición/EvaluaciónBeneficios de la Medición/EvaluaciónAnalizar, Comprender (los atributos de un ente)Analizar, Comprender (los atributos de un ente)Controlar (la calidad del producto, …)Controlar (la calidad del producto, …)Predecir (el tiempo y costo de un proyecto)Predecir (el tiempo y costo de un proyecto)Mejorar (la calidad de un producto, proceso …)Mejorar (la calidad de un producto, proceso …)

Conceptos Medibles (Factores)Conceptos Medibles (Factores)Calidad, Calidad en Uso, Productividad, Costo …Calidad, Calidad en Uso, Productividad, Costo …

Fases del Ciclo de Vida del SoftwareFases del Ciclo de Vida del SoftwareExploración, Desarrollo, Mantenimiento.Exploración, Desarrollo, Mantenimiento.

Requerimientos de Medición/EvaluaciónRequerimientos de Medición/EvaluaciónMetas, Restricciones (Seguridad, Disponibilidad, etc.)Metas, Restricciones (Seguridad, Disponibilidad, etc.)Especificación de Requisitos, Definición de Criterios, Especificación de Requisitos, Definición de Criterios, Técnicas, Métricas, Indicadores…Técnicas, Métricas, Indicadores…

Captura de DatosCaptura de DatosRecolección de DatosRecolección de Datos

–– Automática, Semiautomática, ManualAutomática, Semiautomática, Manual

AnálisisAnálisisTécnicas Estadísticas, Visualización Gráfica, Tablas, etc.Técnicas Estadísticas, Visualización Gráfica, Tablas, etc.Interpretación de los datos. Interpretación de los datos.

RecomendacionesRecomendacionesDoc. de Conclusiones, Propuestas de MejoraDoc. de Conclusiones, Propuestas de Mejora

IntroducciónIntroducción

Clases de Métodos de EvaluaciónClases de Métodos de Evaluación

TestingTestingInspecciónInspecciónConsulta (Inquiry)Consulta (Inquiry)Modelado AnalíticoModelado AnalíticoSimulaciónSimulación

Los Métodos y Técnicas a Aplicar pueden ser:Los Métodos y Técnicas a Aplicar pueden ser:Cuantitativos versus CualitativosCuantitativos versus CualitativosAutomáticos, Semiautomáticos o ManualesAutomáticos, Semiautomáticos o ManualesDesde Fácil a Difícil de Usar y AprenderDesde Fácil a Difícil de Usar y Aprender

Categorías de MétodosCategorías de Métodos

Taxonomía de MétodosTaxonomía de Métodos

---- TestingTesting---- InspecciónInspección---- Consulta, ...Consulta, ...

---- Análisis de Log Files Análisis de Log Files ---- Evaluación de Características y AtributosEvaluación de Características y Atributos

---- ManualManual---- SemiSemi--AutomáticoAutomático---- AutomáticoAutomático

FaseFase---- RequerimientosRequerimientos---- CapturaCaptura---- AnálisisAnálisis---- RecomendacionesRecomendaciones

---- Fácil de Usar, AprenderFácil de Usar, Aprender---- Efectivo, PrecisoEfectivo, Preciso---- Rango de AplicabilidadRango de Aplicabilidad

Clase de MétodoClase de Método

TaxonomíaTaxonomíade Métodos dede Métodos deEvaluaciónEvaluación

Tipo de MétodoTipo de Método

Tipo de AutomatizaciónTipo de Automatización

Nivel de EsfuerzoNivel de Esfuerzo

Diversos Estándares (principalmente ISO) tratan Diversos Estándares (principalmente ISO) tratan sobresobre

el modelo de calidad de software (ISO 9126), el modelo de calidad de software (ISO 9126), el proceso de medición (ISO 15939),el proceso de medición (ISO 15939),el proceso de evaluación (ISO 14598)el proceso de evaluación (ISO 14598)otrosotros

Con frecuencia, no existe un claro consenso Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes entre los mismos términos en diferentes documentos o, a veces, términos ausentesdocumentos o, a veces, términos ausentesNecesidad de una Ontología para el dominio de Necesidad de una Ontología para el dominio de

Métricas e IndicadoresMétricas e Indicadores–– Ontologías para el Proceso de Medición y EvaluaciónOntologías para el Proceso de Medición y Evaluación

Hacia una Ontología de M&IHacia una Ontología de M&I

EsquemaEsquema

•• IntroducciónIntroducción•• Teoría de MétricasTeoría de Métricas•• Teoría de IndicadoresTeoría de Indicadores•• ConclusionesConclusiones

Introducción a MétricasIntroducción a Métricas

ENTIDADENTIDADATRIBUTOATRIBUTOCONCEPTO MEDIBLE (Calidad, Productiv...)CONCEPTO MEDIBLE (Calidad, Productiv...)MODELO DE CONCEPTOMODELO DE CONCEPTOMETRICA (Directa e Indirecta)METRICA (Directa e Indirecta)MEDICION, MEDIDAMEDICION, MEDIDAMETODO (Medición, Cálculo)METODO (Medición, Cálculo)ESCALA / TIPO DE ESCALAESCALA / TIPO DE ESCALAUNIDADUNIDAD

......


ENTIDADENTIDADUn objeto que va a ser caracterizado mediante una Un objeto que va a ser caracterizado mediante una medicimedicióónn de sus de sus atributosatributos [ISO[ISO--15939]15939]. . Una entidad puede ser fUna entidad puede ser fíísica sica ––tangibletangible–– (p.ej. una (p.ej. una computadora) o abstracta computadora) o abstracta --intangibleintangible–– (p.ej. un (p.ej. un programa software)programa software)Objetos de interés para el dominio de software son: Objetos de interés para el dominio de software son:

–– Recurso, Recurso, –– Proceso, Proceso, –– Producto, Producto, –– Producto en uso?, Producto en uso?, –– Proyecto,Proyecto,–– ServicioServicio


ATRIBUTOATRIBUTOUna propiedad mensurable, fUna propiedad mensurable, fíísica o abstracta, sica o abstracta, de una de una entidadentidad [ISO 14598[ISO 14598--1:1999]1:1999]. . el atributo puede ser interno o externoel atributo puede ser interno o externo–– TamaTamañño de co de cóódigo fuente (atributo interno), precio (atributo digo fuente (atributo interno), precio (atributo

externo).externo).

el atributo se puede medir (cuantificar) por el atributo se puede medir (cuantificar) por medio de una métrica directa o indirecta.medio de una métrica directa o indirecta.


CONCEPTO MEDIBLECONCEPTO MEDIBLEEs una relación abstracta entre atributos de una o más Es una relación abstracta entre atributos de una o más entidades, y una entidades, y una necesidad de informaciónnecesidad de información [ISO[ISO--15939]15939]. .

Evaluar o predecir dicho concepto, desde una Evaluar o predecir dicho concepto, desde una perspectiva de usuario. perspectiva de usuario. Ejemplos de conceptos medibles son: Calidad, Costo, Ejemplos de conceptos medibles son: Calidad, Costo, Accesibilidad, Calidad en Uso, Confiabilidad. Accesibilidad, Calidad en Uso, Confiabilidad. Ejemplos de perspectivas de usuario son: Gerente, Ejemplos de perspectivas de usuario son: Gerente, Desarrollador, Usuario final, etc. Desarrollador, Usuario final, etc.


MODELO de CONCEPTO MODELO de CONCEPTO El conjunto de subconceptos y las relaciones entre El conjunto de subconceptos y las relaciones entre ellos, que sirven de base para una ulterior evaluación ellos, que sirven de base para una ulterior evaluación o estimación.o estimación.Ej. Características y/o subcaracterísticas y sus Ej. Características y/o subcaracterísticas y sus relaciones que proveen las bases para modelar relaciones que proveen las bases para modelar Calidad. Calidad. Una característica puede estar conformada por Una característica puede estar conformada por subcaracterísticas y atributos.subcaracterísticas y atributos.El modelo puede ser fijo (estándar, como ISO 9126El modelo puede ser fijo (estándar, como ISO 9126--1), 1), propio o mixto.propio o mixto.

Modelos de CalidadModelos de Calidad (Boehm (Boehm -- 1978)1978)

General utility

As is utility

Maintainability

Portability

Reliability

Efficiency

Human engineering

Testability

Understandability

Modifiablility

Primary uses Intermediate constructors

Device Independence

Completeness

Accuracy

Consistency

Device efficiency

Acessibility

Communicativeness

Structuredness

Self descriptiveness

Conciseness

Legibility

Augmentability

Primitive constructors

Metrics

Modelos de Calidad Modelos de Calidad (ISO/IEC 9126(ISO/IEC 9126--1)1)

SoftwareQuality

SoftwareQuality

ReliabilityReliability

SuitabilityAccuracy

InteroperabilitySecurity

Compliance

SuitabilityAccuracy

InteroperabilitySecurity

Compliance

FunctionalityFunctionality

MaturityFault ToleranceRecoverability

Compliance

MaturityFault ToleranceRecoverability

Compliance

UnderstandabilityLearnabilityOperability

AttactivenessCompliance

UnderstandabilityLearnabilityOperability

AttactivenessCompliance

Time behaviourResource utilization

Compliance

Time behaviourResource utilization

Compliance

AnalysabilityChangeability

StabilityTesteabilityCompliance

AnalysabilityChangeability

StabilityTesteabilityCompliance

AdaptabilityInstalability

Co-existenceReplaceabilityCompliance

AdaptabilityInstalability

Co-existenceReplaceabilityCompliance

UsabilityUsability EfficiencyEfficiency MaintainabilityMaintainability PortabilityPortability

CaracterísticasCaracterísticas

SubcaracterísticasSubcaracterísticas

Características y SubcaracterísticasCaracterísticas y Subcaracterísticas

Usabilidad Usabilidad »» Comprensión Global del SitioComprensión Global del Sitio»» Ayuda y RetroalimentaciónAyuda y Retroalimentación»» Aspectos de Interface Aspectos de Interface »» Aspectos EstéticosAspectos Estéticos

Funcionalidad Funcionalidad »» Búsqueda y RecuperaciónBúsqueda y Recuperación»» Navegación y ExploraciónNavegación y Exploración»» Funciones y Contenido Específicos del Dominio (EFunciones y Contenido Específicos del Dominio (E--commerce, commerce,

Museos, Universidades ...)Museos, Universidades ...)ConfiabilidadConfiabilidad

»» EnlacesEnlaces»» PáginasPáginas»» Compatibilidad de NavegadoresCompatibilidad de Navegadores

EficienciaEficiencia»» PerformancePerformance»» AccesibilidadAccesibilidad

ConfiabilidadConfiabilidad–– EnlacesEnlaces

»» Enlaces RotosEnlaces Rotos»» Enlaces InválidosEnlaces Inválidos»» Enlaces no ImplementadosEnlaces no Implementados

–– PáginasPáginas»» Páginas MuertasPáginas Muertas»» Páginas bajo ConstrucciónPáginas bajo Construcción»» Errores de OrtografiaErrores de Ortografia

Características y AtributosCaracterísticas y Atributos

Modelo Modelo Conceptual Conceptual

para para MétricasMétricas tipoEscala={Nominal, Ordinal Restringida,

Ordinal no Restringida, Interv alo, Proporción, Absoluta}

MétricaDirecta

Una entidad puede ser un Proceso, Producto, Recurso, Proy ecto o Serv icio.

EscalaCategórica

valoresPermitidos

MétodoDeMedicióntipo = {Objetivo, Subjetivo}

MétodoDeCálculo

Unidadnombredescrip ción

EscalaNuméricati po = {cont in ua, d iscreta} 1..*1 1..*1

expresada_en

Medidavalor

Herramientanombredescripciónversiónproveedor

MediciónfechaYHora 11 11

produce

Métodonombreespecificación1..*0..* 1..*0..*

automatizado_por

Escala<<enum>> tipoEscala

Entidadn ombred escripció n

0..*0 ..*

subEn ti dad

NecesidadDeInform ación

descripción

ModeloDeConcepto

nombreespecificaciónreferencias

MétricanombreinterpretaciónValorobjetivo/MotivacióntipoRecolecciónDatosreferenciastipoValor = {Símbolo, Integer, Float}precisión

0..*

1

0..*

1

referida_a

11

inclu ye

0..*0..*

ver_También

11

contiene

MétricaIn directa

2..*

Funciónespecifi cació n1

1

calculada_por

1

1mé tri cas_re la ci onad

2..*

ConceptoMediblenombredescripción

1..*

1

1..*

1

de scri be

0..*0..*

subConcepto

0..*0..*

especificado_por

AtributonombrepalabrasClave/Alia sdefinic ió nnivelIndependenciati po = {interno, externo}

1.. *

1..*

1.. *

1..*

asociado_con

1..*1 1..*1 cuantif ica

1..*

1

1..*

1

combina


METRICAMETRICAEEl l mméétodo de medicitodo de medicióónn definido y la definido y la escalaescalade medicide medicióón [ISO 14598n [ISO 14598--1:1999]. 1:1999]. MEDICIONMEDICION–– Actividad que usa la definiciActividad que usa la definicióón de la mn de la méétrica para trica para

producir el valor de una producir el valor de una medidamedida..

MEDIDAMEDIDA–– NNúúmero o categormero o categoríía asignada a un a asignada a un atributoatributo de una de una

entidad mediante una entidad mediante una medicimedicióónn [ISO 14598[ISO 14598--1:1999] 1:1999]


METODO (de MEDICION, CALCULO)METODO (de MEDICION, CALCULO)Secuencia lSecuencia lóógica de operaciones y potenciales gica de operaciones y potenciales heurheuríísticas, expresadas de forma gensticas, expresadas de forma genéérica, que rica, que permite la realizacipermite la realizacióón de una descripcin de una descripcióón de actividad.n de actividad.

El El tipo de mtipo de méétodotodo de medicide medicióón va a depender de la n va a depender de la naturaleza de las operaciones utilizadas para naturaleza de las operaciones utilizadas para cuantificar el atributo. Pueden distinguirse dos tipos: cuantificar el atributo. Pueden distinguirse dos tipos:

–– Subjetivo: Cuando la cuantificaciSubjetivo: Cuando la cuantificacióón supone un juicio realizado n supone un juicio realizado por un ser humano.por un ser humano.

–– Objetivo: Cuando la cuantificaciObjetivo: Cuando la cuantificacióón estn estáá basada en mbasada en méétodos todos numnumééricos.ricos.


EscalaEscalaUn conjunto de valores con propiedades definidas Un conjunto de valores con propiedades definidas

[ISO 14598[ISO 14598--1].1].Escala NumEscala Numéérica (Continua o Discreta)rica (Continua o Discreta)Escala CategEscala Categóóricarica

Tipos de Escala (Nominal, Ordinal, Intervalo...) Tipos de Escala (Nominal, Ordinal, Intervalo...)

Introducción a MétricasIntroducción a MétricasMETRICAMETRICA Es la correspondencia de un dominio empírico (mundo real) a Es la correspondencia de un dominio empírico (mundo real) a un mundo formal, matemático. La un mundo formal, matemático. La medidamedida incluye al valor numérico o incluye al valor numérico o nominal asignado al nominal asignado al atributoatributo de un de un enteente por medio de dicha por medio de dicha correspondencia. [Fenton]correspondencia. [Fenton]

Juan es más alto que María sí y sólo sí M (Juan)>M (María)


METRICA DIRECTAMETRICA DIRECTAUna mUna méétrica de un trica de un atributoatributo que no depende de que no depende de ninguna ninguna mméétricatrica de otro atributo.de otro atributo.

METRICA INDIRECTAMETRICA INDIRECTAUna Una mméétricatrica de un de un atributoatributo que se deriva de una o que se deriva de una o mmáás ms méétricas de otros atributos.tricas de otros atributos.

–– Se formaliza por medio de una Función de Medición (Fórmula, Se formaliza por medio de una Función de Medición (Fórmula, Ecuación). Ecuación).

–– FunciFuncióón de Medicin de Medicióónn: Un algoritmo o c: Un algoritmo o cáálculo que permite lculo que permite combinar dos o mcombinar dos o máás s mméétricastricas. .

EjemplosEjemplos de de MétricasMétricas DirectasDirectas

• Longitud del Texto del Cuerpo de una Página

• Medido por cantidad de palabras, etc.

• Cantidad de Enlaces Rotos Internos

• Medidos por la presencia de errores del tipo 404, (410 ?)

• Cantidad de Imágenes con Texto Alternativo

• Medido por la presencia de la etiqueta ALT (con texto no nulo) en cada una de las imágenes vinculadas a las páginas de un sitio Web

Ejemplos de Métricas IndirectasEjemplos de Métricas Indirectas

Porcentaje de Enlaces Rotos de un SitioPorcentaje de Enlaces Rotos de un Sitio

100×+

=talEnlacesCantidadTo

ExternoslacesRotosCantidadEnInternoslacesRotosCantidadEnosEnlacesRotPorcentaje

100×=stalImágeneCantidadTo

ágenesALTCantidadImLTPresenciaAPorcentaje

PorcentajePorcentaje dede PresenciaPresencia de lade la propiedadpropiedad ALTALT..


INSTRUMENTOINSTRUMENTO (Herramienta)(Herramienta)

Instrumento (o herramienta) que automatiza Instrumento (o herramienta) que automatiza parcial o totalmente a un mparcial o totalmente a un méétodotodo de medicide medicióón n o co cáálculolculo. . –– Nota: un instrumento software (de medición o Nota: un instrumento software (de medición o

cálculo) es un caso particular de un instrumento (de cálculo) es un caso particular de un instrumento (de medición o cálculo). medición o cálculo).

–– Por ejemplo, un termómetro es un instrumento de Por ejemplo, un termómetro es un instrumento de medición.medición.

Herramientas de AutomatizaciónHerramientas de Automatización Métricas WebMétricas Web

BobbyBobby: CAST [: CAST [http://www.cast.org/bobby/http://www.cast.org/bobby/] ; web] ; web--based onbased on--line y offline y off--line, con ranking; Analizador Accesibilidad (WAI conformance), dline, con ranking; Analizador Accesibilidad (WAI conformance), de e Errores y Fallas, Compatibilidad de Browsers.Errores y Fallas, Compatibilidad de Browsers.

Doctor HTMLDoctor HTML: Imagiware [: Imagiware [http://www2.imagiware.com/RxHTMLhttp://www2.imagiware.com/RxHTML]; web]; web--based y offbased y off--line; Analizador de Errores y Fallas, HTML tags, line; Analizador de Errores y Fallas, HTML tags, Performance, etc.Performance, etc.

LIFTLIFT: UsableNet.com [: UsableNet.com [http://www.usablenet.com/lift_onsitehttp://www.usablenet.com/lift_onsite/]; web/]; web--based y offbased y off--line, con ranking; Analizador de Errores y Fallas, HTML line, con ranking; Analizador de Errores y Fallas, HTML tags, Imtags, Imáágenes, Performance, test de Accesibilidad, etc.genes, Performance, test de Accesibilidad, etc.

LinkBot: LinkBot: WatchFire [WatchFire [http://www.watchfire.com/solutions/linkbot.asphttp://www.watchfire.com/solutions/linkbot.asp]; ]; offoff--line, con ranking; Analizador de Errores y Fallas, Performance, line, con ranking; Analizador de Errores y Fallas, Performance, HTTP cHTTP cóódigos de estado, etc. Herramienta de reparacidigos de estado, etc. Herramienta de reparacióón.n.


ESCALA / TIPOS DE ESCALAESCALA / TIPOS DE ESCALA

Un conjunto de valores con propiedades definidas Un conjunto de valores con propiedades definidas [ISO 14598[ISO 14598--1].1].Una escala puede ser clasificada de acuerdo a los Una escala puede ser clasificada de acuerdo a los siguientes siguientes Tipos de EscalaTipos de Escala: Nominal, Ordinal : Nominal, Ordinal restringida, Ordinal no restringida, Intervalo, restringida, Ordinal no restringida, Intervalo, ProporciProporcióón, Absoluta.n, Absoluta.Cada tipo de escala determina las transformaciones Cada tipo de escala determina las transformaciones admisibles, el tipo de operaciones matemadmisibles, el tipo de operaciones matemááticas, y los ticas, y los ananáálisis estadlisis estadíísticos que pueden aplicarse sobre el sticos que pueden aplicarse sobre el conjunto de valores de la escalaconjunto de valores de la escala. .


UNIDADUNIDAD (para escalas numéricas)(para escalas numéricas)Una cantidad particular, definida y adoptada Una cantidad particular, definida y adoptada por convencipor convencióón, con la que se pueden n, con la que se pueden comparar otras cantidades de la misma clase comparar otras cantidades de la misma clase para expresar sus magnitudes respecto a esa para expresar sus magnitudes respecto a esa cantidad particular [ISOcantidad particular [ISO--15939]15939]

–– Ejemplos: LOC, bytes, palabras, links ...Ejemplos: LOC, bytes, palabras, links ...

Tipo deEscala

TransformaciónAdmisible

EstadísticasSignificativas

Ejemplos

Nominal Equivalencia uno-a-uno Moda, Frecuencia Test no paramétricos

Clasificación,etiquetado

Ordinal Funciones monotónicasincrementales

Mediana, Spearman yKendall Tau, W

Test no paramétricos (Todo lo previo)

Grado de disponibili-dad, funcionalidad,complejidad, etc.

Intervalo m1 = a m + b Media Aritmética,Desvío estándar

Coef. de correlación dePearson

Test no paramétricos (Todo lo previo)

Temperatura (Celsius,Fahrenheit) Tiemposrelativos, etc.

Proporción m1 = a m Porcentajes, MediaGeométrica

Test paramétricos y noparamétricos

(Todo lo previo)

Preferencia de calidad,tamaño (LOC),longitud, etc.

Absoluta m1 = m (Identidad) (Todo lo previo) Conteo

Introducción a Métricas:Introducción a Métricas: Tipos de EscalaTipos de Escala


Tipo de Escala NominalTipo de Escala Nominal

En un tipo de escala nominal el sistema relacional empírico consta sólo de categorías diferentes.

Cualquier número o símbolo distinto para cada categoria es una medida aceptable, pero no existe orden o noción de magnitud asociado a cada número o símbolo..

Ejemplo: mido las fallas de software si están en Especifación, Diseño o Codificación y puedo asignar 1, 2 y 3 para las fallas que se encontraron en cada tarea respectivamente, o simplemete A, B y C.Esta clasificación no nos permite determinar si un tipo de falla es más importante o no que otra..

La transformación admisible para el tipo de escala nominal es el conjunto de todos los mapeos 1 a 1..

Tipo de Escala OrdinalTipo de Escala Ordinal

Le agrega orden a las categorías del tipo de escala nominal.Le agrega orden a las categorías del tipo de escala nominal.

El sistema relacional empírico está formado por categorías ordenEl sistema relacional empírico está formado por categorías ordenadas adas con respecto a un atriburo.con respecto a un atriburo.

Cualquier mapeo que preserve el orden es aceptableCualquier mapeo que preserve el orden es aceptable..

No tiene sentido ninguna operación aritmética sobre las categoríNo tiene sentido ninguna operación aritmética sobre las categoríasas..

EjemploEjemplo: : Complejidad de SoftwareComplejidad de Software. Si defino trivial, simple, normal, . Si defino trivial, simple, normal, complejo e inentendible, hay una relacion de orden implicito , “complejo e inentendible, hay una relacion de orden implicito , “mas mas complejo quecomplejo que” el mapeo a números debe preservar este orden, podría ” el mapeo a números debe preservar este orden, podría ser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo queser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo quepreserve el orden en el sistema numérico es valido.preserve el orden en el sistema numérico es valido.


Tipo de Escala IntervaloTipo de Escala Intervalo

Toma información acerca del tamaño de los intervalos que separanToma información acerca del tamaño de los intervalos que separanlas categorías (escala o “salto” de una categoría a otra)las categorías (escala o “salto” de una categoría a otra)

Preserva el orden de las categoríasPreserva el orden de las categorías

Preserva la diferencia entre dos categorías pero no puedo hacer Preserva la diferencia entre dos categorías pero no puedo hacer algunas operaciones sobre las mismas; es decir puedo sumar y resalgunas operaciones sobre las mismas; es decir puedo sumar y restar tar pero no multiplicar o dividir.pero no multiplicar o dividir.

EjemploEjemplo: : medir la temperatura del aire en Fahrenheitmedir la temperatura del aire en Fahrenheit. . Puedo decir Puedo decir que hace 40 grados en NY y 80 en Miami. La diferencia tiene sentque hace 40 grados en NY y 80 en Miami. La diferencia tiene sentido, 40 ido, 40 grados, también si aumenta un grado en NY y Miami pero NO puedo grados, también si aumenta un grado en NY y Miami pero NO puedo decir decir que la temperatura en Miami es el doble que en NY, o que en NY eque la temperatura en Miami es el doble que en NY, o que en NY es la mitad.s la mitad.

El tipo de El tipo de transformación admisibletransformación admisible es de la forma: es de la forma: M’= a * M + b.M’= a * M + b.


Tipo de Escala de ProporciónTipo de Escala de Proporción

Es el tipo de escala más usado. Podemos hacer análisis con Es el tipo de escala más usado. Podemos hacer análisis con operadores de multiplicación y división, porcentajes, entre otrooperadores de multiplicación y división, porcentajes, entre otros. s. Todas las operaciones aritméticas tienen sentido sobre las Todas las operaciones aritméticas tienen sentido sobre las categoriascategorias. .

Ejemplo: La altura de una persona (Ejemplo: La altura de una persona (Dos veces más alto queDos veces más alto que))

Se preserva el orden, el tamaño de intervalo y la proporción de Se preserva el orden, el tamaño de intervalo y la proporción de las las categorías. Hay un elemento cero, que representa la falta total categorías. Hay un elemento cero, que representa la falta total de un de un atributoatributo..

Las categorías mapeadas deben comenzar en cero e incrementarse Las categorías mapeadas deben comenzar en cero e incrementarse a intervalos regulares llamados unidades.a intervalos regulares llamados unidades.

El tipo de El tipo de transformación admisibletransformación admisible es de la forma: M’= a * M. es de la forma: M’= a * M.


Tipo deTipo de Escala AbsolutaEscala Absoluta

Es la mas restriciva. La única Es la mas restriciva. La única transformación admisibletransformación admisible es la es la identidad. Es decir, sólo hay un mapeo posible M’ = M.identidad. Es decir, sólo hay un mapeo posible M’ = M.

La medida es hecha (generalmente) contando elementos del La medida es hecha (generalmente) contando elementos del conjunto de un atributo de una entidadconjunto de un atributo de una entidad

El atributo tiene siempre la forma “El atributo tiene siempre la forma “Número de ocurrencias del atributo Número de ocurrencias del atributo X en la entidad EX en la entidad E””

Todo análisis aritmético tiene sentido. Ejemplo: Todo análisis aritmético tiene sentido. Ejemplo: Cantidad de Enlaces Cantidad de Enlaces RotosRotos. .



para para MétricasMétricas

tipoEscala={Nominal, Ordinal Restringida, Ordinal no Restringida, Interv alo, Proporción, Absoluta}

MétricaDirecta

Una entidad puede ser un Proceso, Producto, Recurso, Proy ecto o Serv icio.

EscalaCategórica

valoresPermitidos


MétodoDeCálculo

Unidadnombredescripción

EscalaNuméricati po = {cont inua, d iscreta} 1..*1 1..*1

expresada_en

Medidavalor


MediciónfechaYHora 11 11

produce

Métodonombreespecificación1..*0..* 1..*0..*

automatizado_por


Entidadnombredescripción

0..*0..*

subEn ti dad

NecesidadDeInform ación

descripción

ModeloDeConcepto



0..*

1

0..*

1

referida_a

11

incluye

0..*0..*

ver_También

11

contiene

MétricaIndirecta

2..*

Funciónespecifi cación1

1

calculada_por

1

1métri cas_re laci onadas

2..*

ConceptoMediblenombredescripción

1..*

1

1..*

1

descri be

0..*0..*

subConcepto

0..*0..*

especificado_por

AtributonombrepalabrasClave/Aliasdefinic iónnivelIndependenciati po = {interno, externo}

1.. *

1..*

1.. *

1..*

asociado_con

1..*1 1..*1 cuantif ica

1..*

1

1..*

1

combina

Ejemplo de Atributos/MétricasEjemplo de Atributos/Métricas

Necesidad de InformaciNecesidad de Informacióón:n: Evaluate the link reliability for Evaluate the link reliability for static pages of a websitestatic pages of a websiteEntidad:Entidad: Producto Producto ((web siteweb site) )

Concepto Medible:Concepto Medible: link reliability (Confiabilidad de Enlaces)link reliability (Confiabilidad de Enlaces)

Modelo para Confiabilidad de Enlaces (Modelo para Confiabilidad de Enlaces (link reliabilitylink reliability ))

1. Link Reliability1. Link Reliability

// Atributos// Atributos1.1 Internal Broken Links (IBL) 1.1 Internal Broken Links (IBL)

1.2 External Broken Links (EBL)1.2 External Broken Links (EBL)

1.3 Invalid Links (IL)1.3 Invalid Links (IL)

Ejemplo de Atributos/MétricasEjemplo de Atributos/Métricas

1. Link Reliability1. Link Reliability// Atributos// Atributos

1.1 Internal Broken Links (IBL) 1.1 Internal Broken Links (IBL)

// Dos Posibles M// Dos Posibles Méétricas para 1.1tricas para 1.1

a) a) #IBL#IBL Unidad:Unidad: EnlaceEnlace; ; Escala:Escala: NumNuméérica, Enterosrica, Enteros

Tipo de EscalaTipo de Escala: : Absoluta Absoluta

Tipo de MTipo de Méétodo de Medicitodo de Medicióónn: : ObjetivoObjetivo

b) b) %IBL = (#IBL / #TL) * 100%IBL = (#IBL / #TL) * 100; ; Unidad:Unidad: Normalizada a PorcentajeNormalizada a Porcentaje; ; Escala:Escala: NumNuméérica, Realesrica, Reales

Tipo de Escala:Tipo de Escala: Absoluta Absoluta

Para ResaltarPara Resaltar

Las métricas NO pueden interpretar por sí solas Las métricas NO pueden interpretar por sí solas un concepto medible un concepto medible

Necesidad de INDICADORESNecesidad de INDICADORES

EsquemaEsquema

•• Aseguramiento de CalidadAseguramiento de Calidad•• Teoría de MétricasTeoría de Métricas•• Teoría de IndicadoresTeoría de Indicadores•• ConclusionesConclusiones

Introducción a IndicadoresIntroducción a Indicadores

INDICADOR (ELEMENTAL, GLOBAL)INDICADOR (ELEMENTAL, GLOBAL)CONCEPTO MEDIBLE (Calidad, Productiv...)CONCEPTO MEDIBLE (Calidad, Productiv...)MODELO DE CONCEPTOMODELO DE CONCEPTOMODELO ELEMENTAL, GLOBALMODELO ELEMENTAL, GLOBALCRITERIO DE DECISIONCRITERIO DE DECISIONCALCULO, VALOR INDICADOR CALCULO, VALOR INDICADOR ESCALA / TIPO DE ESCALAESCALA / TIPO DE ESCALAUNIDADUNIDAD

......


INDICADORINDICADOREEl l mméétodo de ctodo de cáálculolculo y la y la escalaescala definidos, definidos,

ademademáás del s del modelo modelo y y criterios de decisicriterios de decisióónncon el fin de proveer una evaluacicon el fin de proveer una evaluacióón o n o estimaciestimacióón de un n de un concepto medibleconcepto medible con con respecto a una respecto a una necesidad de informacinecesidad de informacióónn. . Indicador ElementalIndicador Elemental–– Preferencia de Enlaces Rotos Internos Preferencia de Enlaces Rotos Internos (IBL_P)(IBL_P)

Indicador GlobalIndicador Global–– Preferencia en Confiabilidad de Enlaces (LR_P)Preferencia en Confiabilidad de Enlaces (LR_P)


MODELO ELEMENTALMODELO ELEMENTALAlgoritmo o función asociados a criterios de Algoritmo o función asociados a criterios de

decisión que modela a un indicador elementaldecisión que modela a un indicador elemental. . Ejemplo para Ejemplo para Preferencia de Enlaces Rotos Preferencia de Enlaces Rotos

InternosInternos (IBL_P)(IBL_P)

IBL_PIBL_P = 100% if %IBL = 0; = 100% if %IBL = 0; IBL_PIBL_P = 0% if %IBL >= X= 0% if %IBL >= X max max ; ; otherwise otherwise IBL_PIBL_P =( (X=( (X maxmax –– %IBL) / X%IBL) / X max max ) * 100 ) * 100

if 0 < %IBL < Xif 0 < %IBL < X maxmaxwhere Xwhere X max max is some agreed upper threshold such as 3is some agreed upper threshold such as 3


MODELO GLOBALMODELO GLOBALAlgoritmo o función asociados a criterios de Algoritmo o función asociados a criterios de

decisión que modela a un indicador globaldecisión que modela a un indicador global. . Ejemplo para Ejemplo para Preferencia de Confiabilidad de Preferencia de Confiabilidad de

Enlaces (LR_P)Enlaces (LR_P)

GIGI11 = (W= (W1.11.1 EIEI1.11.1 + W+ W1.2 1.2 EIEI1.2 1.2 + W+ W1.3 1.3 EIEI1.31.3); ); (W(W11 + W+ W2 2 + .. + W+ .. + Wm m ) = 1; if W) = 1; if Wi i > 0 ; > 0 ; para i = 1 .. m para i = 1 .. m (m = 3, en nuestro ejemplo). (m = 3, en nuestro ejemplo).


CRITERIO DE DECISIONCRITERIO DE DECISIONThresholds, targets, or patterns used to determine the Thresholds, targets, or patterns used to determine the need for action or further investigation, or to describe need for action or further investigation, or to describe the level of confidence in a given results [ISO 15939].the level of confidence in a given results [ISO 15939].EjemploEjemplo

The decision criteria that a model of an indicator have to The decision criteria that a model of an indicator have to have are the agreed have are the agreed acceptability levelsacceptability levels in the given in the given scale; for instance, it is scale; for instance, it is unsatisfactoryunsatisfactory if the if the rangerange is 0 is 0 to 40; to 40; marginalmarginal, if it is greater than 40 and less or , if it is greater than 40 and less or equal than 60; otherwise, equal than 60; otherwise, satisfactorysatisfactory


para para IndicadoresIndicadores

~

E sca laCate górica

valoresPermitidos


Unidadnombredescripción

EscalaNuméricatipo = {continua, discreta} 1..*1 1..*1

expresada_en

Medidavalor

ModeloElemental

nombreespecificación


CriterioDeDecis iónnombredescripciónrango

1..*1..*tie ne

MediciónfechaYHora

11 11produce

IndicadorElemental

1

1

1

1modelado_por

Métodonombreespecificación

1..*

0..*

1..*

0..*

automatizado_por

ValorIndicadorvalor

ModeloGlobalnombreespecificación

1.. *1.. *tie ne

Entidadnombredescripción


0..*

1

0..*

1

referida_a

1

0..1

1

0..1

interpreta

11

incluye

Cálculofech aYHora 11 11

produce

MétodoDeCá lculo

IndicadorGlobal

1

1

1

1modelado_por


11

cont iene

NecesidadDeInformación

descripción

ModeloDeConcepto


AtributonombrepalabrasClave/AliasdefiniciónnivelIndependenciatipo = {interno, externo}

1..*

1..*

1..*

1..*

asociado_con

1..*

1

1..*

1

cuan tif ica

IndicadornombreprecisiónreferenciastipoValor = {Símbolo, Integer, Float}

0..*1 0..*1relacionado_a

in cluye

2..*2..*

indicadores_relacionados

11

contiene

ConceptoMedible

nombredescripción

1..*

1

1..*

1

describe

0..*0..*

especificado_por

0..*0..*

subConcepto

1..*

1

1..*

1

combina

1

1

1

1

evalúa/estima

EsquemaEsquema

•• Aseguramiento de CalidadAseguramiento de Calidad•• Teoría de MétricasTeoría de Métricas•• Teoría de IndicadoresTeoría de Indicadores•• Conclusiones/Avances Conclusiones/Avances

ConclusionesConclusiones

Metrics are welcome when they are clearly needed and Metrics are welcome when they are clearly needed and easy to collect and understandeasy to collect and understand Pfleeger Pfleeger

Utilidad de las MétricasUtilidad de las MétricasMedición “objetiva antes que subjetiva”Medición “objetiva antes que subjetiva”

Especificar en el mundo formal, la correspondencia de Especificar en el mundo formal, la correspondencia de un atributo del mundo empíricoun atributo del mundo empírico

Operacionalizar HeurísticasOperacionalizar Heurísticas

Servir de “base” a Métodos Cuantitativos de Evaluación Servir de “base” a Métodos Cuantitativos de Evaluación o Predicción. o Predicción.

La métrica NO puede interpretar por sí sola un concepto La métrica NO puede interpretar por sí sola un concepto medible (Necesidad de INDICADORES)medible (Necesidad de INDICADORES)

ConclusionesConclusiones

Indicators are ultimately the foundation for interpretation of Indicators are ultimately the foundation for interpretation of information needs and decisioninformation needs and decision--making.making.

Utilidad de los IndicadoresUtilidad de los Indicadores

Servir de base para cuantificar Conceptos Medibles para Servir de base para cuantificar Conceptos Medibles para una Necesidad de Informaciónuna Necesidad de Información

Servir de base a Métodos Cuantitativos de Evaluación o Servir de base a Métodos Cuantitativos de Evaluación o PredicciónPredicción

Los indicadores ofrecen información para la toma de Los indicadores ofrecen información para la toma de decisionesdecisiones

Trabajos en AvanceTrabajos en Avance

Ontología para Métricas e IndicadoresOntología para Métricas e IndicadoresConceptualización (UML, Tablas)Conceptualización (UML, Tablas)

Implementación (RDFS, OWL)Implementación (RDFS, OWL)

MantenimientoMantenimiento

Ontologías para Procesos de Medición/EvaluaciónOntologías para Procesos de Medición/Evaluación

Sistema Web para Catalogación de M&ISistema Web para Catalogación de M&ICon Capacidad de Web SemánticaCon Capacidad de Web Semántica

Arquitectura del SistemaArquitectura del Sistema

OWLRDF/SXMLS

DB Repository

User Administrator Reviewer Moderator Tool/Agent

Web Interfaces

Web Services

Business Classes

SQL Data AccessComponents

Catalog ReviewSystem

Semantic QuerySystem

Semantic DataAccess Components

INTERFACETIER

BUSINESSLOGIC TIER

DATA LOGICTIER

PERSISTENCYTIER

Metrics and IndicatorsCataloging System

Dr. Luis Olsina Dr. Luis Olsina EE--mail:mail: [email protected]@ing.unlpam.edu.arURL:URL: http://gidis.ing.unlpam.edu.arhttp://gidis.ing.unlpam.edu.ar

Grupo de InvestigaciGrupo de Investigacióón y Desarrollo en Ingeniern y Desarrollo en Ingenieríía de Softwarea de SoftwareDepartamento de InformDepartamento de Informáática tica –– Facultad de IngenierFacultad de Ingenieríía a –– Universidad Nacional de La PampaUniversidad Nacional de La Pampa

Argentina©© 2003 GIDIS2003 GIDIS

Preguntas ?Preguntas ?Preguntas ?Preguntas ?

PROGRAMA CYTEDPROGRAMA CYTEDProyecto WEST: WebProyecto WEST: Web--OrientedOriented Software Software TechnologyTechnology

Documents

Indicadores Metricas