Benchmark

��

Gustavo Vázquez

2da Jornada de Testing - A las Pruebas me reMito

� ��


� ��


��

� Piloto� Copiloto� Medio técnico� Equipo� Estrategia

� ¿Se puede aislar lo que se quiere medir?


��

� Técnica utilizada para obtener la performance relativa de un sistema

� Existen reglas que permiten comparar

� Las reglas definen qué es lo que se mide


��

� Hardware

� Software

� Comunicaciones

� …


��

� Sintéticos• Se orientan a piezas muy específicas

� Aplicaciones• Reproducen aplicaciones reales para medir


��

� Estándares• Existe una asociación detrás de ellos

� A medida• Definidos según nuestras necesidades


��

� Complejidad arquitectonica


� ��

� System Under Test (SUT)• El sistema que realmente se quiere probar• No incluye las herramientas

� Cliente• Software que impone la carga• Es quien mide los tiempos

� Escenario• Define las condiciones de ejecución


��

� Objetivo� Directivas de configuración� Utilitarios de ejecución (sistema y prueba)� Escenario� Reglas de validez� Modelo de rendimiento� Arbitro creíble


!"��

HARDWARE

SOFTWARE BASE

APLICACIONES


#��$��

� Rendimiento de piezas de componentes• CPU, Video, Discos duros

� Benchmarks de la industria• Consorcios industriales

� El hardware no corre solo• Difícil determinar el SUT


��%��

� Famoso en los 80� Sintético, orientado al procesador� Referencia clara - VAX 11/780 � No tuvo mucho éxito

• Trataba de medir lo inmedible• Se encontraron “atajos”


&'!��'()**+

� SUT � Procesador� Dos metricas

• SPECint2005• SPECfp2006

� No solo el procesador• Arquitectura• Acceso a memoria• Compilador

,� ��,��

,� ��,��


&'!��$��

� SUT � procesador gráfico OpenGL� Seis pruebas � Distintos usos� Otras influencias gráficas

• CPU• Memoria• Interface


-��.��

� Dos sabores• IPMark: equipamiento de testing

�Chequeo paquetes�QoS�Route looping�OSPF�NAT

• TCPMark: transferencia de datos�TCP Jumbo�TCP Bulk�TCP Mixed


& ��$��

� Rendimiento del software base• Sistemas Operativos• Manejador de Base de Datos• Servidores de aplicaciones

� Software tipo• Define una realidad

�Esquema Base de datos�Distribución de datos�Aplicaciones y transacciones de negocio


!��/��

� Aplicación estándar• El paquete incluye las herramientas• La definición incluye el qué, porqué y como

� Críticas• Los proveedores conocen la prueba• Representan un escenario “irreal”

� El software base no puede correr solo


�0��

� Benchmark definido por nosotros

� Parecido a una prueba de performance

� ¿Quién avala el Benchmark?

� Útil en algunos casos


&'!�1� 2 &'!�",��&��

� SUT � Servidores Web – Aplicaciones� SPECWeb

• SPECWeb2005_Banking• SPECWeb2005_Ecommerce• SPECWeb2005_Support

� SPECjAppServer• Servidores J2EE (1.3)


�'�2,��

� SUT � Servidores de aplicaciones� Otros focos

• Web Services• Transacciones distribuidas• Mensajería asíncrona

� Benchmark de la Transaction ProcessingPerformance Council


��'��


�'�2�

� SUT � Hardware + S.O. + DBMS� Escenario de Retail

• Base de Datos (Tamaño + Distribución)• Transacciones• Mezcla de transacciones• Configuraciones extra SUT

� Metricas• tpmC• $/tpmC

,� ��,��


,��

� ¿Benchmark Standard?� Benchmark propio� ¿Qué implica?

• Realizar definiciones�Transacciones�Tipos de Usuarios�Mezcla de usuarios�Herramientas

� Performance a nivel técnico


,��

� Definir bien el porqué realizarlo

� Usar todo lo que se pueda usar estándar

� Tomar el benchmark como un proceso


� ��

� Proceso caro• Definición• Ejecución• Publicación

� Proceso estándar• Los que se midan deben hacerlo con las

mismas reglas

� Proceso estricto


3��

4��5

Documents

Benchmark