Version : 11 December 2008 Taller de la UIT sobre “Supervisión y referenciación de la calidad de servicio (QoS) y la calidad percibida (QoE) de los servicios

Version : 11 December 2008

Taller de la UIT sobre “Supervisión y referenciaciónde la calidad de servicio (QoS) y la calidad percibida (QoE)

de los servicios multimedios en las redes móviles”

(Buenos Aires, Argentina, 24-25 de julio de 2014)

Marco de la QoS móvil: Contadores, KPI, KQI

Joachim Pomy

[email protected], Alemania

Buenos Aires - Argentina - 24 - 25 de julio de 2014 2

Marco de la QoS Móvil: Contadores, KPI, KQI Nuevo trabajo del UIT-T sobre QoS móvil Enfoque segmentado – Selección de los parámetros de QoS móvil

percibidos por el usuario Escenarios de prueba y Puntos de activación Evaluación de la calidad de voz – Conducción de las pruebas Estadísticas – Presentación de los resultados Contadores, KPI, KQI

ITRs: Setting the stage for a connected world

[Contenido]


Trabajo del UIT-T sobre la QoS móvil (1) KPIs móviles

centrados en el equipo/la infraestructura agregación de contadores de redes propietarias no estandarizados

Nuevo trabajo del UIT-T sobre QoS móvil Borrador de la nueva Recomendación E.MQoS

Aspectos de la QoS para los servicios populares en las redes móviles Borrador de un nuevo Documento Complementario de la serie de

Recomendaciones E.800 Lineamientos sobre los aspectos regulatorios de la QoS

Otras Recomendaciones del UIT-T sobre QoS abarcan: Aspectos de los requisitos de los terminales Aspectos de la calidad extremo a extremo Aspectos de las percepciones de los usuarios





[Contenido]


Segmentos de la QoS móvil

El modelo de QoS para el servicio móvil tiene cuatro segmentos.

El primer segmento es la Disponibilidad de la Red Define la QoS más bien desde el punto de vista del proveedor de

servicios que desde el usuario del servicio El segundo segmento es el Acceso a la Red

Desde el punto de vista del usuario es el requerimiento básico para todos los demás aspectos y parámetros de la QoS

El tercer segmento contiene otros aspectos de la QoS Acceso al Servicio, Integridad del Servicio y Capacidad de Retención

del Servicio En el cuarto segmento se ubican diferentes servicios

Su resultado son los parámetros de QoS según los perciben los usuarios


Aspectos de la QoS del Servicio Móvil

Netw orkAccessibility

c ircuitsw itched

packetsw itched

ServiceAccessibility

ServiceIntegrity

ServiceRetainability

TelephonySMS

PingFile

TransferMMS

Netw orkAvailability

VideoTelephony

E-Mail

WebBrow sing

StreamingPoC

MobileBroadcast

Layer 2

Layer 3

Layer 4

Layer 1


La QoS móvil en segmentos (1)

Si seguimos un enfoque segmentadocentrándonos en los eventos que puede

percibir el usuariocentrándonos en los principales servicios del

mercado Telefonía SMS MMS

Video Telefonía Video Streaming Navegación por

Internet



Segmento 1 Indisponibilidad de la red radioeléctrica [%] Segmento 2 Relación de fallas en el Registro y la Selección

de la Red [%]


La QoS móvil en segmentos(3)

Segmento Telefonía 3Inaccesibilidad al servicio de telefonía[%]

Segmento Telefonía 4Tiempo[s] de establecimiento de telefoníaRelación de corte de llamadas de telefonía[%]



Segmento SMS 3Inaccesibilidad al Servicio de SMS [%]

Segmento SMS 4Tiempo[s] de entrega extremo a extremo de SMSRelación de fallas de SMS completados [%]



Segmento MMS 3Relación de fallas en el envío de MMS [%]

Segmento MMS 4Tiempo[s] de entrega extremo a extremoRelación de fallas extremo a extremo de MMS [%]



Segmento Video Telefonía 3Inaccesibilidad del Servicio VT [%]

Segmento Video Telefonía 4Tiempo[s]de establecimiento de Audio/Video VTRelación de corte de llamadas VT [%]

Buenos Aires - Argentina - 24 – 25 de julio de 2014 13

La QoS móvil en segmentos(7)

Segmento Streaming de Video 3Inaccesibilidad del Servicio de Streaming [%]

Segmento 4:Tiempo[s]de Acceso al Servicio de StreamingRelación de corte de la Reproducción de Streaming

[%]



Segmento de navegación por Internet (HTTP) 3Inaccesibilidad del servicio HTTP [%]

Segmento de navegación por Internet (HTTP) 4Tiempo[s] de establecimiento HTTPRelación fallas de Sesión HTTP [%]Relación corte de transferencia de datos HTTP [%]



Este enfoque nos haría terminar con > 20 parámetros QoSTodos se relacionan con eventos de percepción de

los usuariosPero esto es sólo parámetros de extremo a extremoHay muchos más parámetros definidos para los

eventos relacionados con los segmentos de red, traspaso, etc.





[Contenido]


Escenarios de prueba

Escenarios de prueba necesarios para distinguir los siguientes casos principales de usuariosServicios usuario-usuario (generalmente telefonía)Servicios de guardado y reenvío (por ej., SMS)Servicios de información (por ej., acceder a Internet

o bajar FTP)Servicios Push (transferencia iniciada por el

remitente)


Consideraciones sobre los puntos de activación

Podemos suponer que cualquier equipo de prueba viable contendrá algún tipo de terminal de

comunicación (UE) que puede ser un tipo especial (por ejemplo, un teléfono de seguimiento)

o un UE estándar También, se puede suponer que cada uno de tales dispositivos

proporcionará información de diferentes segmentos de la comunicación desde el Segmento de la Aplicación (cercana a la interfaz del usuario) hacia los segmentos más bajos, por ej., eventos del sistema operativo,

segmento TCP/IP, o Segmento 3 información de señalización, que es utilizada como punto de activación para procesar los PARÁMETROS de la QOS

En general los comandos AT pueden utilizarse en la mayoría de los casos La acción es en general disparada por

una acción del usuario emulada causar alguna acción en la interfaz de aire


Consideraciones sobre los puntos de activación

El proceso de propagación de eventos es determinante permite una especie de mapeo entre segmentos está asociado con la demora y el procesamiento de las comunicaciones en cada etapa.

Elección del segmento para el punto de activación de la recuperación de información determina el punto de vista expresado en un PARÁMETRO de QoS Elegir eventos de los niveles inferiores (Segmento 3) brinda un punto de vista más centrado

en la red los eventos de los niveles superiores brindan puntos de vista más relacionados con los

usuarios para los mismos PARÁMETROS de QoS, el segmento de origen para los eventos utilizados

como puntos de activación debería ser el mismo En referenciación, para todas las redes abarcadas por la prueba

usar el mismo tipo de UE y de PARÁMETROS de QoS usar puntos de activación desde el mismo segmento.

Al cambiar el segmento de origen para un determinado punto de activación se deberían esperar cambios en los PARÁMETROS de QoS se requieren medidas de calibración

para evaluar la influencia sobre los PARÁMETROS de QoS tanto cuantitativa como cualitativamente.





[Contenido]


Mediciones de telefonía en la red (1)

Definición de transacción y tipos de transacción La transacción básica para las pruebas de telefonía es equivalente a una

sola llamada a la extensión de una contraparte. Se supone que la contraparte a la que se llama es en general una extensión de tipo red-fija para evitar incertidumbres relacionadas con una segunda conexión móvil.

El tipo puede ser Originada en la red móvil (MO) o Terminada en la red móvil (MT).

Se supone que una vez establecida la conexión, para efectuar otras mediciones no tiene importancia que lado activó la llamada. Por lo tanto, el parámetro del flujo de datos de audio no estará lógicamente relacionado con el tipo de llamada.



Calidad de los contenidos Los datos de la evaluación de la calidad del contenido se

generan en el extremo receptorPara el enlace descendente el almacenamiento de los datos

del contenido es directoPara el contenido del enlace ascendente, los resultados

deben integrarse en algún punto del tiempoPara evaluar la calidad del contenido de una muestra

completa de transmisión de voz, son posibles al menos los siguientes métodos:



Calidad de los contenidos (cont.)Evaluación en tiempo real

modo streaming el algoritmo de evaluación de la calidad de voz determina

el tiempo real de MOS-LQOEvaluación Offline

el contenido es previamente grabado para ser procesado más tarde

El procesamiento de los datos debe garantizar que sólo se procesan los datos de calidad de los contenidos válidos dentro de la ventana de tiempo "conexión activa”



Verificación de conexiones bidireccionales utilizables

Sólo las llamadas con una conexión de datos bidireccional extremo a extremo válidas serán consideradas en la evaluación de la calidad del contenido (llamadas válidas).

Las llamadas no válidas serán tratadas como llamadas perdidas con un indicador para este caso en particular


Tema candente:POLQA™ - Rec. P.863 (1)


POLQA™ - Rec. P.863 (2)

Nuevo estándar POLQA ganador de una rigurosa competencia técnica Llevada a cabo por el UIT-T para definir la actualización

tecnológica del PESQ/P.862PESQ era el estándar de punta en la mayoría de los

servicios de telecomunicaciones a nivel mundialPOLQA - “Perceptual Objective Listening Quality

Assessment” (Evaluación de la calidad de la escucha percibida objetiva)- ofrece un nuevo nivel de capacidad de referenciación para determinar la calidad de voz de los servicios de la red móvil


POLQA™ - Rec. P.863 (5)

Limitaciones de los estándares existentes que son ahora abordados por el POLQA CDMA 3G TD-SCDMA chino

POLQA también ofrecerá un fuerte apoyo inmediato para probar las nuevas redes de banda ancha 4G/LTE que proveen servicios de voz de alta calidad (HD)

Las pruebas llevadas a cabo durante la evaluación del POLQA incluyeron tecnologías futuras, tales como Comunicaciones unificadas Redes de próxima generación 4G/LTE Voz HD, por ej., “wide-band” (banda amplia) y "super-wide-band” (banda

super amplia) Ver POLQA: The Next Generation in Voice Quality Testing

http://www.polqa.info


Evolución de las Recomendaciones del UIT-T para las Pruebas de Calidad de Voz (P.86x – Referencia completa MOS-LQO)

Buenos Aires - Argentina - 24 - 25 de julio de 2014 29POLQA Introduction - (c) OPTICOM GmbH 2010 29

Validación del Validación del comportamientocomportamiento• La UIT ha validado el POLQA en:

• Idiomas incluidos en la validación del POLQA :

• Alemán• Alemán suizo• Italiano,• Japonés,• Sueco

• Inglés americano e Inglés británico

• Chino (Mandarín),• Checo,• Holandés,• Francés,

• 47000 pares de archivos

• 64 experimentos subjetivos





[Contenido]


Intervalos de confianza para diferentes tamaños de muestras (1)

Efectos de los diferentes tamaños de muestras en una campaña de medición basados en las fórmulas de Pearson-Clopper para calcular los intervalos

de confianza válidos de forma genérica e incluso para muestras de pequeño tamaño para muestras de cantidades mayores, se puede aplicar el cálculo de los

intervalos de confianza en base a la aproximación de una distribución normal

se muestran tres gráficos diferentes: Los tamaños de las muestras dentro del rango de:

entre 100 y 1 100 muestras; entre 1 100 y 2 100 muestras; y entre 1 000 y 11 000 muestras.



0 20 40 60 80 100

05

10

15

20

25

30

Width of confidence interval for fixed sample size (Pearson-Clopper)

Estimated rate in percent

Wid

th o

f co

nfid

enc

e in

terv

al i

n pe

rce

nt

x

xx

xx

xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxxx

xx

x

x+

++

++++++++++++++++++++++++++++++++++++++++++++

++

+

+o

oo

oooooooooooooooooooooooooooooooooooooooooooooo

o

ox

xx

xx xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxx xxx

x

x++

++++++++++++++++++++++++++++++++++++++++++++++++

+

ox+ox+

100 Samples300 Samples500 Samples700 Samples900 Samples1100 Samples



0 20 40 60 80 100

01

23

45

67



Wid

th o

f co

nfid

en

ce in

terv

al i

n p

erc

en

t

x

x

x

x

xx

xx

xx

xx

xxx xxx xxx xxx xxx xxx xxx xxx xxxx

xx

xx

xx

x

x

x

x

x+

+

+

++

++

++

++

++++++++++++++++++++++++++++

++

++

++

++

+

+

+

+o

o

o

oo

oo

oo

oo

oooooooooooooooooooooooooooooo

oo

oo

oo

o

o

o

ox

x

x

xx

xx

xx

xxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xx

xx

xx

xx

x

x

x

x+

+

+

++

++

++

++++++++++++++++++++++++++++++++

++

++

++

+

+

+

+

ox+ox+




0 20 40 60 80 100

02

46

81

0



Wid

th o

f co

nfid

en

ce in

terv

al i

n p

erc

en

t

x

xx

xx

xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxxx

xx

x

x+

++

++++++++++++++++++++++++++++++++++++++++++++

++

+

+0

00

0000000000000000000000000000000000000000000000

0

0x

xxxx xxx xxxx xxx xxx xxx xxx xxx xxx xxx xxx xxx xxxx xxx xxx

x

x+

++++++++++++++++++++++++++++++++++++++++++++++++

+

+

ox+ox+



Informe de los resultados (1)

Qué tipo de información se debe dar al lector cuando se genera un informe de la prueba?Cuando se utilizan valores cuantiles, se debería tener

en mente que el cómputo de cuantiles separa un bajo porcentaje de datos atípicos de los datos restantes. Esto significa: Si los valores más bajos representan un resultado mejor

desde la perspectiva del cliente, un pequeño porcentaje que contenga los valores más altos podría ser separado calculando un cuantil al 95 % o un cuantil al 90 %. Este es el caso por ejemplo para los valores de duración.


Informe de los resultados (2)

Si los valores más altos representan un mejor resultado desde la perspectiva del cliente, un porcentaje pequeño que contenga los valores más bajos podría ser separado calculando un cuantil al 5% o un cuantil al 10%. Este es el caso por ejemplo para valores de producción.

Con relación a la calidad del contenido, el cálculo del cuantil apropiado se orienta en la escala de los resultados de las pruebas determinadas. En la práctica, algunos algoritmos definen un valor de 0 en una escala de 0 a 5 como la mejor calidad, mientras que otros definen el valor 5 como la mejor calidad posible.





[Contenido]


KPIs (Indicadores Claves de Desempeño) basados en los Contadores de las Redes

Específicos de un distribuidor = KPIs internos de la red diferentes estrategias

cómo contar los eventos de la red qué eventos están incluidos en qué contador(es)

Requieren conocimiento de un sistema específico especialistas con conocimiento detallado del sistema probar los contadores

la documentación puede ser incorrecta el enfoque con respecto al contador cambia con la actualización del

sistema Los operadores móviles luchan con esto

la mayoría de los operadores está en un entorno de múltiples distribuidores

los contadores de diferentes distribuidores no se pueden comparar en forma directa

requiere una estrategia y una atención continua


KPIs desde la perspectiva de los usuarios = KQIs

Indicadores Claves de Calidad(KQIs) = indicadores externosse pueden evaluar en el campo

Para monitoreo, regulación, etc..se puede seleccionar una subserie

aplicable a todos los distribuidores y operadores no limitada al servicio móvil, sino buena también para la

banda ancha


KPIs versus KQIs A veces se los confunde

KPIs = indicadores internos son parte del desempeño de la red se basan en los contadores de las redes son esenciales para la operación, el mantenimiento, el modelo comercial se pueden informar, auditar, etc. sin embargo, no tienen ningún sentido cuando están fuera de contexto

KQIs = indicadores externos sirven de base para evaluar la QoS según la percibe el usuario independientes de los distribuidores Independientes de los operadores ideales para comparar diferentes operadores sobre una base estadística no pueden ser informados desde el propio sistema requieren algún tipo de prueba en el campo, conduciendo, caminando, etc..


¿Alguna pregunta?

Contacto:[email protected]

Documents

Version : 11 December 2008 Taller de la UIT sobre “Supervisión y referenciación de la calidad de servicio (QoS) y la calidad percibida (QoE) de los servicios