View
44
Download
0
Category
Preview:
DESCRIPTION
Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe. C – HERRAMIENTAS SDMX BÁSICAS (sólo para estadísticos). C.3 – Conversión de un mensaje de datos. FORMATOS DE DATOS. - PowerPoint PPT Presentation
Citation preview
Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Seminario para contribuir a la modernización de la transmisión de datos y metadatos estadísticos en la región de América Latina y el Caribe
C – HERRAMIENTAS SDMX BÁSICAS (sólo para estadísticos)
2Eurostat Unit A6 – Statistical cooperationSDMX Seminar
C.3 – Conversión de un mensaje de datos
3Eurostat Unit A6 – Statistical cooperationSDMX Seminar
FORMATOS DE DATOS
Basado en un Modelo de Información común
– SDMX-EDI (GESMES/TS)
• Sintaxis EDIFACT
• Orientado a serie temporal – Un formato para conjunto de datos
– SDMX-ML
• Sintaxis XML
• Cuatro formatos diferentes para Conjuntos de Datos
• Una validación más fácil (basada en XML)
4Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Element Example id TEST0000 test true truncated false name FISH_AQ_TEST prepared 2010-30-01T09:30:47+01:00 senderid ESTAT sendername Eurostat sendercontactname G. Smith sendercontactdepartment Statistics sendercontactrole Response sendercontacttelephone 0210 2222222 sendercontactfax 0210 00010999 sendercontactx400 sendercontacturi www.sdmx.org sendercontactemail lala@sdmx.com receiverid NSI_GB receivername CSO receivercontactname P. Mustermann receivercontactdepartment Statistics receivercontactrole Statistician receivercontacttelephone 02101234567 receivercontactfax 02103810999 receivercontactx400 receivercontacturi www.sdmx.org receivercontactemail Muster@sdmx.com datasetagency ESTAT datasetid FISH_AQX datasetaction Append extracted 2010-30-01T09:30:47+01:00 reportingbegin 2008-01-01T00:00:00 reportingend 2008-12-31T00:00:00 source DH lang en
Encabezados comunes de datos SDMX
5Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Representaciones equivalentes para la presentación de conjuntos de datosRepresentaciones equivalentes para la presentación de conjuntos de datos
Versión 2.0 Versión 2.1
4 mensajes de datos, cada uno con un formato
bien diferenciado.
DatosGenéricos
Datos Transversales Datos Compactos
Datos de Utilidad
Por tanto, ahora hay 4 mensajes de datos basados en
dos formatos generales:
Obsoletos
Mensajes de datos SDMX
• DatosEstructuraEspecíficaDatosSerieTemporalEstructuraEspecífica
• DatosGenéricos DatosSerieTemporalGenéricos
6Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Ejemplo de Mensaje SDMX-ML Genérico
7Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Ejemplo de Mensaje SDMX-ML Compacto
8Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Ejemplo de Mensaje SDMX-ML Transversal
9Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Formatos equivalentesFormatos equivalentes
SDMX-ML Genérico
SDMX-ML Transversal
SDMX-ML Compacto
Puede expandirse a otros formatos (ej: CSV, GESMES)
Puede expandirse a otros formatos (ej: CSV, GESMES)
Basada en el
mismo IM
Basada en el
mismo IM
Excepciones:
Si una DSD Transversal NO contiene una
dimensión de tiempo
Excepciones:
Si una DSD Transversal NO contiene una
dimensión de tiempo
Conversiones SDMX v2.0
10Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Leer el mensaje de entradaLeer el mensaje de entrada
ParseoParseo Poblar el modelo de datos de la
herramienta (basado en el modelo de
información SDMX v2.0)
Poblar el modelo de datos de la
herramienta (basado en el modelo de
información SDMX v2.0)
Escribir el mensaje convertidoEscribir el mensaje convertido
Usa el modelo de datos para escribir el mensaje de salida en el formato objetivo requerido.
Usa el modelo de datos para escribir el mensaje de salida en el formato objetivo requerido.
Información recuperada desde el RegistroInformación recuperada desde el Registro
Se usa una ID de flujo de datos para recuperar la definición de
flujo de datos del Registro.
Se usa una ID de flujo de datos para recuperar la definición de
flujo de datos del Registro.
La ID de la DSD, su versión y ID de agencia se recuperan de la definición de flujo de datos y se usan para adquirir la
DSD
La ID de la DSD, su versión y ID de agencia se recuperan de la definición de flujo de datos y se usan para adquirir la
DSD
Convertidor SDMX
11Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Conversiones posiblesConversiones posibles
CSV
SDMX-ML Compacto
SDMX-ML Genérico
SDMX-ML de Utilidad
SDMX-ML Transversal *
SDMX-EDI (GESMES/TS)
CSV
SDMX-ML Compacto
SDMX-ML Genérico
SDMX-ML de Utilidad
SDMX-ML Transversal *
SDMX-EDI (GESMES/TS)
CSV
SDMX-ML Compacto
SDMX-ML Genérico
SDMX-ML de Utilidad
SDMX-ML Transversal
SDMX-EDI (GESMES/TS)
CSV
SDMX-ML Compacto
SDMX-ML Genérico
SDMX-ML de Utilidad
SDMX-ML Transversal
SDMX-EDI (GESMES/TS)
Uso principal: Conversión CSV SDMX-ML CompactoUso principal: Conversión CSV SDMX-ML Compacto
Funcionalidad principal del Convertidor SDMX
Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Seleccionar el fichero de entrada
Seleccionar el fichero de salida
Seleccionar los formatos de entrada y salida
Seleccionar la DSD en la unidad local
Identificar una DSD a descargar desde el Registro
SDMX
Identificar un flujo de datos vinculado a la DSD a descargar
desde el Registro SDMX
Seleccionar / gestionar encabezados para
formatos de entrada CSV
Seleccionar tablas de mapeo /
transcodificación
Parámetros CSV
Representación GESMES para formatos
de salida GESMES
Cargar / guardar los ajustes actuales
Parámetros XML para formatos de salida
SDMX
13Eurostat Unit A6 – Statistical cooperationSDMX Seminar
C.4 – Definición de Estructura de Metadatos
14Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Ejemplo Práctico
15Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Ejemplo de metadatos de referencia
16Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Ejemplo de metadatos de referencia
17Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Ejemplo de metadatos de referencia
18Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Definición de Definición de Estructura de Metadatos
Las Tareas
1. Análisis de un conjunto de metadatos completo para identificar y documentar los “Conceptos” para los que se han de presentar o diseminar metadatos.
2. Determinar la estructura del “Informe de Metadatos” en relación a los conceptos usados, la jerarquía de los conceptos cuando se usan en el informe, y su “representación” (ej: ¿se está usando una lista de códigos? ¿es el formato de texto libre?).
3. Especificar el “objeto tipo” con el que se han de asociar los metadatos, y cómo se identifica este tipo de objeto: el conocimiento del Modelo de Información SDMX se muestra útil en este caso (ya que los metadatos sólo pueden asociarse con tipos de objetos que pueden identificarse en relación a los tipos de objetos que existen en el modelo de información).
19Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Definición de Estructura de Metadatos
Un conjunto de metadatos de referencia tiene un conjunto de metadatos estructurales que describe como se organizan. Estos metadatos identifican – qué conceptos de metadatos de referencia se están presentando– cómo se relacionan estos conceptos entre ellos (normalmente como
jerarquías), – cómo se pueden representar (como texto libre, como valores codificados,
etc.)– cuál es la función de su uso (obligatorio o condicional)– con qué tipos de objetos SDMX formales se asocian
Una MSD comprende dos partes fundamentales:– El Tipo de Objeto(s) con los que los metadatos se pueden asociar– Los Conceptos para los que los metadatos se han de presentar
• estos conceptos se agrupan bajo una (o más) Estructura de Informe(s)
20Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del Informe de Metadatos – Información de Contacto
En este caso, no hay un nombre individual, sólo la organización y la unidad de organización. Además, no existe un número de teléfono o
de fax, sólo una dirección web de contacto. De esta información se puede obtener la siguiente estructura de
informe y conceptos subyacentes.
21Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Información de contacto
Atributo Concepto Sub Atributo Concepto Formato
Contacto CONTACTO Organización de contacto
CONTACTO_ORG Texto
Unidad de organización de contacto
CONTACTO_ORG_UNIDAD
Texto
Dirección de correo de contacto
CONTACTO_CORREO_DIRECCIÓN
Texto
El uso del concepto, su lugar en la jerarquía, representación, y asociación se definen en la parte relativa al “Atributo de Metadatos” del MSD (denominado Atributo en la tabla).
La definición real del concepto se encuentra en el Esquema de Concepto
Two levels of hierarchy in the report
Dos niveles de jerarquía en el informe
22Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Metadatos de contenido
Atributo Concepto Sub Atributo Concepto Formato
Presentación estadística
ESTAD_PRES Unidad estadística ESTAD_UNID Texto
Población estadística
ESTAD_POB Texto
Área de referencia REF_AREA Texto
Cobertura de tiempo TIEMPO_COB Texto
23Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos– Esquema de Concepto
Los siguientes conceptos se obtienen de las tablas anteriores:
ESTAD_PRES
ESTAD_UNID
ESTAD_POB
REF_AREA
TIEMPO_COB
CONTACTO_ORG
CONTACTO_ORG_UNID
CONTACTO_CORREO_DIRECCIÓN
Los conceptos del esquema de concepto pueden definirse en un jerarquía donde exista un vínculo semántico entre los conceptos padre e hijo;
El concepto(s) hijo tendrá un significado semántico más refinado que el del padre.
CONTACTO
24Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del infome de metadatos – El tipo de objeto de asociación
El conjunto de metadatos que se presenta (esto es, el contenido real de metadatos) tiene el propósito de ser metadatos sobre “algo”.
Ese “algo” es el tipo de objeto y en una MSD es necesario declarar el tipo de objeto y definir cómo se identifica en relación a sus componentes constituyentes.
Por ejemplo, un Código se identificaría mediante una combinación del identificador de Lista de Códigos y el identificador de Código.
25Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – El tipo de objeto de asociación
El tipo de objeto de asociación debe de poder definirse con el uso de tipos de objetos identificables en el Modelo de Información SDMX – el esquema
XML demanda esto y enumera los siguientes tipos de objetos.
26Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – El tipo de objeto de asociación
27Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – El tipo de objeto de asociación
El tipo de objeto es la Categoría de Datos (denominada “Categoría” en el Modelo de Información SDMX).
Si el propósito de la MSD es definir dónde se van a asociar los metadatos en el entorno de difusión de Eurostat entonces esto es todo lo que se
requiere.
Categoría de Datos
28Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – El tipo de objeto de asociación
Si Eurostat desea publicar esto y ponerlo a disposición de otras organizaciones (ej: en forma de fichero descargable) entonces sería necesario también identificar al Proveedor de Datos (que en este caso es Eurostat).
Los tipos de objeto Catergoría y Proveedor de Datos podrían asociarse con un esquema de codificación – sin duda existiría una lista para todas las categorías de datos (esto sería un “Esquema de Categoría”), pero para el Proveedor de Datos esto podría declararse sin enumerar (esto es, texto).
29Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Esquema de Concepto
Es un “Contenedor” de conceptos. En SDMX este es el nivel donde los conceptos se mantienen.
Tiene una agencia de mantenimiento, identidad y versionado de información.
Los conceptos de un esquema de concepto pueden ser jerárquicos.
A menudo se usan conceptos en la presentación de jerarquías y estas jerarquías se construyen en la Estructura de Presentación de la Definición de Estructura de Metadatos.
30Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Esquema de la estructura del esquema de concepto
31Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Estructura de Presentación – Estructura General
definida dentro de la Definición de Estructura de Metadatos
32Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Estructura de Presentación – Informe de Contacto
CONTACTO_ORG
CONTACTO_ORG_UNID
CONTACTO_CORREO_DIRECCIÓN
ESTAD_MSD
ESTAD_METADATOS_CSCATEGORÍA_CONTACTO_INFORME
CONTACTO
Contacto
Nombre contacto organización
Unidad contacto organización
Dirección correo contacto
33Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Estructura de Presentación – Informe de Calidad
ESTAD_MSD
ESTAD_METADATOS_CS
CATEGORÍA_CONTENIDO_
INFORME
Presentación Estadística
Unidad estadística
Población estadística
Área de referencia
Cobertura temporal
ESTAD_PRES
ESTAD_UNID
ESTAD_POB
REF_AREA
TIEMPO_COB
34Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Definición del tipo de objeto de asociación
Esquema
define todos los posibles tipos de objetos que están dentro del alcance
de la MSD
hace referencia a un sub-conjunto de Componentes del Identificador
del identificador de Objetivo Completo
35Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Definir del tipo de objeto de asociación
Tipos de Objeto de Asociación
Categoría de Datos
Proveedor de Datos
36Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Definición del Tipo de Objeto de Asociación
Tipos de Objeto de Asociación
ESTAD_MSD
CATEGORÍA
AGENCIA
CATEGORÍAESTAD_CATEGORÍA
_ESQUEMAProveedor de Datos
Categoría
AGENCIA
comprende los tipos de objeto Categoría y ProveedorDatos
hace referencia sólo al Componente de
Identificador vínculado al
Proveedor de Datos
37Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Definición del Tipo de Objeto de Asociación
Hay que tener en cuenta que estos metadatos están asociados en un nivel bastante alto – el nivel de la categoría de dominio del tema – del
proveedor de datos.
Si hay metadatos en un nivel más bajo de granuralidad, por ejemplo en el nivel de la “tabla”, entonces esto también puede especificarse en
una MSD.
Para asociar metadatos a cada una de las tablas, éstas pueden definirse como un “Flujo de datos” y los metadatos se asocian a la provisión de los
datos mediante un proveedor de datos para este flujo de datos.
38Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Vínculo entre las Estructuras de Presentación y los Identificadores de Objetivo relevantes
ESTAD_MSD
CATEGORÍA
AGENCIA
ESTAD_CATEGORÍA_ESQUEMA
CATEGORÍA_CONTENIDO_INFORME
vincula las Estructuras de Presentación a los
Identificadores de Objetivo relevantes
39Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Estructura del informe de metadatos – Resumen
Vínculo entre las Estructuras de Informe y los Identificadores de Objetivo relevantes
El XML que crea este vínculo es el atributo objetivo de la Estructura del Informe
40Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Conjunto de Metadatos: Estructura
Hace referencia a:– Una Definición de Estructura de Metadatos (MSD)– Una Estructura de Informe– Un Identificador de Objetivo
Define:– Los valores reales de los objetos objetivo
Comprende:– Los Atributos Presentados y sus correspondientes Valores– Estos Atributos pueden ser:
• codificado• Texto• fecha/tiempo • número etc.
41Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Conjunto de Metadatos – Esquema General
42Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Conjunto de Metadatos – Esquema General
El Conjunto de Metadatos de Contacto
Los metadatos se presentan en un
Conjunto de Metadatos
Cada informe de metadatos se
presenta en un Conjunto de
Metadatos individual
Pueden existir muchos
conjuntos en un Mensaje SDMX.
43Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Conjunto de Metadatos – Esquema General
CONTACTO_ORG
CONTACTO_ORG_UNID
CONTACTO_CORREO_DIRECCIÓN
ESTAD_MSDCATEGORÍA_CONTACTO_INFORME
CONTACTO
Cuentas Nacionales Unidad C2: producción
Eurostat, Oficina Estadística de las Comunidades Europeas
http://epp.eurostat.ec.europa.eu/portal/page/portal/help/user_support
Proveedor de Datos=EUROSTAT
Categoría = Clave_Indicadores.Estructurales_Indicadores
44Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Conjunto de Metadatos – Fichero de Metadatos
45Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Conjunto de Metadatos – Ejemplo ESMS
46Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Conjunto de Metadatos – Ejemplo ESMS
47Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Presentación de Metadatos
48Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Presentación de Metadatos en SDMX-ML El mecanismo de Metadatos de Referencia soporta actividades de presentación y
difusión a través de tipos de mensajes especificados Mensaje de Estructura
– Proporciona la Definición de Estructura de Metadatos Mensaje de Metadatos Genérico
– Proporciona un formato simple para cualquier definición de estructura de metadatos
– Todos los metadatos de referencia expresables en formato SDMX-ML pueden marcarse de acuerdo a este formato y los contenidos de la Estructura
– Realiza sólo un mínimo de validación– Soporta la creación de herramientas de software genérico y servicios para el
procesamiento de metadatos de referencia Mensaje de Presentación de Metadatos
– Para cada MSD, se crea un esquema XML (específico para esa MSD)– Realiza una validación sobre conjuntos de datos presentados– Menos detallado que el mensaje de metadatos Genérico– Más fácil de usar al relacionarse directamente la marca XML con los conceptos
relacionados
49Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Definición de flujo de metadatos
Muy similar a una definición de flujo de datos; describe, categoriza, y restringe conjuntos de metadatos
Los conjuntos de metadatos se presentan o difunden según la definición de flujo de metadatos.
Identifica una Definición de Estructura de Metadatos Puede asociarse a uno o más dominio de temas (esto facilita la
búsqueda de datos según un esquema organizado de categoría organizado)
Las restricciones pueden asociarse a la definición de flujo de metadatos, en el sentido de informar sobre peridiocidad o un conjunto de posibles claves que se permiten en un conjunto de metadatos.
50Eurostat Unit A6 – Statistical cooperationSDMX Seminar
C.5 – Herramientas de Metadatos de Referencia
51Eurostat Unit A6 – Statistical cooperationSDMX Seminar
C.6 – Infraestructuras SDMX de Referencia
52Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Qué es la Infraestructura SDMX de Referencia
Conjunto de bloques de construcción que permiten a una oficina estadística exponer datos al mundo externo basados en derechos de acceso
Desarrollado en Java y .NET junto a una API bien definida Proporciona datos y metadatos estructurales basados en
mapeos a un almacén de datos de una organización Conforme a las guías del Servicio Web SDMX Paquete de código fuente abierto bajo licencia EUPL Soporte del Census Hub y proyectos de Eurostat similares.
53Eurostat Unit A6 – Statistical cooperationSDMX Seminar
SDMX-RI – Visión General
Cliente Web Asistente de Mapeo
SDMX-RI – Interfaces de Usuario
SDMX-RI – “bajo la cubierta”
Organización proveedora de
datos
Organización recopiladora de
datos
Vínculo Interno
Servicio Web
Datos Locales que no son
SDMX
Datos de formato SDMX
54Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Informe de estado a fecha de junio 2012
Países que han instalado SDMX-RI: Austria, Bélgica, Bulgaria, Chipre, Eslovenia, Finlandia, Francia*, Hungría, Irlanda, Italia, Letonia, España, Lituania, Luxemburgo, Malta, México, Países Bajos, Noruega, Polonia, Portugal, y Suecia.
* Bloques de construcción seleccionados
Han expresado interés o están trabajando en ello:– Dinamarca, Eslovaquia, Estonia, Grecia, Islandia,
Liechtenstein, Suiza, Reino Unido, Rumanía y Rusia
55Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Módulos
Parseador de Consulta SDMX
Recuperador de Datos
Recuperador de Estructuras
Generador de Datos SDMX
Proveedor de Servicio Web
sdmx_modelo
Cliente Web
Asistente de Mapeo
Interfaces de Usuario
56Eurostat Unit A6 – Statistical cooperationSDMX Seminar
SDMX-RI – Visión General
Parseador de consultas
Proveedor de servicio web
Recuperador de datos
Recuperador de estructuras
Generador de datos
Modelo de datos SDMXbase de datos de difusión
57Eurostat Unit A6 – Statistical cooperationSDMX Seminar
SDMX-RI – Visión General
58Eurostat Unit A6 – Statistical cooperationSDMX Seminar
Visión general del esquema
59Eurostat Unit A6 – Statistical cooperationSDMX Seminar
SDMX-RI – Flujo de Trabajo
Proveedor de Servicio Web
Parseador de Consulta SDMX
Recuperador de Datos
Generador de Datos
SDMX
Cliente de Servicio Web
CONJUNTO DE DATOS SDMX-ML
CONSULTA SDMX-ML
60Eurostat Unit A6 – Statistical cooperationSDMX Seminar
C.7 – Charla Abierta
Recommended