Introducción a los metadatos para las colecciones digitales José Manuel Barrueco

Introducción a los metadatos para las colecciones digitales

José Manuel Barrueco

Contenidos:

1. Los objetos digitales

2. Identificadores de objetos digitales

3. XML: un estándar por encima de los estándares

4. Metadatos

5. Uso de metadatos en las colecciones del SBD

0.- Antes de empezar:

1. Página del curso:

http://www.uv.es/=barrueco/curso.html

2. Hacemos grupos de 3-4 personas

3. Cada grupo un identificador

4. Seleccionamos un espacio en

disco/web

5. Abrimos una carpeta usando como

nombre el identificador de grupo

Repositorios Objeto digital = identificador + metadatos

1.- Los objetos digitales:

Robert WilenskyRobert E. Kahn

http://www.cnri.reston.va.us/k-w.html

Objetos simples vs objetos compuestos


Identificadores persistentes y su resolución En un repositorio lo que almacenamos no siempre es lo mismo que lo que vemos


Ejercicio 1:

Buscar al menos tres objetos digitales simples y uno compuesto.

Los guardamos en nuestro repositorio

2.- Identificadores de objetos digitales:

Un identificador se compone de:

• Un nombre (978-84-92910-35-9)

• Una especificación (ISO 2108:2005, Information and documentation – International Standard Book Number)

• Una organización (International ISBN Agency)

Características:

• Un identificador debe ser único

• Debe ser posible su resolución

• Debe ser interoperable

• Debe ser persistente


Handles:

• Desarrollado por National Research Initiatives (CNRI)

• Especificación: RFC 3650 – RFC 3652

• Sintaxis:<Handle Naming Authority (prefijo)>/<Handle Local Name (sufijo)>Prefijo y sufijo de cualquier longitudEl sufijo puede incluir un identificador de otro sistema

Ejemplo: 145.76/jan2005-rk32498833145.76/ISBN 0-7894-7764-5

Universitat de València: 10550/17512

• Resolución:• http://hdl.handle.net


http://www.handle.net/workshop_08/presentations/HDL_WrkshpIntro_June08.ppt


DOI (Digital Object Identifier):

• Implementación del sistema handle con funciones adicionales específicas de la industria editorial

• Gestionado por la International DOI Foundation y Agencias de Registro. La más conocida CrossRef.

• Especificación: ISO 26324:2010

• Sintaxis: Igual que handle pero siempre empiezan por 10.

• El DOI Kernel Metadata Declaration (KMD)

• Universitat de València en proceso de obtención de un prefijo DOI (OJS).

Ejercicio 2, resolviendo identificadores:

• 10.1051/0004-6361:20054289• 10.1063/1.362637• 10.1063/1.2958286• 10.1186/1471-2148-6-105• 10.1051/0004-6361:20078690

Truco:

Podemos utilizar un plug-in de Firefox para resolver directamente handles/dois:

http://www.handle.net/other_software.html


Ejercicio 3, identificando nuestros documentos:

1. Usamos esquema: 10550/01-GRUPO-DOC[-PARTE]10550/01-01-110550/01-01-2-1

2. Nombramos ficheros según este esquema

3. Usamos nuestro propio resolutor:http://citec.repec.org/cgi-bin/r.pl?id=

4. Preparamos nuestros datos para el resolutor:1. Fichero TXT llamado resolutor.txt2. En cada línea: handle url3. Lo colocamos en nuestro repositorio

5. Usamos resolutor para recuperar alguno de nuestros documentos


3.- XML: un estándar por encima de los estándares

¿Por qué necesitamos XML?

Es el esquema de representación usado por todos los formatos de metadatos

Necesario para convertir formatos Uso extensivo en las aplicaciones

que gestionan las colecciones digitales (DSpace)

Nos da autonomía en la configuración de los servicios al usuario


http://www.w3schools.com/xml/default.asp

Diferencias HTML vs XML

XML se utiliza para almacenar datos estructurados, mientras HTML se utiliza para dar formato y visualizar esos datos.

En estos momentos XML es la herramienta más común para la transmisión de datos entre cualquier clase de aplicaciones.

En XML se pueden inventar etiquetas. Los documentos XML tienen una estructura jerárquica, donde la

primera etiqueta se denomina raíz y el resto hijos. Todas las etiquetas deben ser cerradas <Para></Para> Las etiquetas diferencian mayúsculas de minúsculas. <Para>es

diferente de <para>. Las etiquetas deben estar correctamente entrelazadas. Sería

incorrecto: <b><i>texto</b></i>.




• Un documento XML debe estar bien formado, no se permiten los errores.

• En caso de errores las aplicaciones que utilicen el documento no funcionarán.

• Además para ser válido debe ajustarse a una definición de tipo de documento específica DTD o, como alternativa, un esquema XML.

Para saber si un documento XML es correcto podemos validarlo utilizando herramientas como: http://validator.w3.org/




XSLT (Extensible Stylesheet Language Transformations )

• Utilizado para procesar documentos XML

• Permite obtener una versión “legible” de un documento XML. Por ejemplo, convirtiéndolo en un documento XHTML

• Es un lenguaje de programación expresado en XML (también!). Espacio de nombres <xsl:>

• Permite trabajar con diferentes tipos de datos: números, cadena, operadores, etc.

• Acceso a datos específicos a través del uso de variables:<xsl:value-of><xsl:value-of select=“root/item/dc:title” />

• Dispone de control de flujos a través de estructuras: <xsl:if>, <xsl:for-each>, <xsl:choose>



Ejercicio 4, creando nuestra propia xslt

Crear una hoja de estilo que haga un listado de nuestros librosutilizando la puntuación ISBD y añadiendo al final de cada uno un enlace para descargarlo. Por ejemplo:

Aprendiendo XML en media hora / por Pepe Pérez . – [S.l.]:[S.n.], 1999. [Descargar]

4.- MetadatosLos metadatos son información estructurada que describe, explica, localizao facilita la recuperación, el uso o la gestión de un recurso digital.

Existen tres tipos básicos de metadatos:

• Metadatos descriptivos

• Metadatos estructurales

• Metadatos administrativos:

• Metadatos técnicos

• Metadatos para la gestión de derechos

• Metadatos de preservación

4.- MetadatosConceptos importantes a tener en cuenta:

• Esquemas de metadatos

• Diccionarios de elementos

• Esquemas de codificación

• Perfiles de aplicación

• Tabla de equivalencias

• Sintaxis y semántica

• Elementos opcionales vs obligatorios

4.- MetadatosEsquemas de metadatos descriptivos: Dublin Core

Nace en 1995 en Dublin (Ohio) en una conferencia OCLC/NCSA

Inicialmente trece elementos caracterizados por:

• Simplicidad

• Interoperatividad semántica

• Consenso internacional

• Interdisciplinariedad

• Para cualquier formato

• Extensible

• Modular


http://www.dublincore.org/resources/training/dc-2010/Tutorial1_basic_Greenberg.pdf





Más información en: http://dublincore.org/documents/dcmi-terms/

Espacios de nombres:

xmlns:dcterms="http://purl.org/dc/terms/" xmlns:dc="http://purl.org/dc/elements/1.1/"


<?xml version="1.0" encoding="iso-8859-1"?><dc xmlns:dcterms="http://purl.org/dc/terms/" xmlns:dc="http://purl.org/dc/elements/1.1/"> <item>

<dcterms:dateAccepted>2010-12-01T12:57:11Z</dcterms:dateAccepted><dcterms:available>2010-12-01T12:57:11Z</dcterms:available><dcterms:issued>2009</dcterms:issued><dc:identifier type="dcterms:URI">http://hdl.handle.net/10550/16896</dc:identifier><dcterms:abstract xml:lang="es"> Descripción del simulador RobotStudio para programación de robots industriales, y la simulación de la plataforma labserver</dcterms:abstract><dc:language type="dcterms:ISO639-2" xml:lang="es">es</dc:language><dcterms:hasPart xml:lang="es"> http://hdl.handle.net/10550/16889 Manual de uso del robot industrial IRB140 (ABB) a través de la plataforma web para el control remoto</dcterms:hasPart><dcterms:hasPart xml:lang="en">http://hdl.handle.net/10550/16890</dcterms:hasPart><dcterms:hasPart xml:lang="en">http://hdl.handle.net/10550/16891</dcterms:hasPart><dcterms:hasPart xml:lang="en">http://hdl.handle.net/10550/16892</dcterms:hasPart><dcterms:hasPart xml:lang="en">http://hdl.handle.net/10550/16893</dcterms:hasPart><dcterms:hasPart xml:lang="en">http://hdl.handle.net/10550/16842</dcterms:hasPart><dc:subject xml:lang="es"> robot Industrial; automatización; laboratorio remoto; educación</dc:subject><dc:title xml:lang="es">Incorporación del simulador Robot Studio al entorno docente LABSERVER de programación de robots</dc:title>

</item></dc>

4.- Metadatos

Ejercicio 5:

Describir utilizando dcterms los objetos que tenemos en el repositorio

4.- MetadatosEsquemas de metadatos descriptivos: MODS

Metadata Object Description Schema

• Basicamente MARC21 reducido y expresado en XML• Etiquetas textuales en lugar de numéricas• Estructura jerárquica en lugar de plana• Más información en http://www.loc.gov/standards/mods• Espacio de nombres: xmlns:mods=http://www.loc.gov/mods/v3• Ejemplo:

<originInfo> <place> <placeTerm type="code" authority="marccountry">nyu</placeTerm> <placeTerm type="text">Ithaca, NY</placeTerm> </place> <publisher>Cornell University Press</publisher> <copyrightDate>1999</copyrightDate></originInfo>

4.- Metadatos

<?xml version="1.0" encoding="iso-8859-1"?><modsCollection xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://www.loc.gov/mods/v3" xsi:schemaLocation="http://www.loc.gov/mods/v3 http://www.loc.gov/standards/mods/v3/mods-3-3.xsd">

<mods version="3.3"> <titleInfo> <title>At Gettysburg, or, What a Girl Saw and Heard of the Battle: A True Narrative</title> </titleInfo> <name type="personal"> <namePart>Alleman, Tillie Pierce [1848-1914]</namePart> </name> <typeOfResource>text</typeOfResource> <originInfo> <place> <placeTerm type="text">New York</placeTerm> </place> <publisher>W. Lake Borland</publisher> <dateIssued keyDate="yes" encoding="w3cdtf">1889</dateIssued> </originInfo> <physicalDescription> <internetMediaType>text/html</internetMediaType> <digitalOrigin>reformatted digital</digitalOrigin> </physicalDescription> <subject authority="lcsh"> <topic >Gettysburg, Battle of, Gettysburg, Pa., 1863</topic> </subject> <classification authority="lcc">E475.53 .A42</classification> <location> <url usage="primary display" access="object in context"> http://digital.library.upenn.edu/women/alleman/gettysburg/gettysburg.html</url> </location></mods></modsCollection>

Esquemas de metadatos descriptivos: MODS

4.- MetadatosEsquemas de metadatos descriptivos: LOM

Learning Object Metadata

• IEEE (IEEE 1484.12.1 2002 Standard for Learning Object Metadata)• Primer nivel de nueve categorías, cada una con subelementos:

General Educational

Life Cycle Rights

Meta-Metadata Relation

Technical Annotation

Classification

Más información en:http://ltsc.ieee.org/wg12/files/LOM_1484_12_1_v1_Final_Draft.pdf

4.- MetadatosEsquemas de metadatos descriptivos: LOM

<?xml version="1.0" encoding="iso-8859-1"?> <lom:lom xmlns:lom="http://ltsc.ieee.org/xsd/LOM" xsi:schemaLocation="http://ltsc.ieee.org/xsd/LOM http://ltsc.ieee.org/xsd/lomv1.0/lomLoose.xsd"> <lom:general><lom:identifier> <lom:catalog>http://repository-intralibrary.leedsmet.ac.uk/IntraLibrary-OAI</lom:catalog> <lom:entry>oai:com.intralibrary.leedsmet:2280</lom:entry> </lom:identifier> <lom:title> <lom:string language="en">Virtual Maths, Cuboid - Excavation quiz1</lom:string> </lom:title> <lom:description> <lom:string language="en">Interactive simulaton explaining how to calculate cubic capacity of a truck for carrying excavated materials</lom:string> </lom:description> <lom:language>en</lom:language> <lom:keyword><lom:string language="en">ukoer</lom:string></lom:keyword> <lom:keyword><lom:string language="en">Virtual Maths</lom:string></lom:keyword> </lom:general> <lom:technical> <lom:format>application/x-shockwave-flash</lom:format> <lom:size>190852</lom:size> <lom:location>http://repository-intralibrary.leedsmet.ac.uk/IntraLibrary?command=open-preview&learning_object_key=i3605n22801t</lom:location> </lom:technical> <lom:educational> <lom:learningResourceType> <lom:source>LOMv1.0</lom:source> <lom:value>exercise</lom:value> </lom:learningResourceType> <lom:context> <lom:source>LOMv1.0</lom:source> <lom:value>higher education</lom:value> </lom:context> <lom:language>en</lom:language> </lom:educational> </lom:lom>

4.- MetadatosEsquemas de metadatos técnicos: MIX

Metadata for Images in XML

• Colaboración entre LC y NISO Technical Metadata for Digital Still Images Standards Committee

• Representación en XML del diccionario de elementos definido en la norma: NISO Draft Standard Data Dictionary: Technical Metadata for Digital Still Images (version 1.2)

• Puede ser utilizado con otros estándares como METS como parte de un servicio de preservación digital

• Los elementos se agrupan en cinco categorías principales:

Basic digital object information Basic image informationImage capture metadata Image assessment metadataChange history

Más información en: http://www.loc.gov/standards/mix/

4.- MetadatosEsquemas de metadatos técnicos: MIX

<mix xsi:schemaLocation="http://www.loc.gov/standards/mix/mix10/mix10.xsd"><SourceInformation> <SourceType>text document or book</SourceType> <SourceID><SourceIDType>Millenium item number</SourceIDType> <SourceIDValue>i21349307</SourceIDValue></SourceID></SourceInformation><GeneralCaptureInformation> <dateTimeCreated>2011-01-18</dateTimeCreated> <imageProducer>Microfilmaciones Codoñer, S.L.</imageProducer> <captureDevice>Digital still camera</captureDevice></GeneralCaptureInformation><DigitalCameraCapture> <digitalCameraManufacturer>Canon</digitalCameraManufacturer> <DigitalCameraModel><digitalCameraModelName>Eos 1Ds Mark III</digitalCameraModelName> </DigitalCameraModel> <cameraSensor>10'10 MP</cameraSensor> <CameraCaptureSettings> <ImageData>

<exposureTime>1/3.3 seconds</exposureTime><exposureProgram>3</exposureProgram><isoSpeedRatings>100</isoSpeedRatings><exifVersion>2.2.1</exifVersion><brightnessValue>0</brightnessValue><exposureBiasValue>0.0</exposureBiasValue><meteringMode>Multispot</meteringMode><lightSource>Day white fluorescent (N 4600-5400 K)</lightSource><flash>Flash did not fire</flash><focalLength>0.054</focalLength><sensingMethod>1</sensingMethod><autoFocus>Auto Focus Used</autoFocus>

</ImageData> </CameraCaptureSettings></DigitalCameraCapture><ImageProcessing><dateTimeProcessed>2011-01-28</dateTimeProcessed><sourceData>Universitat de València</sourceData></ImageProcessing></mix>

4.- MetadatosEsquemas de metadatos de preservación: PREMIS

PREservation Metadata Implementation Strategies

• Diccionario de elementos para dar soporte a la preservación digital a largo plazo

• Diferentes esquemas de representación en XML para describir:

• El objeto mismo (object), incluyendo identificadores, integridad, información sobre su creación y su relación con otros objetos.

• Eventos (events) asociados con él, tales como su creación y cómo y cuándo ha sido modificado a posteriori.• Agentes (agents) asociados con su preservación (personas, organizaciones, software, etc)• Derechos (rights) asociados con el objeto y los agentes.

Más información en:http://www.loc.gov/standards/premis/v2/premis-2-0.pdf

4.- MetadatosDando unidad, el esquema METS

Metadata Encoding and Transmission Standard (METS)

• Norma para la codificación de metadatos descriptivos, administrativos y estructurales, así como otros datos esenciales para la preservación y recuperación de objetos digitales.

• Se compone de seis módulos (cabecera, metadatos descriptivos, metadatos administrativos, archivos, mapa estructural y comportamiento)

• Cabecera y mapa estructural son obligatorios.

•Los metadatos descriptivos, administrativos y la sección de comportamiento, pueden estar incluidos en el registro METS o de forma externa.

• Más información en: http://www.loc.gov/standards/mets/



• Cabecera: <metsHdr CREATEDATE="2003-07-04T15:00:00" RECORDSTATUS="Complete">

<agent ROLE="CREATOR" TYPE="INDIVIDUAL"> <name>Jerome McDonough</name></agent><agent ROLE="ARCHIVIST" TYPE="INDIVIDUAL"> <name>Ann Butler</name></agent>

</metsHdr>• Metadatos descriptivos: <dmdSec ID="dmd002"> <mdWrap MIMETYPE="text/xml" MDTYPE="DC" LABEL="Dublin Core Metadata">

<xmlData><dc:title>Alice's Adventures in Wonderland</dc:title><dc:creator>Lewis Carroll</dc:creator><dc:date>between 1872 and 1890</dc:date><dc:publisher>McCloughlin Brothers</dc:publisher><dc:type>text</dc:type>

</xmlData> </mdWrap></dmdSec>



• Metadatos administrativos:

<amdSec ID="AMD001"><mdWrap MIMETYPE="text/xml" MDTYPE="MIX" LABEL="MIX">

<mix:CameraCaptureSettings><mix:ImageData><mix:fNumber>14</mix:fNumber><mix:exposureTime>1/3.3 seconds</mix:exposureTime><mix:exposureProgram>3</mix:exposureProgram><mix:isoSpeedRatings>100</mix:isoSpeedRatings></mix:ImageData></mix:CameraCaptureSettings>

</mdWrap></amdSec>



• Archivos:<fileSec><fileGrp ID="VERS1"> <file ID="FILE001" MIMETYPE="application/xml" SIZE="257537" CREATED="2001-06-10"> <FLocat LOCTYPE="URL">http://dlib.nyu.edu/tamwag/beame.xml</FLocat> </file></fileGrp>

<fileGrp ID="VERS2"> <file ID="FILE002" MIMETYPE="audio/wav" SIZE="64232836" CREATED="2001-05-17" GROUPID="AUDIO1"> <FLocat LOCTYPE="URL">http://dlib.nyu.edu/tamwag/beame.wav</FLocat> </file></fileGrp>

<fileGrp ID="VERS3" VERSDATE="2001-05-18"> <file ID="FILE003" MIMETYPE="audio/mpeg" SIZE="8238866"

CREATED="2001-05-18" GROUPID="AUDIO1"> <FLocat LOCTYPE="URL">http://dlib.nyu.edu/tamwag/beame.mp3</FLocat> </file></fileGrp></fileSec>



• Mapa estructural:

<structMap TYPE="logical"><div ID="div1" LABEL="Oral History: Mayor Abraham Beame" TYPE="oral history">

<div ID="div1.1" LABEL="Interviewer Introduction" ORDER="1"><fptr FILEID="FILE001"></fptr>

</div>

<div ID="div1.2" LABEL="Family History" ORDER="2"><fptr FILEID="FILE002"></fptr>

</div>

<div ID="div1.3" LABEL="Introduction to Teachers' Union" ORDER="3"><fptr FILEID="FILE003"></fptr>

</div>

</div></structMap>

4.- Metadatos

Ejercicio 6:

Elaborar un fichero METS para dar unidad al objeto digital complejo que se ha descargado.

4.- MetadatosPerfiles de aplicación de metadatos

Los perfiles de aplicación de metadatos se caracterizan por:

• Pueden basarse en uno o varios esquemas existentes y tomar elementos de varios de ellos, pero no puede crear elementos nuevos.

• Si fuera necesario crear elementos nuevos sería necesario crear un esquema nuevo y asegurarse el mantenimiento del mismo.

• Se pueden especificar valores específicos para un elemento particular. Por ejemplo se puede especificar un vocabulario controlado para algún elemento o formatos concretos para fechas, etc.

Un perfil de aplicación debe indicar los esquemas en los que se basa y una relación de los elementos que utiliza con la descripción de los mismos.


La descripción de cada uno de los elementos puede ser más o menosdetallada pero es recomendable consignar al menos los siguientes datos:

• Identificador del elemento. El nombre dado al elemento tal y como va a figurar en la base de datos

• Etiqueta. Un nombre asociado al identificador destinado a ser interpretado por una persona.

• Definición. Especifica el tipo de información requerida por el elemento que se está describiendo. En la mayor parte de los casos se tratará de la misma definición que se aporta en el esquema del que se toma el elemento.

• Obligación. Indica si el elemento debe ser incluido o puede ser omitido. En general una obligación se puede especificar con alguno de los siguientes tres valores: Obligatorio (siempre debe ser incluido aunque haya que crear valores específicos en caso de no existir la propiedad), Requerido si existe (se debe incluir si la propiedad existe) y Opcional (no es obligatorio).

• Repetible. Indica si se debe usar un valor único o múltiple para el elemento.

• Tipo de datos. Establece listas de términos o códigos de clasificación de la que se van a extraer los valores del elemento

• Mapeo al esquema correspondiente.


Ejemplos de perfiles de aplicación:

• OhioLINK Digital Media Center (DMC) Metadata Application Profile. http://silver.ohiolink.edu/dms/dmccontribution/DMC_AP.pdf

• Learning Resource Exchange Metadata Application Profilehttp://lre.eun.org/sites/default/files/docs/LREMAPv4p5p2w.pdf

• Repositori de Preservació digital de la Biblioteca de Catalunya : Informe descriptiu i de situació.

http://www.recercat.net/handle/2072/97251

4.- Uso de metadatos en las colecciones del SBD

4.- Uso de metadatos en las colecciones del SBD ¿Qué es RODERIC?

RODERIC (Repositori d'Objectes Digitals per a l'Ensenyament, la Recerca i la Cultura) es el repositorio de acceso abierto de la Universitat de València.

RODERIC se concibe como una ventanilla única para el acceso y la difusión de la producción digital de la Universitat. Servirá como plataforma para su distribución en agregadores de contenidos tales como: Recolecta, Dialnet, BASE, etc.

RODERIC responde al compromiso de la Universitat con el movimiento de acceso abierto al conocimiento adquirido con su adhesión a la Declaración de Berlín (30 Septiembre de 2008).

RODERIC es fruto de la integración de varias iniciativas llevadas a cabo por personal y servicios de la Universitat:

producción de materiales y recursos para la docencia y el aprendizaje localización, difusión y preservación de materiales de investigación patrimonio cultural: fondo antiguo digitalizado de la Biblioteca

La gestión, mantenimiento y preservación del material depositado en RODERIC es responsabilidad del Servicio de Bibliotecas y Documentación en estrecha colaboración con el Servicio de Informática.

4.- Uso de metadatos en las colecciones del SBD Proceso de carga de metadatos en RODERIC

SOMNI

MMedia

MediaUni

TDX

MARC

CSV

OAI_DC

CSV

dcterms

dcterms

dcterms

dcterms

porCada registro en fuente obtener firma (MD5 checksum) obtener id en fuente si el id es nuevo convierte y AÑADE registro a DSpace de lo contrario si firma id actual = firma id anterior registro no modificado de lo contrario registro modificado, convierte y MODIFICA registro en DSpace marca id como gestionado almacena firma nuevafin porCada

porCada id si id no marcado como gestionado registro no en fuente actual BORRAR registro en DSpacefin porCada

CREAM

4.- Uso de metadatos en las colecciones del SBD Ejemplos de registros en RODERIC

Introducidos por CREAM: http://roderic.uv.es/handle/10550/16893?show=full

Procedente de TDX: http://roderic.uv.es/handle/10550/14911?show=full

Procedente de MediaUni: http://roderic.uv.es/handle/10550/18026?show=full

Procedente de MMedia: http://roderic.uv.es/handle/10550/18508?show=full

Procedente de Somni: http://roderic.uv.es/handle/10550/17512?show=full

4.- Uso de metadatos en las colecciones del SBD Tratamiento de objetos complejos en RODERIC

Imágenes masterFichero texto condatos adicionales



MARC21

CONVERSION

dcterms

mets

RODERIC

Visualizadorxslt

Valerii Maximi De Dictis et Factis Memorabilius

uv_ms_0612

José Manuel [email protected]

Documents

Introducción a los metadatos para las colecciones digitales José Manuel Barrueco