Upload
pn2006
View
8
Download
0
Embed Size (px)
DESCRIPTION
Claves para mitigar el riesgo en una migración de datos
Citation preview
Claves para Mitigar el Riesgo en una Migración de Datos
Guía editada por
Tabla de contenidos
0. Introducción
1. En qué circunstancias se debe tener en cuenta una migración de datos
2. Entender las estructuras de datos
3. Conocer el contenido de una base de datos
4. Aplicar procesos de calidad de datos I: investigar
5. Aplicar procesos de calidad de datos II: estandarizar
6. Aplicar procesos de calidad de datos III: emparejar
7. Aplicar procesos de calidad de datos IV: supervivencia
8. Aplicar procesos de integración
9. La conversión de los datos en un proceso de migración
10. Archivar históricos de baja probabilidad de uso
11. Soluciones de migración: las claves
2 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
0. Introducción
Cuando una organización se plantea la migración de un sistema antiguo a uno nuevo, ya se trate
de un ERP, un CRM, un sistema de producción, un gestor de campañas u otros; siempre existe
una etapa del proyecto que suele menospreciarse. Esa fase es la de la mover los datos hacia el
nuevo sistema: la migración de datos en sí.
Muchas veces no se migra todo el histórico, sino que sólo se mueven datos más recientes pero,
aún así, es vital rescatarlos del sistema antiguo, para poder disponer de ellos cuando se
necesiten, asegurando su completitud e integridad aunque no sigan vigentes en el nuevo sistema.
Ésta será la única manera de garantizar un trasfondo de calidad y confiabilidad en la toma de
decisiones empresariales.
Toda migración implica integración y calidad. Los fallos más frecuentes que suelen producirse en
una migración de datos tiene que ver con estas cualidades y repercuten en cuestiones como:
Errores de perfilado de datos, que causan problemas en la calidad y provocan retrasos en el
plazo de entrega del proyecto de migración.
Especificaciones inexactas o incompletas originadas por la falta de profundidad en el mapeo,
ausencia de validaciones o lejanía respecto a las reglas de negocio.
Subestimación de la criticidad de un proyecto de este tipo, que deriva en una inadecuada
asignación de recursos, falta de planificación o carencia de las herramientas y perfiles necesarios
para llevar a cabo la migración de datos con éxito.
3 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Créditos fotográficos: "Global Computer " by renjith krishnan
Migración de datos y optimización
Optimizar es la opción más indicada y debe tenerse en cuenta desde el principio, desde el
momento en que se plantea la necesidad de llevar a cabo una migración de datos. Cuando la
planificación tiene este alcance es fácil prever:
La necesidad de conectar con el sistema antiguo y llevar a cabo procesos de migración
reutilizables y automáticos que permitan, por ejemplo, utilizar el proceso de migración en más de
una ocasión. Los escenarios más comunes son los entornos de desarrollo, test y producción.
Que a lo largo del proyecto de migración habrá momentos en que los dos sistemas tendrán que
coexistir o relevarse. En ambas opciones el uso de la tecnología es básico para alcanzar
objetivos.
El time to market y los costes estimados, para lo que hay que descubrir, conocer y comprender
todos los datos intervinientes en el proceso, evitando así las situaciones inesperadas que
pudieran afectarles.
En cualquier caso, el mayor esfuerzo ha de concentrarse siempre en los procesos de extracción,
transformación y carga, que constituyen el núcleo de toda migración de datos y pueden
resumirse así:
4 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Extracción: desde la fuente de origen hasta el área intermedia, creada a la imagen de aquella.
Calidad: que es el momento de aplicar los procesos que, después de varias iteraciones,
permitirán estar en disposición de garantizar la integridad y confiabilidad de los datos, tras haber
eliminado errores e inconsistencias.
Transformación: cuando los datos han sido enriquecidos, homogeneizados y se encuentran
limpios, están ya preparados para comenzar a aplicar sobre ellos los procesos evolutivos que, en
base a las funciones que representarán y a las reglas de negocio, los dejarán en condiciones de
ser cargados.
Carga: desde ese área donde los datos han sido preparados se procederá a su carga al sistema
de destino en el modo y formato adecuados.
5 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
1. En qué circunstancias se debe tener en cuenta una migración de datos
Los escenarios de migración de datos tienen en común que siempre existe un elemento o
circunstancia nuevo, que aparece impulsando un cambio y obligando a deshacerse de lo antiguo,
ya obsoleto, o carente del dinamismo necesario en este tiempo.
Existen muchas situaciones diferentes en las que es necesario plantear una iniciativa, con entidad
propia, de migración de datos. Algunas de las más comunes son:
Los datos se alojan en estructuras, en campos de tablas sujetos a estructuras que pueden
variar al cambiar de un sistema a otro.
Fusión / absorción de empresas: o se quedan con un sistema o con el otro o compran un
tercero.
Disgregación / disolución de empresas.
Externalización de un departamento de la empresa.
Créditos fotográficos: "Women Hand Pushing Button Streaming Multimedia From Internet" by
SOMMAI
6 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Experiencia en migración de datos
Al ser los datos el valor estratégico más importante para cualquier organización, su
procesamiento, traslado o cualquier modo de interacción con ellos requiere de ciertas mesuras.
Además de contar con el conocimiento y la tecnología necesarios, la pericia es un factor a tener
en cuenta.
Desde la experiencia de Lantares, algunos de los ejemplos que mejor ilustran esas circunstancias
en las que hay que plantearse seriamente la migración de datos como una opción, son:
Caso 1: “Mi DWH está desarrollado en la plataforma Microsoft SQL Server 2000, y Microsoft
acaba de anunciar que deja de dar soporte a dicha versión”…
El cliente se ha visto en la obligación de adoptar una plataforma vigente en el mercado que le
permita disponer del soporte del fabricante. Tras el estudio y benchmarking realizado por el
equipo de Lantares, experto en Information Management, el cliente valoró la opción de adoptar
una tecnología de base de datos distinta a la que venía utilizando. Allí se formalizó el proyecto de
migración del DWH y, en un tiempo récord, su sistema de BI ya estaba atacando el nuevo DWH.
Caso 2: “Llevamos utilizando nuestro CRM desde hace muchos años, pero la dirección nos ha
solicitado disminuir considerablemente los costes de mantenimiento, por lo que hemos planteado
implantar un CRM Open Source”.
El equipo de IT del cliente instala el nuevo CRM y, a la hora de intentar trasladar los datos del
sistema antiguo al nuevo CRM, se da cuenta de que desconoce el modelo de datos de la fuente de
origen y también el del nuevo sistema, lo que impide comenzar a mover los datos. Con la
intervención de Lantares, se formalizó el proyecto de migración de datos del CRM y, en un corto
plazo, les fue posible comenzar a operar con el nuevo CRM.
Caso 3: “Hemos decidido cambiar nuestro ERP, hecho a medida, después de 35 años de uso
ininterrumpido. Los implantadores del nuevo ERP, se ofrecen a trasladar todos los datos de los 35
años de nuestro antiguo sistema al nuevo, pero no se hacen responsables ni del rendimiento del
nuevo ERP (por soportar 35 años de historia), y tampoco de la calidad de los datos.”
El equipo de Lantares, actuó de puente en este caso, definiendo una estrategia de migración, con
procesos de Data Quality y de archiving, Se realizó la migración de datos al nuevo ERP
comprendiendo únicamente los últimos 5 años, por razones prácticas, pero dejando a disposición
del cliente un acceso a los 30 años anteriores, garantizando la calidad de dichos datos.
7 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
2. Entender las estructuras de datos¿Cómo deducir un modelo entidad relación de una base de datos antigua, a la cual debemos
acceder para recoger datos y, posiblemente, migrarlos a otra base de datos? ¿Cuál es la mejor
manera de hallar las conexiones entre ventas, clientes o productos y el modelo de datos
conceptual? ¿Qué modelos se deben tener en cuenta en cada caso?
Lo cierto es que, si se ha de proceder a una migración de datos, es imprescindible conocer el
medio y llegar a descubrir los puntos más específicos como:
Dónde encontrar cada dato.
Qué significa cada campo.
Cuáles son los conceptos que encierra cada término.
El descubrimiento de datos es la fase inicial en todo proceso de migración de datos y la primera
referencia que indica que una migración no es un acto automático, dista mucho de un copiar y
pegar y requiere de un gran trabajo, coordinación, pruebas y un constante seguimiento que vele
por mantener los estándares de calidad y la integridad del dato.
Créditos fotográficos: "Graph On Tablet Computer" by watcharakun
8 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
El descubrimiento de datos
Los técnicos informáticos, DBAs en la mayoría de los casos, suelen apoyarse en herramientas
CASE con capacidades de ingeniería inversa. Éstas hacen posible conectarse a una base de datos
y, automáticamente, dibujar el modelo entidad relación que acusa dicha base de datos, con sus
tablas y relaciones.
Si bien, esta tarea tiene un talón de Aquiles: las limitaciones. ¿En cuántas ocasiones han
aparecido modelos de datos sin constraints (restricciones físicas), en las que la relación entre
tablas se gobierna directamente desde la aplicación que gestiona sus datos?
El desconocimiento de estas restricciones físicas supone un obstáculo importante para el buen
curso de una migración de datos. Por mucho que se conozcan las reglas del negocio, deducir las
relaciones existentes entre los elementos es prácticamente imposible si no se cuenta con los
constraints.
En la actualidad, aunque no han sido muy difundidas, en el mercado existen herramientas con la
capacidad de descubrir el modelo entidad relación de una base de datos, incluso en los casos en
que sus tablas no estén relacionadas por constraints.
Esta capacidad, que permite llevar a cabo el descubrimiento de datos, se sustenta en un motor
de búsqueda que hace posible:
Rastrear los datos contenidos de cada tabla: un paso que no puede obviarse ya que la
exhaustividad es uno de los fundamentos de toda migración.
Vincular cada dato por contenido exacto de campo: haciendo explícitas esas relaciones que no
parecían visibles antes de la intervención de la herramienta.
Descubrir relaciones ocultas (como, por ejemplo, que el código de una transacción de 100
dígitos, lleva embebido dentro de la cadena los 8 dígitos del DNI del emisor).
9 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
3. Conocer el contenido de una base de datos
El proceso intuitivo de conocer el contenido de una base de datos consiste en consultar, una por
una, la totalidad de las tablas que la componen. A priori, puede parecer una técnica apropiada y
una decisión razonable, pero ¿qué comportamiento tiene cada campo de cada tabla? y ¿cómo es
posible anticiparse a conocer el contenido de una base de datos?
El perfilado de datos da respuesta a estas cuestiones y complementa a la etapa de
descubrimiento de datos permitiendo efectuar un análisis que resulte en conclusiones que aporten
información acerca de la calidad de los datos orígenes, su completitud y sus interrelaciones.
Créditos fotográficos: "Circuit Board" by Michelle Meiklejohn
10 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
El perfilado de datos
Es imprescindible tener el conocimiento, no sólo de los datos que recogeremos de la base de
datos antigua en nuestro proyecto de migración, sino también de cómo se comportan. Un ejemplo
claro:
Tomando una tabla de clientes, en la que existe un campo de tipificación “TIP” de un único dígito.
En el barrido general de la tabla, y mediante una primera lectura diagonal, puede apreciarse que,
en general, los valores que adopta son 0 ó 1. Sin embargo, el hecho de no haber perfilado genera
un riesgo, habitual cuando el proceso de conocimiento sólo es humano, que es el de no
contemplar otros valores que pueden adoptarse.
En este mismo ejemplo, el realizar un proceso de perfilado de datos, podría ayudar a conocer
que en esa tabla de clientes también existen:
45% de ocurrencias del campo “TIP” con valor “0”
49% de ocurrencias del campo “TIP” con valor “1”
4% de ocurrencias del campo “TIP” con valor “X”
1% de ocurrencias del campo “TIP” con valor nulo
1% de ocurrencias de campo “TIP” con valor “”
Si no se lleva a cabo el perfilado de datos se corre el riesgo de no conocer y, por tanto, de
prescindir posiblemente de hasta un 6% de datos. Actuar de esta manera incrementa el riesgo a
la vez que reduce drásticamente el índice de calidad. Por ello se considera al perfilado como una
pieza fundamental en los procesos de calidad de datos.
Si bien el perfilado es un método que, con cierto esfuerzo, se podría lograr manualmente, hoy
día no es necesario ejecutarlo de esta forma ya que existe en el mercado una amplia gama de
soluciones que perfilan y documentan resultados de forma automática. Las ventajas principales
de optar por el automatismo, sin perjuicio de contar con el apoyo del propietario del dato, son:
Rapidez.
Evitar errores.
Mayor facilidad a la hora de efectuar el análisis de datos.
11 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
4. Aplicar procesos de calidad de datos I: investigación
Todo proyecto de migración de datos debe poder garantizar la calidad de los mismos. Este
principio impone la aplicación de procesos de Data Quality en cualquier traslación de este tipo. Y
es que la calidad de los datos debe ser una preocupación prioritaria para las organizaciones. De
hecho, la base de la inteligencia de negocio radica en poder operar sobre datos confiables e
íntegros. La ausencia de calidad incide directa, y nefastamente, en este requisito que ha de
preservarse desde el minuto cero de una migración de datos.
La investigación de los datos es una fase muy necesaria en todo proyecto de migración de datos.
Como siempre, obtener información veraz y precisa es fundamental y, para ello, es importante:
Investigar la totalidad de los datos que quedarán sujetos al proceso de migración.
No realizar ningún descarte ni emplear mayores recursos en la investigación de unos datos,
relegando la de otros.
Contar con todos los inputs que sea posible en el curso de la investigación: desde los
propietarios del dato hasta los usuarios que interactuaron con él en algún momento, si se
considera necesario.
Contrastar la información obtenida.
Validar las conclusiones alcanzadas, también en el momento de finalizar la etapa de calidad.
12 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Créditos fotográficos: "Hand Touching Analysis Button" by Stuart Miles
Investigación de datos, calidad y migración
Llevar a cabo, de manera correcta, la investigación de datos que da inicio a un proceso de
migración tiene mucho que ver con la sistematización. Así, en esta etapa, hay que ser capaz de:
Descubrir potenciales anomalías en los datos.
Alcanzar un 100% de visibilidad de los campos de contenido libre.
Identificar valores por defecto e inválidos.
Revelar reglas de negocio indocumentadas.
Garantizar la veracidad de los datos contenidos en los campos que se emplearán para los
criterios de emparejamiento.
Entender los datos en su contexto.
13 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
5. Aplicar procesos de calidad de datos II: estandarización
Las empresas fluyen, adaptándose lo más rápido que les es posible a este entorno de Big Data,
que multiplica el volumen de datos que se adquieren, reduce los tiempos de respuesta esperados
y convierte el procesamiento de datos en una de las claves de BI actual. En este medio tan
heterogéneo, donde confluyen los datos históricos de la empresa, con registros en tiempo real e
información proveniente de las redes sociales; la estandarización es indispensable.
Hablar de estandarización en lo referente a una migración de datos supone ahondar en el
conocimiento del dato, desde la óptica de la lógica y minimizando su parte abstracta para facilitar
su traslado en condiciones de control.
Créditos fotográficos: "Quality Button Represents Excellent Service Or Products" by Stuart Miles
14 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
La estandarización de datos
La estandarización de los datos no obedece a una sola razón, sino que viene motivada por
distintas necesidades que responden a planteamientos que aparecerán a lo largo de todo el
proceso de migración de datos. Estandarizar implica asegurar, en base a los resultados obtenidos
en la fase de investigación, que se han alcanzado las condiciones óptimas en cuanto a:
Incorporación de un lenguaje altamente flexible de reconocimiento de patrones.
Estandarización por dominio específico: por ejemplo, uso de reglas específicas para
nombres y apellidos, direcciones o fechas.
División de los datos por su naturaleza: como nombre y apellidos, tipo de vía, nombre de
calle y número.
Normalización de la escritura de los datos: como, por ejemplo, Pepe=José o
Glez.=González.
Parametrización de tablas de clasificación y estandarización.
15 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
6. Aplicar procesos de calidad de datos III: emparejar
El emparejamiento de datos, también conocido como data matching, busca efectuar una
comparación de los datos que serán objeto de la migración con otros, recogidos en una base de
datos de conocimiento. Para llevar a cabo este cotejo es necesario definir de forma previa un
porcentaje de aceptación que se considere válido. Tomándolo como referencia, podrá
establecerse una política de emparejamiento que marque las directrices a seguir en este proceso.
La importancia de esta técnica es crucial para la calidad de los datos. En otras palabras, aplicar
el matching es necesario, no sólo para obtener un buen resultado en la migración de datos, sino
también para poder confiar en la consistencia e integridad de los mismos, ya finalizado el
proyecto de migración.
Créditos fotográficos: "Cube" by graur razvan ionut
16 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
El data matching en un proceso de migración de datos
Cuando se ponen en práctica las técnicas de emparejamiento de datos, no hay que perder de
vista cuál debe ser su finalidad, que delinea el procedimiento a seguir, consistente en:
Identificar registros posiblemente coincidentes.
Establecer relaciones entre registros de archivos distintos.
Documentarse en tablas de decisión deterministas que han de resultar en un emparejamiento,
porque de lo contrario podrían constituir un fallo o avisar de la detección de un elemento
sospechoso. Las más habituales son:
• Comparación de campos.
• Letter grade assigned.
• Letter grade combination.
• Letter grade assignment to file.
Incluir la probabilística de casación de registros, que se resuelven en la probabilidad estadística
de un emparejamiento,y se lleva a cabo teniendo en cuenta las siguientes reglas:
• Los campos son evaluados por el grado de concordancia.
• La asignación de pesos representará el contenido por valor.
• Se procederá a la suma de pesos para asignar un peso total.
Para que el emparejamiento de datos sea realmente efectivo se debe complementar con la
limpieza de datos. Esta parte del proceso requiere de la definición de estándares en base a los
que poder determinar qué datos se consideran correctos y cuáles no lo son.
17 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
7. Aplicar procesos de calidad de datos IV: supervivencia
Velar por la calidad de los datos es la misión última de la etapa de supervivencia. Para evitar
imprevistos que puedan afectar a cualquiera de los atributos de la calidad del dato es importante
planificar su gestión, articulándola en torno a la implementación de políticas ad hoc.
Estas políticas habrán de basarse en reglas de supervivencia, las cuales, a su vez, se organizarán
a dos niveles:
Nivel de datos de registro.
Nivel de campo.
Su principal función es regular el seguimiento y control de los estándares de calidad,
garantizando que no existen desviaciones y asegurando que, caso de que se produzca alguna, se
puede atajar en un plazo mínimo.
El modo de llevar a la práctica estas normas se basa en tres acciones:
Desarrollo de archivos con claves de referencias cruzadas entre registros.
Producción de informes de excepciones.
Creación de formatos de salida:
• Tabla relación con claves primarias y foráneas.
• Creación de transacciones de actualización.
• Archivos de referencias cruzadas y tablas de sinónimos.
• Trazas y informes de excepciones.
18 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Créditos fotográficos: "The Life Buoy Preserver Isolated On White Background" by cbenjasuwan
Calidad de datos y reglas de supervivencia: cuándo, cómo y por qué
La definición y aplicación de las reglas de supervivencia pone de manifiesto la criticidad del
factor calidad en una migración de datos. Su relevancia es de tal magnitud que la eficiencia de
estas normas puede incluso extrapolarse a entornos operacionales, posteriores al proceso de
extracción, transformación y carga.
La ausencia de planificación en lo concerniente a la supervivencia deja la integridad en una
posición frágil y secundaria, exponiendo su vulnerabilidad, que es la de los datos a que se asocia.
La calidad de los datos, con todo lo que ello implica, debe ser una constante que dé comienzo ya
en los estadios iniciales de la migración. En ese momento, y a través de la planificación, se
produce la primera aproximación, que habrá de prolongarse en el tiempo, más allá del fin del
proceso, extendiendo su efecto a todas las operaciones en las que se produzca interacción con
información y ampliando su protección a todos los niveles de la organización.
19 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
8. Aplicar procesos de integración
Una migración de datos no es tan solo un traslado, no es una operación sencilla de movimiento
de datos, sino que se trata de un proceso que se verá condicionado por las discrepancias de
estructuras de datos entre el origen y el destino. La heterogeneidad de las fuentes, su número y
tamaño, la complejidad de las relaciones existentes y la dificultad del análisis hacen
imprescindible prever procesos de integración.
Para definir correctamente un proceso de integración de datos hace falta hacerse tres preguntas,
cada una de las cuales se refiere a una de las fases críticas de toda dinámica de integración de
datos:
¿A dónde y de qué modo se debe ir a buscar los datos?
¿Cómo hay que realizar la transformación para poder aunarlos y adecuarlos al destino?
¿Cuál es la mejor forma de volcarlos en destino?
Créditos fotográficos: "Jigsaw Pieces Being Joined Shows Teamwork And Assembling" by Stuart Miles
20 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Procesos ETL en la migración de datos
La respuesta a estas tres cuestiones define el proceso de extracción, transformación y carga que,
aplicada a una migración de datos, podría resumirse:
Extracción: se trata de tomar los datos de sus fuentes de origen mediante prácticas invasivas o
abstractas. Las primeras, que son las más habitualmente empleadas, consisten en plantear los
procesos de extracción atacando de forma directa a los orígenes de datos, para proceder al
siguiente paso (transformación) en la misma operación. La práctica abstracta, por el contrario,
busca generar una independencia a través de ficheros. Ello implica que desde los sistemas origen
se generarán ficheros de datos (pueden ser ficheros de texto plano, csv, o incluso xml), que
serán posteriormente depositados en un recurso compartido para su transformación y carga.
Transformación: esta etapa persigue lograr el nivel óptimo de adecuación de los datos a
destino. para ello es necesario actuar sobre ellos, realizando operaciones como: cambios de
formato, uniones o normalizaciones. Es fundamental que cualquier conversión que se realice
tenga en cuenta la configuración, tanto de la fuente de origen de los datos como del sistema de
destino, sin obviar en ningún momento las reglas de negocio.
Carga: es el volcado de los datos ya procesados a las estructuras finales la nueva base de
datos. A la hora de escoger una estrategia de carga, suele primar la selección de la total (carga
inicial total de los datos) frente a la incremental (carga parcial de los datos nuevos desde última
carga).
21 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
9. La conversión de los datos en un proceso de migración
La fase de transformación, el momento en que se lleva cabo la conversión de los datos, persigue
prepararlos para llegar a la fase carga en condiciones óptimas. Se trata de minimizar el riesgo y,
por ello, la ejecución de todos los pasos que comprende esta etapa se considera de importancia
crítica. Contar con las garantías necesarias implica evitar:
Faltas de precisión.
Incorrecciones, lagunas y duplicidades.
Errores de otros tipos.
La migración de datos puede venir motivada por la fusión de dos empresas, por el paso de un
sistema antiguo a uno más moderno o por el inicio de una relación de outsourcing, entre otras.
Sea cual sea el origen de la necesidad, la finalidad es siempre poder disponer del valor que los
datos encierran, en condiciones de integridad, veracidad y completitud, para que su usabilidad no
se vea perjudicada por el traslado sino, en todo caso, enriquecida.
22 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Créditos fotográficos: "Computer Network" by jscreationzs
Transformación con garantías
Durante la transformación se deben evitar, en la medida de lo posible, las interacciones
manuales con los datos. Hay que priorizar la automatización, por su objetividad, exhaustividad y
rapidez; y por ello, en el momento de producirse la transformación de los datos se deben tomar
decisiones que afectarán invariablemente a toda la migración y sus resultados. En este sentido,
es necesario:
Actuar con garantías de calidad.
Conocer las reglas de negocio.
Contar con el asesoramiento de los propietarios de los datos.
Comprender cuáles son los requerimientos de los datos en destino.
Sin embargo, la experiencia en procesos de este tipo plantea otras necesidades, que deben ser
tenidas en cuenta si se quiere culminar con éxito esta etapa de conversión. Los requisitos
mencionados aluden al modo y momento de efectuar las transformaciones.
La forma correcta de hacerlo es actuando sobre datos reales, provenientes del entorno operativo
23 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
y haciéndolo de manera temprana. Al introducir las conversiones con premura se consigue una
referencia de gran valor para la planificación de las etapas posteriores y para las tareas de
control. La última precisión a tener en cuenta tiene que ver con el ritmo de conversión, que ha de
procurar mantenerse lo más elevado posible y en constante actualización, para que, a través de
sus repeticiones, se alcance una desviación mínima y un ajuste idóneo.
24 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
10. Archivar históricos de baja probabilidad de uso
El proceso de carga puede verse impactado en algunos casos, a pesar de que todo el proyecto de
migración de datos haya transcurrido según lo previsto. Generalmente, cuando la carga se ve
afectada suele ser por la presencia de un volumen considerable de datos históricos que tienen en
común la antigüedad de su origen y su bajo índice de uso.
En estos casos, al definir la estrategia de migración se establece el traslado de los datos más
recientes a destino y el archivo los históricos en un ámbito diferente. El modo de llevar a cabo
esta solución, en la práctica, implica optar entre dos técnicas que permiten completar el proceso
de migración actuando de esta forma:
Subsetting: esta técnica se basa en filtrar la información antigua para proceder a alojarla en
otro ámbito, cargando en la nueva base de datos únicamente los datos vigentes.
Archiving: consiste en alojar la información antigua en medios de almacenamiento móvil de bajo
coste, como un disco duro externo o un dispositivo USB, vinculando el medio de almacenamiento
elegido, de forma lógica, a la nueva base de datos.
Créditos fotográficos: "Folder Search" by jscreationzs
25 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Las ventajas del archivo separado de históricos
Cualquiera que sea la técnica empleada, separar los registros históricos de baja probabilidad de
uso en una ubicación diferente a los más recientes conlleva muchos beneficios, tanto para el
usuario como para la base de datos:
La nueva base de datos podrá ser más ligera por no contener información histórica “pesada”.
Las búsquedas serán más rápidas.
A pesar de que la nueva base de datos ha quedado libre de ese contenido antiguo, siempre
existirá un vínculo que la una al archiving y a los datos allí almacenados.
De cara al usuario de aplicaciones o base de datos, en caso que se quisiera consultar un dato
histórico (de baja probabilidad de uso) el archiving redireccionará la consulta al almacenamiento
móvil escogido, devolviendo el dato histórico.
Antes de poner en práctica cualquier de las técnicas expuestas, es necesario identificar la
probabilidad real de uso de información antigua y su frecuencia, dado que si ésta es muy
elevada, se recomienda no hacer el subsetting ni el archiving para no penalizar el tiempo de
respuesta del usuario. En esos casos habría que proceder al tratamiento de esos datos en
condiciones idénticas a cualquiera de los otros sujetos a la migración.
26 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
11. Soluciones de migración: las claves
Llevar a cabo un proceso de migración de datos puede suponer más complicaciones de lo que se
tenía previsto: retrasos en los plazos de entrega, errores de limpieza en los datos o aumento de
los costes estimados de proyecto, son algunos de los más frecuentes. Muchos de ellos pueden
resolverse optando por la tecnología adecuada y dejándose guiar por expertos en la materia, que
sean capaces de probar su experiencia en este campo.
El factor que comprende mayor criticidad es la integración. En esta fase es necesario haber
hecho la elección de tecnología adecuada, ya que ésta ha de permitir:
Asignar los recursos necesarios para profundizar al máximo en la etapa de perfilado de datos.
Procurar que la limpieza de datos sea efectiva, completándose con la estandarización y
eliminando duplicidades.
Conocer y comprender los sistemas de origen y destino y sus necesidades, para que la
transformación y carga de los datos se pueda llevar a cabo en el momento preciso y del modo
adecuado.
De forma complementaria, siempre es interesante tener la capacidad de acceder de manera
nativa a las fuentes origen, como también lo es el disponer de la autonomía suficiente como para
que los propietarios del dato puedan resolver y gestionar datos de referencia por su cuenta,
dejando al Departamento de IT al margen.
27 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Créditos fotográficos: "Success Concept" by renjith krishnan
Cómo optimizar una migración de datos
Las claves de una migración de datos exitosa se resumen en una ejecución libre de riesgos y
minimizando costes, que culmina en una consecución ágil y dentro de plazo. Algunos de los
medios que hacen posible alcanzar estos objetivos tienen que ver con:
Disponer de áreas de staging, área intermedia y de pre carga: para, gracias a las dos
primeras, poder operar con datos reales actualizados y, además, cualificarlos cuando sea
necesario, garantizando su limpieza, armonización y enriquecimiento. Y utilizando el área de pre
carga para validar los datos, sometiéndolos a ciclos de pruebas antes de proceder a su carga en
destino.
Procurar la flexibilidad y minimizar las necesidades de mantenimiento, utilizando tablas de
referencia y los parámetros necesarios en cada caso.
Definir estándares en base a un diseño por módulos que permita desarrollar procesos simples y
de menor volumen, ganando en agilidad y reduciendo costes.
28 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+
Lantares Lantares, IBM Premier Business Partner, es una consultora 100% española nacida en 2003 fruto de la alianza de
diversos especialistas en consultoría. En la actualidad, Lantares es líder en la implantación de soluciones
estratégicas y Gestión de la Información, en entorno onpremise y cloud.
Cerca de 200 clientes y 6.000 usuarios finales confían en la experiencia y el conocimiento de negocio de su equipo
de consultores.
Fundamentos de la estrategia de Lantares:
• La Innovación.
• La satisfacción de nuestros clientes.
Para más información y contacto: [email protected]
Lantares Europe SL BarcelonaC. Constitució 1, 5º4ª08960 Sant Just DesvernTel: +34 93 470 60 00
Lantares Europe SL MadridC. Alcalá 492, 2ª planta 28027 MadridTel: +34 91 828 40 46
Lantares Europe SL SevillaAvda. Reino Unido 11, 3º MOD1.241013 Sevilla Tel: +34 95 526 59 55
Lantares Europe SL PortugalAvda. de la Republica 6, 7º esq 1050191 Lisboa
29 Claves para mitigar el riesgo en una migración de datos Compártelo en Twitter, Facebook, LinkedIn, Google+