Entender la migración de datos: Estrategia y mejores prácticas

Los big data son el motor de la mayoría de empresas modernas y no descansan nunca. Esto significa que la integración de datos y la migración de datos deben ser procesos bien pensados e impecables, tanto si los datos migran de entradas a un data lake, de un repositorio a otro, de un almacén de datos a un data mart, como si se encuentran o transitan por la cloud. Sin un plan de migración de datos competente, las empresas pueden pasarse de presupuesto, acabar con procesos de datos abrumadores o descubrir que sus operaciones de datos están funcionando por debajo de sus expectativas.

¿En qué consiste la migración de datos?

La migración de datos es el proceso por el que se trasladan datos de un sistema a otro. Si bien puede parece bastante fácil, supone un cambio de almacenamiento y base de datos o aplicación.

En el contexto del proceso de extracción/transformación/carga (ETL), cualquier migración de datos englobará cuando menos las etapas de transformación y de carga. Esto significa que los datos extraídos tendrán que pasar por una serie de funciones de preparación, tras las cuales podrán cargarse en la ubicación que les está destinada.

Las organizaciones efectúan migraciones de datos por distintos motivos. En ocasiones tienen que revisar todo un sistema, actualizar bases de datos, crear un almacén de datos nuevo o fusionar nuevos datos procedentes de una adquisición o alguna otra fuente. La migración de datos también es necesaria al desplegar otro sistema que deba convivir con aplicaciones previas.

Download Why Your Next Data Warehouse Should Be in the Cloud now.
Download Now

La importancia de una estrategia de migración de datos

Sea cual sea la finalidad exacta de la migración, el objetivo suele ser reforzar el rendimiento y la competitividad.

Pero debe hacerse correctamente.

Si una migración no es adecuada, puede conllevar la presencia de datos inexactos que contengan redundancias y valores desconocidos. Esto puede ocurrir incluso cuando los datos originales sean completamente utilizables y apropiados. Además, si existía alguna incidencia en los datos originales, esta puede ser ampliarse al incorporarla a un nuevo sistema más sofisticado.

Una estrategia de migración completa evita una experiencia deficiente que acabe generando más problemas de los que resuelve. Además de saltarse plazos de entrega y superar lo presupuestado, unos planes incompletos pueden provocar el fracaso general de los proyectos de migración. Al planificar y elaborar la estrategia del trabajo, los equipos deben prestar toda su atención a las migraciones en lugar de subordinarlas a otros proyectos de mayor alcance.

Un plan de migración de datos estratégico debería contemplar los siguientes factores críticos:

  • Conocimiento de los datos: antes de la migración, los datos de la fuente deben someterse a una auditoría exhaustiva. Si este paso se omite, pueden producirse incidencias inesperadas.

  • Limpieza: una vez identificada cualquier posible incidencia con sus datos de origen, es necesario resolverla. Para ello podrá ser necesario el uso de herramientas de software y recursos externos dada la magnitud de la tarea.

  • Mantenimiento y protección: los datos se degradan con el tiempo, por lo que pierden su fiabilidad. Por este motivo deben realizarse controles para conservar la calidad de los datos.

  • Gobernanza: el seguimiento y la información sobre la calidad de los datos son importantes puesto que nos ayudan a entender mejor la integridad de nuestros datos. Los procesos y herramientas que se emplean para producir esta información deberían permitir un uso amplio y automatizar cuantas funciones sea posible.

Además de un procedimiento estructurado y escalonado, un plan de migración de datos debería contemplar un proceso de integración del software y las herramientas adecuados al proyecto.

Watch How to Use Machine Learning to Scale Data Quality now.
Watch Now

Estrategias de migración de datos

No existe una única forma de elaborar una estrategia de migración de datos. Las necesidades y los requisitos comerciales concretos de cada organización determinarán la opción más adecuada. No obstante, la mayor parte de estrategias encajan en una de dos categorías: "Big Bang" o "goteo".

Migración de "Big Bang"

En una migración de datos tipo "Big Bang", se ejecuta toda la transferencia dentro de una franja de tiempo limitada. Los sistemas conectados quedan inactivos mientras se someten los datos a procesos de ETL y se trasladan a la nueva base de datos.

El atractivo de este método radica, sin duda, en que todo sucede durante un único trámite acotado en el tiempo, que es relativamente breve. Sin embargo, puede generar mucha presión, dado que el negocio se ve obligado a funcionar desconectando uno de sus recursos. La implantación puede verse comprometida.

Si el enfoque "Big Bang" es el más adecuado para su empresa, vale la pena revisar todo el proceso de migración antes de llevarlo a la práctica.

Migración "de goteo"

Por contra, las migraciones de goteo efectúan el proceso por fases. Durante la aplicación, el sistema antiguo y el nuevo se ejecutan en paralelo, lo que evita la inactividad y las interrupciones operativas. Los procesos que se ejecutan en tiempo real pueden permitir la migración continua de los datos.

En comparación con el enfoque tipo "Big Bang", estas implantaciones pueden tener un diseño bastante complejo. No obstante, esa complejidad añadida (si se ejecuta correctamente) suele reducir riesgos en lugar de incorporarlos.

Mejores prácticas en materia de migración de datos

Sea cual sea el método de implantación que siga, existen varias mejores prácticas que debe tener en cuenta:

  • Haga una copia de seguridad de los datos antes de la ejecución. En caso de que ocurra algún problema durante la implantación, no puede permitirse perder datos. Asegúrese de que disponga de recursos de reserva y de que se hayan comprobado antes de proceder.

  • No se desvíe de su estrategia. Son muchos los gestores que elaboran un plan y luego lo abandonan cuando el proceso avanza "demasiado" bien o cuando las cosas se descontrolan. El proceso de migración puede ser complicado e incluso frustrante en ocasiones, así que esté preparado para esa posibilidad y siga el plan a pies juntillas.

  • Realice pruebas, pruebas y más pruebas. Durante las fases de planificación y diseño, y a lo largo de la implantación y el mantenimiento, verifique la migración para asegurarse que al final obtenga los resultados deseados.

Seis pasos esenciales para su estrategia de migración de datos

Cada estrategia será distinta en los particulares en función de las necesidades y los objetivos que tenga la organización, pero en general un plan de migración de datos debería seguir un patrón compartido y reconocible:

1. Examine y valore la fuente

Antes de migrar datos, debe conocer (y entender) qué está migrando y cómo encaja en el sistema de destino. Hágase una idea de la cantidad de datos que extraerá y en qué consisten.

Puede tratarse de datos con muchos campos y quizá algunos no hará falta trasladarlos al sistema final. También es posible que existan campos de datos incompletos en una fuente que tendrán que beber de otra ubicación para colmar esas lagunas. Pregúntese qué datos deben migrarse, de cuáles puede prescindir y qué tipo de ausencias puede encontrar.

Además de cumplir unos requisitos para trasladar los campos de datos, ejecute una auditoría de los datos actuales que contengan. Si hay campos mal rellenados, muchos datos incompletos, inexactos u otros problemas, a lo mejor tendrá que replantearse si vale la pena migrar esos datos.

Si una organización se salta este paso de comprobación de la fuente y da por hecho que entiende bien los datos, el resultado podría ser una pérdida de tiempo y dinero. O peor, la organización podría experimentar un fallo crítico del mapeo de datos que detendría de raíz el más pequeño progreso.

2. Defina y diseñe la migración

La fase de diseño es cuando las organizaciones definen el tipo de migración que asumirán: de "Big Bang" o de goteo. Asimismo, deben extraer la arquitectura técnica de la solución y detallar los procesos de migración.

Al plantearse el diseño, los datos a extraer y el sistema de destino, puede empezar a definir plazos y aspectos complicados del proyecto. Una vez terminado este paso, debería documentarse el proyecto en su totalidad.

Durante la planificación es importante pensar en planes de seguridad para sus datos. Los datos que deban protegerse deberían disponer de medidas de protección integradas en todo momento del plan.

3. Construya la solución de migración

Puede resultar tentador enfocar la migración con un desarrollo de mínimos. Sin embargo, como tan solo ejecutará una implantación cada vez, es importante acertar y hacerlo correctamente. Una táctica común consiste en dividir los datos en subconjuntos e ir creando una categoría cada vez, realizando una prueba después de cada caso. Si una organización trabaja en una migración especialmente voluminosa, quizá lo lógico sería construir y comprobar en paralelo.

4. Realice una prueba en vivo

El proceso de pruebas no ha terminado una vez verificado el código durante la fase de construcción. Es importante verificar el diseño de la migración con datos reales para garantizar la precisión de la implantación y la totalidad de la aplicación.

5. Darle al interruptor

Tras las últimas pruebas, ya puede procederse a la implantación utilizando el estilo definido en el plan.

6. Audite

Una vez la implantación ya esté disponible para todos, configure un sistema para auditar los datos y asegurar así la precisión de la migración.

Software de de migración de datos

La construcción de herramientas de migración de datos desde cero y su programación manual es un tema complicado que requiere mucho tiempo. Las herramientas de datos que simplifican la migración son más eficientes y rentables. Cuando se ponga a buscar una solución de software, le interesa que su proveedor presente estas características:

  • Conectividad: ¿la solución es compatible con los sistemas y el software que utiliza actualmente?
  • Escalabilidad: ¿cuáles son los límites del software en materia de datos y es posible que sus necesidades los rebasen en un futuro cercano?
  • Seguridad: dedique tiempo a investigar las medidas de seguridad de la plataforma de software. Sus datos es uno de sus recursos de mayor valor, con lo que deben estar siempre protegidos.
  • Velocidad: ¿a qué velocidad pueden tratarse los datos en la plataforma?

Migración de datos a cloud

Cada vez más las organizaciones migran parte o la totalidad de sus datos a una cloud con el fin de incrementar la velocidad de llegada al mercado, mejorar la escalabilidad y rebajar la necesidad de recursos técnicos.

Watch Migrating to a Cloud Data Warehouse Architecture with AWS Redshift now.
Watch Now

Antes los arquitectos de datos tenían que desplegar enormes torres de servidores localmente para conservar los datos en los recursos físicos de la organización. En parte, el motivo de haber continuado tanto tiempo con servidores ubicados en la empresa era porque la seguridad cloud generaba preocupación. No obstante, a medida que las grandes plataformas adoptan prácticas de seguridad y se equiparan a la seguridad informática tradicional (cumpliendo, como no podría ser de otra forma, con el RGPD), esta barrera para la migración ha quedado generalmente superada.

Las herramientas de integración cloud adecuadas permiten a los clientes acelerar sus proyectos de migración de datos a cloud con una plataforma de integración como servicio (iPaaS) cloud segura y muy escalable. El paquete de herramientas de integración de datos nativas para cloud de código abierto de Talend presenta funcionalidad de arrastrar y soltar para simplificar los mapeos complejos y, gracias a una buena base de código abierto, nuestra solución es rentable y eficiente.

Cómo empezar con la migración de datos

Si su organización está actualizando sus sistemas, da el salto a la cloud o está consolidando sus datos, tarde o temprano tendrá que ejecutar una migración de datos. Se trata de un proyecto importante y de calado, y la integridad de sus datos exige que se realice correctamente.

La plataforma de Talend incluye herramientas de datos de código abierto y gratuitas que simplifican todos los pasos de un proceso de migración de datos, desde la preparación a la integración, pasando por los flujos de datos continuos. Empiece su migración de datos conociendo el software que le permitirá llevar a buen puerto su proyecto.

| Last Updated: junio 11th, 2019