Transcript
ESPECIALIZACION TECNOLOGICA EN GESTION Y SEGURIDAD
EN BASE DE DATOS
PLAN DE MIGRACIÓN DE DATOS PARA SAN ANTONIO DEL SENA
MODULO EJECUCION
SENA
2016
INTRODUCCION
Para escoger la estrategia de migración, se realizó un análisis detallado, teniendo
en cuenta las directrices del sistema, especialmente en lo referente a mantener la
integración de la funcionalidad y de los datos, así como las expectativas de los
usuarios respecto a la información activa e histórica, la facilidad de operación y de
consulta, la viabilidad técnica y las restricciones del Proyecto.
La estrategia tecnológica escogida para el desarrollo de la migración es la
implementación de ambientes separados de diseño y ejecución. Con esta opción
existe un repositorio que almacena definiciones de metadatos para objetos como
fuentes, destinos, y procesos de extracción, transformación y carga a los cuales
tienen acceso los usuarios a través del Centro de Diseño .
TECNICA Y ESTRATEGIA A UTILIZAR
La herramienta escogida para el proceso de migración de datos determina la
arquitectura tecnológica a implementar. A continuación se describen los principales
componentes de la arquitectura y la opción de implementación escogida.
Pentaho Data Integration
Pentaho Data Integration proporciona un enfoque declarativo de ETL donde se
especifica qué hacer en lugar de como hacerlo. Incluye una biblioteca de
transformación con más de 70 objetos de mapeo. En incluye la capacidad de
almacenamiento de datos para cambiar lentamente y basura Dimensiones. Incluye
soporte para múltiples fuentes de datos, incluyendo más de 25 plataformas de
código abierto y de base de datos , archivos planos, documentos de Excel, y
mucho más. La arquitectura es extensible con un mehcanism plug-in.
Integración de datos
. La plataforma ofrece, "análisis listos" datos precisos a los usuarios finales de
cualquier fuente. Con las herramientas visuales para eliminar la codificación y
complejidad, Pentaho pone de datos grandes y todas las fuentes de datos en las
yemas de los dedos de las empresas y los usuarios de TI.
El Centro de Diseño es la interfaz de usuario que se utiliza en el diseño,
administración, programación y despliegue de procesos para mover y transformar
los datos. Todos los metadatos asociados con el trabajo hecho en el Centro de
Diseño se almacenan en el repositorio.
CARACTERRISTICAS DE LA HERRAMIENTA
INTEGRACIÓN DE DATOS GRANDE CON CERO CODIFICACIÓN
OBLIGATORIO
Herramientas intuitivas de Pentaho aceleran el tiempo que se necesita para
diseñar, desarrollar y desplegar análisis de datos grandes en hasta 15x.
Grandes herramientas de integración de datos visuales completas eliminan
la codificación en SQL o escribir funciones MapReduce Java.
Amplia conectividad a cualquier tipo o fuente de datos con soporte nativo
para Hadoop, NoSQL y bases de datos analíticos.
Motor de procesamiento paralelo para garantizar un alto rendimiento y
escalabilidad empresarial.
Extraer y combinar los datos existentes y diversos para producir uniformes
y de alta calidad listos para analizar los datos.
SIMPLE DISEÑADOR VISUAL DE ARRASTRAR Y DESARROLLO GOTA
Empoderar a los desarrolladores con herramientas visuales para minimizar la
codificación y lograr una mayor productividad.
Extracción, transformación y carga gráfica (ETL) herramienta para cargar y
fuentes de datos grandes de proceso en formas familiares.
Rich librería de componentes pre-construidos para acceder y transformar
datos de un amplio espectro de fuentes.
Interfaz visual para llamar a código personalizado, analizar las imágenes y
archivos de vídeo para crear metadatos significativa.
Transformaciones dinámicas, utilizando las variables para determinar
asignaciones de campo, validación y reglas de enriquecimiento.
Depurador integrado para pruebas y puesta a punto la ejecución del trabajo.
OPORTE NATIVO Y FLEXIBLE PARA TODAS LAS FUENTES DE BIG DATA
Una combinación de conexiones nativas de profundidad y una capa de datos de
datos de gran adaptativo aseguran el acceso acelerado a las distribuciones
principales de Hadoop, bases de datos NoSQL, y otras tiendas de grandes datos.
El apoyo a las distribuciones de Hadoop de Cloudera, Hortonworks y MapR.
Plugins a bases de datos NoSQL como Cassandra y MongoDB, así como
las conexiones a almacenes de datos especializados como Amazon
Redshift y Splunk.
Capa de datos grande adaptable ahorra empresas considerable el tiempo
de desarrollo, ya que aprovechan las nuevas versiones y capacidades.
Mayor flexibilidad, reducción del riesgo, y el aislamiento de los cambios en
el gran ecosistema de datos.
Presentación de informes y análisis sobre las cantidades crecientes de
usuario y los datos de máquina generado, incluyendo contenido de la web,
documentos, medios de comunicación social y los archivos de registro.
Integración de las tareas de datos Hadoop en general de TI / ETL /
soluciones de BI con distribución escalable en el clúster.
El apoyo a los servicios públicos para carga de datos a granel paralelos
para la carga de datos con el máximo rendimiento.
DESCRIPCION DE LAS FASES
Análisis y Diseño
Objetivo: Realizar un examen completo y establecer una lista de chequeo de los
elementos de datos del sistema que serán migrados. Del mismo modo se realiza
el mapeo de los elementos de datos de la fuente al destino.
Actividades
En el esquema iterativo, las actividades de análisis están dirigidas a suplir los
requerimientos del sistema. Se deben hacer tres consideraciones.
-
Descubrimiento inicial. Proceso que permite entender el valor de todos los
elementos de datos, rangos, etc. y poner en evidencia las relaciones entre
ellos.
-
Mapeo. Permite entender cuáles bases de datos, entidades y atributos
satisfacen los requerimientos de información del sistema destino. Se debe
evaluar qué relación origen-destino satisface el requerimiento de manera
óptima y determinar los cambios requeridos (transformación) en los esquemas
de datos incluyendo cuáles elementos no existen, y son necesarios, en la
nueva aplicación.
El resultado de la fase de análisis y diseño es la especificación del mapeo entre
los sistemas fuente y el sistema destino. Entre mejor sea la especificación inicial
menos iteraciones se tendrán que realizar.
Realizar el análisis de la topología y obtener estimados de desempeño. Es
necesario precisar la duración de la migración una vez se ejecuten las iteraciones
previas a la migración final.
Extracción y Transformación
Objetivo: Desarrollar los procedimientos transformación y validación
Actividades:
Un análisis preciso permitirá un trabajo eficiente en las siguientes fases. Después
de que se conoce que datos migrar, donde conseguirlos y como se mapean en el
destino, el siguiente paso es construir los procedimientos necesarios para extraer
los datos y transformarlos hacia el formato adecuado.
Durante la fase de desarrollo además de construir los scripts y el código específico
de la migración utilizando la herramienta de migración seleccionada se deben
enfrentar dos situaciones:
Validación
Objetivo: Validación de datos en de preparación.
Actividades:
Una vez se tiene listo el mapeo el siguiente paso es chequear si los datos cumplen
las validaciones del sistema destino, incluyendo reglas de negocio, restricciones
de semántica o sintácticas. Estas actividades se pueden realizar con la misma
herramienta de desarrollo de tal manera que el resultado de esta fase es un
conjunto de procedimientos o scripts a través de los cuales se realizarán las
validaciones mencionadas.
Pruebas y cargue
Objetivo: Ejecutar los scripts o el código generados en la fase de desarrollo de la
migración, enmarcándolos en un contexto de semántica del negocio que permita
resolver los problemas lógicos así como los errores físicos.
Actividades
En la fase de pruebas del usuario se identifican y resuelven los errores lógicos. El
primer paso es ejecutar los mapas. Así los mapas se ejecuten correctamente hay
que identificar:
-
El número de registros que se espera que el script cree.
-
Si efectivamente ese número de registros se crearon, si no explicar el por qué
no fue así.
-
Si los datos fueron cargados en los campos correctos.
-
Si el formato de los datos fue el adecuado.
-
Si el sistema destino permite limpiar los datos cargados si la carga no fue
satisfactoria y existe el procedimiento para hacerlo, mediante el uso de la capa
intermedia de transformación. El objeto es asegurar que la migración está
correcta antes de poblar el sistema destino.