Apache Sqoop

Bueno, hasta este punto ya tenemos una instancia de Apache Hadoop con YARN configurado y una instancia de Apache Hive, lo siguiente será dar un poco de contexto de lo que es Apache Sqoop.

Apache Sqoop es una herramienta para la transferencia de grandes volúmenes de  información entre Apache Hadoop y las RDBMS ó Mainframes. Cómo sabrán Apache Sqoop necesita de una Instancia de Apache Hadoop al menos para poder funcionar, ya que es un MapReduce.

Dependiendo del número de nodos en el clúster, se crearán n pools de conexión donde n es el número de nodos en el clúster para extraer la información.

El flujo general de un Job del tipo Sqoop que es un MapReduce, luciría como el siguiente.



Apache Sqoop puede ser utilizado para hacer transferencia de grandes volúmenes de Datos de Bases de Datos Relacionales a HDFS ó de viceversa.

Para ejemplificar de que manera trabaja un Job como Apache Sqoop lo ejemplificaré con dos de sus acciones principales, el export e import 

 Import: Como vemos en la siguiente imagen, existe un origen con nombre DB donde cabe resaltar que DB puede ser (Oracle, MySQL, SQLServer, Informix, etc), como podemos notar, Apache Sqoop crea un pool de conexión por nodo y lleva a cabo un proceso Map para extraer la información y depositarlo en HDFS.

Export: Como vemos en la siguiente imagen, existe un origen con nombre DB donde cabe resaltar que DB puede ser (Oracle, MySQL, SQLServer, Informix, etc), como podemos notar, Apache Sqoop crea un pool de conexión por nodo y lleva a cabo un proceso Map para insertar la información en HDFS y almacenarla en una RDBMS.


Como podemos ver, Apache Sqoop solo es una implementación de un proceso MapReduce, donde solo tiene implementado el Mapper. Este componente es muy útil cuando se trata de extraer información de RDBMS a toda la infraestructura de Hadoop.

Como conclusión a este punto del Blog ya podemos crear una herramienta como sqoop con nuestro propio código, pero, ¿Para que codificar algo que ya esta?, Sqoop es la primera herramienta para extracción y almacenamiento entre Hadoop y RDBMS.

Comentarios

Publicar un comentario

Entradas más populares de este blog

Manejo Apache Hive

Imagen
Una vez instalado nuestro componente de Apache Hive que más que ser una Base de Datos la considero como una Big Table, pero una vez después de instalarla, aprenderemos como usarla, ya que esta Big Table fue creada con el objetivo de realizar almacenamiento, búsquedas y demás en un ambiente de Big Data, los desarrolladores optaron por ponerle un cliente que interpreta los queries a un proceso Map Reduce como ya vimos en la teoría, bien, para llamar la consola de hive basta con escribir en la consola la palabra "hive".  Una vez dentro ya podemos acceder a todo lo que es hive, empezaremos por listar las Bases de Datos en nuestro ambiente con el query  show databases ; Como verán mi ambiente solo cuenta con la "Base de Datos" llamada default y como su nombre dice, esta será la "Base de Datos" que estará seleccionado al inicio de cualquier cliente de hive para que podamos trabajar. Procederé a crear otra "Base de Datos" en Apache Hive con el si...
Leer más

Replicación y Formas de Paralelización Apache Hadoop

Imagen
Hasta este post debemos tener idea de como funciona Hadoop, YARN, Sqoop, Hive y Zookeeper, ahora intentaré caracterizar que es un clúster y como es que se lleva a cambio un procesamiento en paralelo, esto nos permitirá realizar otros dos programas antes de dar por terminada la parte básica de Big Data y movernos a algo más complejo y avanzado, como hemos visto el MapReduce es la forma de paralelización que surge con esta tecnología y así mismo es la primera forma de realizar un procesamiento en paralelo, pero al final un solo se mejora su efectividad en el procesamiento de los datos. Ahora trataré de formalizar todo a lo que llamamos clúster, junto con su manera de procesar la información para poder realizar los siguientes programas. Empezaré definiendo el concepto de rack y de clúster. Un ejemplo gráfico de lo anterior podría ser la siguiente imagen: Con lo anterior definido, tenemos que empezar a caracterizar algunas otras propiedades de un clúster, y continuaré...
Leer más

Asignación de un líder Zookeeper

Imagen
Una vez entendido la teoría y llevado a cabo la instalación de este otro componente llevaremos a la práctica los conocimientos de este componente, y que mejor ejemplo que programando una elección de un nodo maestro cuando tenemos una aplicación distribuida y nuestro líder cae, ejemplos, (namenode, resourcer manager, hmaster, etc). El ejemplo anterior que vimos manualmente en manejo de Apache Zookeeper ahora procederemos a verlo de forma programática, este ejemplo tiene muchas aplicaciones y más para cuando se trata de aplicaciones distribuidas y el monitoreo de las mismas. Procederemos por iniciar el servidor de zookeeper, en este caso como solo cuento con un nodo con este clúster de prueba la aplicaciones que mostraré en este blog hace uso de los threads (hilos) para simular que tengo N clientes que se conectan a este servicio de zookeeper. El código se encuentra en:  https://github.com/NeoChoosenOne/ZookeeperLeaderElection Una vez que ya inicializamos el servicio de zookee...
Leer más