Apache Hive

En esta entrada analizaremos la primera simulación de Base de Datos para Big Data, Apache Hive a mi punto de vista no es una Base de Datos, para mi es un conjunto de MapReduce. Y esta herramienta surge con la necesidad de tener un sistema de almacenamiento al que le podamos hacer consultas y que mejor manera que seguir utilizando el SQL para que aquellas personas no sufran el cambio de lo estructurado a la velocidad de procesamiento optimo del mundo de volúmenes masivo de datos usualmente no estructurado.



Como podemos observar en la imagen la arquitectura de Apache Hive se compone de 3 componentes descritos por su color que a continuación describiré.


  • Color Naranja
    • HDFS: HDFS es usado como almacenamiento de la información (data) que al realizar consultas al cliente nos regresará el subconjunto de datos deseados. 
    • RDBMS: Es una Base de Datos Relacional cualquiera (Oracle, SQL Server, MySQL, Informix, MariaDB, Derby, etc) la cual nos sirve para guardar todo el metadato que existirá en todas las bases de datos y tablas que existirán en Hive.
  • Color Amarillo
    • Data: La información o esquema físico de Apache Hive que corresponde a toda la información de las tablas.
    • Metada: Todo el metadato o esquema lógico de Apache Hive relacionado con las tablas, bases de datos, columnas, tipos de datos, que es almacenado en una RDBMS.
  • Color Verde.
    • Hive Client: Un cliente para poder realizar consultas a toda la parte lógica y física de esta Big Table que es Apache Hive.
    • Metastore Server: Es el proceso encargado de almacenar todo el metadato en una RDBMS correspondiente al esquema lógico de Apache Hive.
    • Map Reduce: Como les comente al principio, para traer el subconjuto de datos que se quieren por la consulta realizada al cliente de hive, en las primeras versiones de Apache Hive se utilizaba la forma de procesamiento de Apache Hive, hoy en día para devolver el resultado de una consulta se utiliza TEZ una forma más óptima de procesamiento que el MapReduce. 
Hoy en día para grandes volúmenes de datos existen mucho mejores opciones que Apache Hive en cuanto a almacenamiento y consulta se refiere, pero así como el MapReduce es la Base principal por la que ahora tenemos mejores formas de procesamiento como TEZ y SPARK, Apache Hive es la razón por la que hoy tengamos mejores formas de acceder a la información con formatos como los AVRO y PARQUET, que nacen con Hive y seguramente seguirán mejorando con ella.

Aunque no es mi base de datos preferida en el mundo del Big Data, es la razón de que hoy en día grandes y excelentes Bases de Datos como Cassandra o HBase tengan el funcionamiento que tienen, ya que Apache Hive ha sido la Base de la Mejora en cuanto a Base de Datos Distribuidos se refiere.

Comentarios

Publicar un comentario

Entradas más populares de este blog

Replicación y Formas de Paralelización Apache Hadoop

Imagen
Hasta este post debemos tener idea de como funciona Hadoop, YARN, Sqoop, Hive y Zookeeper, ahora intentaré caracterizar que es un clúster y como es que se lleva a cambio un procesamiento en paralelo, esto nos permitirá realizar otros dos programas antes de dar por terminada la parte básica de Big Data y movernos a algo más complejo y avanzado, como hemos visto el MapReduce es la forma de paralelización que surge con esta tecnología y así mismo es la primera forma de realizar un procesamiento en paralelo, pero al final un solo se mejora su efectividad en el procesamiento de los datos. Ahora trataré de formalizar todo a lo que llamamos clúster, junto con su manera de procesar la información para poder realizar los siguientes programas. Empezaré definiendo el concepto de rack y de clúster. Un ejemplo gráfico de lo anterior podría ser la siguiente imagen: Con lo anterior definido, tenemos que empezar a caracterizar algunas otras propiedades de un clúster, y continuaré...
Leer más

Manejo Apache Hive

Imagen
Una vez instalado nuestro componente de Apache Hive que más que ser una Base de Datos la considero como una Big Table, pero una vez después de instalarla, aprenderemos como usarla, ya que esta Big Table fue creada con el objetivo de realizar almacenamiento, búsquedas y demás en un ambiente de Big Data, los desarrolladores optaron por ponerle un cliente que interpreta los queries a un proceso Map Reduce como ya vimos en la teoría, bien, para llamar la consola de hive basta con escribir en la consola la palabra "hive".  Una vez dentro ya podemos acceder a todo lo que es hive, empezaremos por listar las Bases de Datos en nuestro ambiente con el query  show databases ; Como verán mi ambiente solo cuenta con la "Base de Datos" llamada default y como su nombre dice, esta será la "Base de Datos" que estará seleccionado al inicio de cualquier cliente de hive para que podamos trabajar. Procederé a crear otra "Base de Datos" en Apache Hive con el si...
Leer más

Asignación de un líder Zookeeper

Imagen
Una vez entendido la teoría y llevado a cabo la instalación de este otro componente llevaremos a la práctica los conocimientos de este componente, y que mejor ejemplo que programando una elección de un nodo maestro cuando tenemos una aplicación distribuida y nuestro líder cae, ejemplos, (namenode, resourcer manager, hmaster, etc). El ejemplo anterior que vimos manualmente en manejo de Apache Zookeeper ahora procederemos a verlo de forma programática, este ejemplo tiene muchas aplicaciones y más para cuando se trata de aplicaciones distribuidas y el monitoreo de las mismas. Procederemos por iniciar el servidor de zookeeper, en este caso como solo cuento con un nodo con este clúster de prueba la aplicaciones que mostraré en este blog hace uso de los threads (hilos) para simular que tengo N clientes que se conectan a este servicio de zookeeper. El código se encuentra en:  https://github.com/NeoChoosenOne/ZookeeperLeaderElection Una vez que ya inicializamos el servicio de zookee...
Leer más