Big Data

Bueno ahora como todos los componentes de Apache, el YARN no es la excepción que nos provea una interfaz gráfica y una linea de comandos para manipular el componente, así que comencemos a descubrir el manejo de este componente. Primero deberemos verificar que el componente se encuentra disponible con el comando jps en la consola. Una vez que corroboramos que el YARN esta funcionando en la consola escribimos el siguiente comando, el cual nos listará las diferentes configuraciones que tenemos para este comando. yarn -help Estos son todos los comandos que yarn nos proporciona para la administración y monitoreo de las aplicaciones, pero también hay una interfaz gráfica que nos provee esta administración la cual la podemos encontrar en el puerto 8088 de la máquina en donde se ejecuta el RM. La apariencia de esta página es como la siguiente. En esta interfaz web podemos controlar y monitorear todo el flujo de un job, procederé a ejecutar el job del wordcount en este clúster co...

Una vez explicada la teoría de este maravilloso componente de monitoreo de sistemas distribuidos, explicaré como se realiza la instalación de este componente en nuestras clúster, para esta instalación será solo en un nodo, pero dejaré la explicación para que sea instalado con un ensamblado de 3 servidores que es el número mínimo para crear un clúster de zookeeper. Empezaremos como en todos los posts de instalación, podremos descargar los binarios de este componente en el siguiente link: https://zookeeper.apache.org/releases.html  de esta página podrán descargar los binarios para instalar este componente. Para este post utilizaré la versión  zookeeper-3.4.9.tar bueno una vez terminado de descargar el binario comenzamos a instalarlo, procederemos a descomprimir el archivo y una vez descomprimido la carpeta generada la moveremos a donde hemos movido todos nuestros demás componentes de apache para Big Data. Como podemos ver en la siguiente imagen descargaremos en nuestro ser...

Uno de los componentes más importantes en nuestros clúster surge con Apache Zookeeper, este componente nace con HBase , una base de datos NoSQL de la Fundación Apache. Zookeeper se agrega a el sistema Hadoop2 , gracias a este componente podemos tener una gran cualidad en nuestro clúster como lo es la alta disponibilidad, pero, ¿Cómo es que se logra algo como esto?, Primero debemos entender cuál es la finalidad de este componente. Apache Zookeeper fue diseñado como una herramienta de coordinación para sistemas distribuidos, una de las principales características que lo hacen muy eficaz en su desempeño, es que la información que le pertenece a Apache Zookeeper esta cargada en memoria, pero uno se preguntará, que tiene de eficiente poner la memoria de un coordinador de sistemas distribuidos en memoria, el punto de esto esta en la magia para lo que esta herramienta fue diseñada, y como su definición lo dice, fue para la coordinación, como coordinador no necesitas conocer toda la inform...

Una vez instalado Apache Sqoop, llegamos al punto de la práctica el post de manejo de Apache Hive se ha pospuesto por que necesitamos información para empezar a navegar entre la estructura de lo que implica Apache Hive, y como primer paso, empezaremos a exportar información de una RDBMS para este caso utilizaré MySQL, pero si alguno de ustedes tiene una Base de Datos Oracle, SQL Server, Informix etc, les indicaré que paso cambiaría para que funcione con una Base Distinta a la que usaré para este ejemplo. Para empezar necesitamos tener instalado MySQL en alguna máquina y que pueda ser visible para la máquina o clúster que tenga instalado sqoop. Para esto, encontré una página que provee una Base de Datos para MySQL en el siguiente link:  http://www.mysqltutorial.org/mysql-sample-database.aspx  cargamos esta Base de Datos en nuestra MySQL. Una vez cargada en nuestro MySQL podemos ver con un cliente, en este caso Workbench nuestra Base de Datos y las tablas dentro de ell...