Big Data

Una vez que tenemos la teoría lista procederemos a instalar este componente de Apache, que será nuestra primera Base NoSQL, para esto necesitamos descargar el binario que como siempre se puede descargar del siguiente link:  https://www.apache.org/dyn/closer.lua/accumulo/1.8.1/accumulo-1.8.1-bin.tar.gz  como se muestra en la siguiente imagen. Una vez descargado el binario y lo podemos ver en nuestra máquina como en la imagen siguiente. Se procederá a descomprimirlo y a mover la carpeta a la localización de /usr/local/accumulo (Como estos ya son post muy adelantados omitiré ciertos comandos que hemos usado a lo largo del post y los daré por obvios) Una vez que se encuentra en la carpeta procedemos a configurar la instancia de Apache Accumulo que sera de forma pseudo distribuida, para eso comenzamos en caso de intentar hacer una instalación distribuida deberán realizarse estos pasos en todas las máquinas de nuestro clúster. Antes de realizar los siguientes pasos deb...

Una vez explicada la teoría de este maravilloso componente de monitoreo de sistemas distribuidos, explicaré como se realiza la instalación de este componente en nuestras clúster, para esta instalación será solo en un nodo, pero dejaré la explicación para que sea instalado con un ensamblado de 3 servidores que es el número mínimo para crear un clúster de zookeeper. Empezaremos como en todos los posts de instalación, podremos descargar los binarios de este componente en el siguiente link: https://zookeeper.apache.org/releases.html  de esta página podrán descargar los binarios para instalar este componente. Para este post utilizaré la versión  zookeeper-3.4.9.tar bueno una vez terminado de descargar el binario comenzamos a instalarlo, procederemos a descomprimir el archivo y una vez descomprimido la carpeta generada la moveremos a donde hemos movido todos nuestros demás componentes de apache para Big Data. Como podemos ver en la siguiente imagen descargaremos en nuestro ser...

Ahora procederemos a instalar Apache Sqoop, como en la parte de teoría vimos, este es un Job que implementa solo el Mapper, entonces la Instalación de esta herramienta será muy sencillo. Para empezar necesitamos descargar los Binarios de Apache Sqoop de la siguiente página con el siguiente link:  http://sqoop.apache.org/ Como podemos observar, hay dos formas de extraer los binarios de Apache Sqoop, la del recuadro rojo y la del recuadro verde, como la documentación dice, descargaremos el del recuadro rojo, ya que la versión del recuadro verde aún no se recomienda para un ambiente productivo, por esa razón descargaremos el del recuadro rojo. Podemos descargar cualquier tar.gz de los que aparecen aquí, pero yo descargaré la versión dentro del recuadro verde. Una vez descargados el binario de Apache Sqoop, procedemos a descomprimirlo y mover la carpeta resultante a /usr/local/ con el siguiente comando: tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz su mv...

Después de un poco de teoría sobre el funcionamiento de Apache Hive, proseguiremos a la instalación de este componente, ya que la mayoría de la gente quiere práctica. Para poder Instalar Apache Hive de una manera óptima necesitamos Apache Hadoop instalado, ya que como vimos en la sección de teoría sobre Apache Hive necesita HDFS para el almacenamiento Físico y MapReduce ó TEZ para el procesamiento de las consultas que se le realicen al cliente dependiendo la versión. A continuación podemos descargar el binario de Apache Hive en la siguiente url:  http://www.apache.org/dyn/closer.cgi/hive/  es la versión más nueva, si gustan pueden descargar una versión anterior. Entonces trabajaremos con la versión apache-hive-1.2.2-bin.tar.gz para este tutorial, Apache Hive se monta sobre un clúster de Hadoop así que no es necesario distribuir los paquetes a menos que quieras tener un cliente en cada nodo del clúster de hadoop. Procederemos a descomprimir el binario ...