Big Data

Bueno después de la teoría y la instalación sigue un poco de práctica para saber como manejar la herramienta que acabamos de instalar. El último post se quedo mostrando la página inicial de la interfaz web de hadoop, hoy explicaremos acerca de esta y algunos comandos para la utilización de esta herramienta que hemos instalado. Como podemos ver en la Imagen esta es la página Inicial y principal, en el recuadro rojo podemos ver la versión de hadoop que hemos instalado la 2.8.0 en nuestro caso y también podemos ver la fecha en que se compilo este binario y algunas características más que son fáciles de entender por el nombre. Esta página nos muestra información del conjunto de datanodes existentes en nuestro clúster, espacio de memoria disponible la última vez que el namenode se comunico con los datanodes, información del host. En caso de que hubiera errores con el medio de almacenamiento de los datanodes esta página nos mostraría detalle de esas fallas. Esta Imagen n...

Después de un poco de conocimiento general empezaremos con lo divertido, y que mejor que empezar con el hijo prodigo de Apache Software Fundation, Hadoop. Empecemos por explicar como funciona Apache Hadoop como elemento principal de un clúster . Apache Hadoop se compone de tres principales componentes NameNodes, DataNodes, y SecondaryNameNode a nivel administración y almacenamiento. NameNode : El namenode es el componente principal para la coordinación de las máquinas, el se encarga de monitorear el estado de las demás máquinas y de si misma, es el encargado de la distribución y calibración de la infornación del clúster de la manera más optima posible. El NameNode se compone de un Componente Principal: NameSpace : El namespace consiste de Directorios, archivos y bloques, como también todas las operaciones asociadas al sistema de archivos de Apache Hadoop. Block Management : Es el conjunto de operaciones para monitoreo de los datanodes efectuada por el namenode. DataNodes ...

Después de algo de teoría sigue la práctica. Como primer componente instalaremos al hijo pródigo de Apache Fundation en cuanto a distribución se refiere, el componente más importante y la base de toda esta tecnología. Pre-requisitos: Apache Hadoop. Máquina Física o Virtual con cualquier distribución de linux (RedHat ó Debian). Conocimientos de Linux. JDK SSH Primero procederemos a descargar el binario de este componente en el siguiente link: http://hadoop.apache.org/releases.html , para esta práctica utilizaré la versión 2.8.0 de Hadoop la más nueva hasta el momento liberada por la Fundación Apache. Para esta instalación cuento con una máquina virtual con CentOS 7 instalado. No es necesario tener la GUI instalada en nuestra distribución, pero para fines prácticos la instalé. Así que los pasos a continuación serán para un kernel RedHat y repositorios yum, esto puede hacer en una plataforma Debian y repositorios apt-get. Comencemos: Deberemos tener en nu...

Hoy en día cuando hablamos de clúster o Hadoop, lo más común es escuchar Cloudera como una palabra correlacionada a este pensamiento, en lo personal cuando alguien se refiere a mi como "tenemos Big Data", lo primero que se me viene a la mente es, que tienen una gran cantidad de información la cual necesitan procesar o almacenar, y lo segundo que se me viene a la cabeza, es que no tienen idea de lo que el concepto de Big Data se refiere, cuando se habla de Distribuciones de Software para Big Data encontramos algunas como las siguientes: Cloudera, HortonWorks, MapR, etc. Las cuales instalan casi los mismos componentes que son Básicos en un clúster (Hadoop, Spark, Yarn, Hive, HBase, Zookeeper).                 La más común hoy en la actualidad es Cloudera, hay unas cosas por aclarar, la gente piensa que el software para Big Data lo tiene Cloudera, pero como en mi primer post mencione acerca de Big Data, este proyecto es incubado por Apache ...