Cada día, las empresas privadas generan una gran cantidad de datos y el sector público pone a disposición de todo el mundo información que puede ser utilizada para descubrir y crear nuevas aplicaciones. Si a ello le añades la posibilidad que brinda el cloud computing, surge un nuevo mundo lleno de posibilidades para los desarrolladores.
No obstante, aunque parece que el fenómeno Big Data es un boom que ha empezado a aparecer hace pocos años, lo cierto es que el procesamiento de grandes volúmenes de datos lleva existiendo desde hace décadas. El problema radicaba en que se requería hardware dedicado a esas tareas, de la talla de supercomputadores y, lógicamente, era muy caro. Además, era necesario un software especial y el trabajo de desarrolladores con distintos conocimientos de programación y con habilidades analíticas.
A medida que han ido pasando los años, la recogida y el análisis de grandes cantidades de datos se ha vuelto una tarea más asequible y frecuente en las empresas, existiendo una demanda creciente de sistemas y entornos de lenguaje que pueden funcionar con productos más básicos, operado por programadores y analistas sin necesidades de poseer habilidades especiales. Ahora, existen grandes posibilidades en el tratamiento de la información con nuevas formas de capturar el valor de los datos.
Debido a esto, y según AppCircus, plataforma global de apoyo al desarrollo de apps móviles, durante los próximos años veremos un auge de aplicaciones que ofrecerán nuevas y mejores funcionalidades a los usuarios basadas en el análisis de los Big Data, como pueden ser sistemas de recomendación de música cada vez más precisos, datos meteorológicos muy detallados o la personalización de la experiencia en el móvil dependiendo de las preferencias del usuario.
A medida que la variedad y el volumen de los datos crecen, también lo hacen las oportunidades para crear nuevas aplicaciones provenientes del ecosistema Big Data. Así lo demuestran concursos como Innova Challenge Big Data, cuyo objetivo es encontrar, junto a la comunidad de desarrolladores, nuevas e innovadoras vías para aprovechar las posibilidades que ofrece el tratamiento de datos masivos, y donde podemos ver ejemplos convertidos en realidad como el ganador de la última edición, Qkly, un planificador de viajes que reduce el tiempo de espera en las colas de comercios o servicios de pago. Esta aplicación emplea la información de la API de BBVA, que abrió sus datos para esta competición, para producir, de manera automática, previsiones de masificación, mostrando a sus clientes estimaciones sobre en qué momentos del día un lugar concreto está más masificado, y creando automáticamente horarios optimizados para evitar las colas.
De acuerdo con AppCircus, “la industria de las aplicaciones móviles está ofreciendo a los usuarios apps cada vez más útiles, sencillas y rápidas, un proceso en el que será determinante la capacidad de los desarrolladores de implementar soluciones que permitan sistematizar y analizar los datos procedentes de varios soportes para convertirlos en información útil, a través de herramientas Big Data”. Una tendencia que irá en auge en 2014.
Herramientas de análisis
Los desarrolladores tienen la necesidad, más que nunca, de hacerse con herramientas de análisis como parte de un buen desarrollo en los entornos Big Data. Aquí te presentamos una pequeña selección de la cantidad de herramientas que existen.
Hadoop
Quizá sea la herramienta sea más popular. Hadoop es un framework basado en Java que permite el procesamiento distribuido de grandes conjuntos de datos a través de grupos de ordenadores que utilizan modelos de programación simples. En lugar de confiar en el hardware para ofrecer alta disponibilidad, esta biblioteca de software está diseñada para detectar y controlar los errores en la capa de aplicación, por lo que la entrega de un servicio de alta disponibilidad en la parte superior de un grupo de computadoras, cada una de las cuales pueden ser propensos a fallas.
Google BigQuery y Prediction API
Otras herramientas que te resultarán de ayuda son Google BigQuery y Prediction API. La primera, permite la consulta de grandes volúmenes de datos en tiempo real. Se puede acceder a BigQuery utilizando un navegador o una herramienta de línea de comandos, o mediante la realización de llamadas a la API de REST BigQuery utilizando una variedad de bibliotecas como Java, PHP o Python. También hay una variedad de herramientas de terceros que se pueden utilizar para interactuar con BigQuery, tales como la visualización de los datos.
Por su parte, Google Prediction API te ayudará a diferenciar un gran número de patrones y feedback en tu aplicación. Por ejemplo, a través de esta herramienta, Google ofrece detección de spam, motores de recomendación y análisis de sentimiento. Además, te indica todos los pasos que debes de seguir para incluirlas en tu app.
Amazon Kinesis
Se trata de un servicio para el procesamiento de transmisiones de datos en tiempo real a una escala masiva. Amazon Kinesis te permite recopilar y procesar cientos de terabytes de datos por hora desde cientos de miles de fuentes de datos, de manera que le permite escribir con facilidad aplicaciones que procesen información en tiempo real, desde fuentes como visitas de sitios web, información de marketing y financiera, instrumentos de fabricación y redes sociales, así como datos de medición y registros operativos.