BBVA API Market
En el Centro de Innovación BBVA de la Plaza Santa Bárbara de Madrid, Jorge López-Malla, Big Data Architect en Stratio, explicó porqué se lleva tiempo oyendo maravillas de Spark, al que no pudo acceder hasta que empezó a trabajar en su empresa actual. Stratio busca desarrolladores, y así abrían la ponencia sus representantes de Recursos Humanos.
La jornada, que prometía respuestas a dudas clave para el desarrollo en el framework de Apache -cómo mezclar procesos de SparkSQL con otros lanzados desde el Spark Core o la aplicación de algoritmos de MILib a lógicas en tiempo real- empezó como una clase de historia reciente.
Y es que desde que el concepto de Big Data naciera en 2003, en un paper de Google sobre procesamiento de ficheros distribuidos, hubo que esperar a 2006 para que el equipo de Yahoo! lanzara Hadoop que acabó constituyendo la base sobre la que las operaciones con Big Data tomarían cuerpo en unos inicios.
El problema, proseguiría López-Malla, es que Hadoop nació como respuesta a un concepto de problemática distinto al que pueda tener hoy un desarrollador que trabaja con procesamiento de ficheros distribuidos. La tecnología ha cambiado en 10 años, pero también el mercado y la demanda del software.
Respondiendo a la problemática actual nacen Flink (también de código abierto) y Spark, siendo para López-Malla el último “ya no el futuro, sino el presente de Big Data”. Lo rompedor de Spark hunde sus raíces en la velocidad de procesamiento. Es, por lo tanto, “una evolución de Hadoop y su paradigma” pero con la ventaja de tener un rendimiento de 10 a 100 veces superior a cualquier plataforma de computación distribuida.
Todo se basa en RDDs, o “colecciones de colecciones distribuidas”, enfocadas al procesamiento en particiones. Estas particiones, independientes entre sí, permiten que el workflow continúe de forma ininterrumpida sin tener en cuenta que ocurre en las demás.
Si el core de Hadoop mejoraba, los módulos no se veían beneficiados por esa mejoría. Spark cambia esto y da una ventaja radical al programador para avanzar en sus cometidos, y es que Spark tiene una única API para todo.
Tres de los módulos más populares de Spark ocuparon la tarde en el Centro de Innovación BBVA. Spark SQL (para la consulta de datos estructurados con lenguaje SQL o una API), Spark Streaming (para gestionar datos en tiempo real en vez de por lotes) y MILib, para dotar a Spark de funcionalidades relacionadas con el aprendizaje automático.
La ponencia íntegra de Jorge López-Malla, con ejemplos visuales y de funcionamiento, está disponible en el canal de Youtube del Centro de Innovación BBVA, desde donde se incrusta el vídeo que puedes ver más abajo.
Síguenos en @BBVAAPIMarket
Llevar a un cliente por todo el proceso de compra hasta que este se formaliza es un viaje arduo y que se enfrenta a la posibilidad constante de abandono. Sin embargo, hay formas de lograr que la decisión de compra se haga realidad si se le dan facilidades como una financiación ágil, segura y adaptada a lo que necesita.
En un mundo conectado, las APIs son el pegamento que une todas las piezas que forman nuestra vida diaria. Y de la misma forma que un pegamento solo es potente si sabemos en qué material utilizarlo y conocemos sus propiedades, las APIs son tan útiles como su documentación permita.
Existen diferentes soluciones para monitorizar el rendimiento de una API, tanto en términos de tráfico como de calidad y rapidez de las respuestas que proporciona. Detectar fallos en el código o cuantificar los ingresos que genera también son algunas de las opciones que ofrecen estas útiles herramientas.
