El pasado 7 de mayo en Madrid tuvo lugar el evento del año dedicado a la nube de Amazon Web Services, el AWS Summit Madrid, que otra vez se ha vuelto a superar con más de 5.000 asistentes del sector. Y, como los últimos años, Infinia volvió a ser uno de los invitados especiales, esta vez apadrinado por Frank Munz, technical evangelist de AWS.
El pasado 7 de mayo en Madrid tuvo lugar el evento del año dedicado a la nube de Amazon Web Services, el AWS Summit Madrid, que otra vez se ha vuelto a superar con más de 5.000 asistentes del sector. Y, como los últimos años, Infinia volvió a ser uno de los invitados especiales, esta vez apadrinado por Frank Munz, technical evangelist de AWS.
Rubén Hernando, director técnico en Infinia, expuso cómo están usando AWS para el análisis de datos en streaming. “Gracias a AWS, Infinia ha encontrado una arquitectura que mezcla servicios propios de Amazon con instancias configuradas por el propio equipo para lograr optimizar costes y tiempo en los desarrollos. Esta arquitectura consta de 3 capas” explicaba. Parte de su exposición la centró en la explicación técnica de la composición de esas 3 capas y su estructura global.
La primera capa, sería la llamada “recepción de datos”, en esta capa, Infinia recibe la información de los dispositivos conectados. Es necesario adaptarse al tráfico además de tener estabilidad para evitar la pérdida de eventos. Para esta capa, Infinia utiliza dos métodos; Por un lado, API Gateway + Lambda que permite estabilidad en la recepción de datos, adaptándose al tráfico. Se usa para la configuración de las funcionalidades de la SDK, ya que Infinia es capaz de modificar parámetros del comportamiento de la SDK en remotos. Por otro lado, Node JS con Elastic Beanstalk, que permite tener una conexión estable con bases de datos, lo que hace enriquecer la información y filtrar los registros para poder adaptarnos a la GDPR”. Explica Rubén Hernando.
La segunda capa es la considerada como “procesos streaming”, “esta es la capa que realiza el pre-procesado de la información, limpiando y estructurando los datasets. Se hace en varias etapas: primero llegada al API, aquí se hace un pre tratamiento, con filtro GDPR y enriquecimiento de información y desde aquí los eventos pasarán a colas de RabbitMQ; Segundo, Rabbit MQ, un sistema de colas de eventos separando los tipos de datos, lo que permite persistencia para evitar la pérdida de información; Y tercero, Cluster Spark Streaming, un cluster sobre EC2 que realiza un procesado en streaming, con ello los datos recibidos son limpiados y transformados para finalmente acabar en nuestro Data Lake”, resume Rubén después de su ponencia.
La última capa sería la que se considera como “procesos batch”, diariamente Infinia corre varios procesos en EMR. “Gracias a funciones lambda somos capaces de configurar el tipo y número de instancias necesarias para adaptarnos al volumen de datos, asi como el precio “Spot” a pagar, reduciendo los costes” explica.
Infinia explicado que, gracias a la utilización de AWS, ha sido capaz de optimizar los tiempos de desarrollo y los costes, realizando la recepción y el proceso de varios TB diariamente. Algo de extrema importancia en el día a día de las empresas que trabajan la data como su producto principal.
