BMW Group utiliza un lago de datos basado en AWS para liberar el poder de los datos

Sin embargo, la empresa necesitaba escalar más fácilmente su lago de datos para satisfacer las crecientes demandas de las partes interesadas internas y externas. Debido a que no se podía acceder fácilmente a los datos (dispersos en una gran cantidad de entornos aislados), la innovación de BMW Group se vio ralentizada por su propia infraestructura de TI y por los largos plazos necesarios para respaldar las iniciativas nuevas. BMW Group necesitaba desarrollar una solución lo suficientemente ágil para respaldar las necesidades de datos de todas las unidades comerciales internas y permitir que la empresa se moviera rápidamente a fin de abordar la variedad de casos de uso emergentes que demandan sus clientes.

BMW Group también buscó brindar a los consumidores de datos acceso en tiempo real, por ejemplo, a la telemetría del vehículo, como información sobre velocidad, ubicación, temperatura, niveles de batería y freno, y estado del motor. Además, quería integrar el análisis y el machine learning en el lago de datos para acelerar el desarrollo de servicios nuevos e innovadores. Y, como requisito básico, la solución tendría que ofrecer la gobernanza necesaria para garantizar el cumplimiento de la normativa sobre privacidad y seguridad.

En respuesta a estos desafíos, BMW Group decidió rediseñar y trasladar su lago de datos en las instalaciones a la nube de Amazon Web Services (AWS). El Centro de datos en la nube (CDH) de la empresa procesa y combina datos anónimos procedentes de los sensores de los vehículos y de otras fuentes de la empresa para que los equipos internos que crean aplicaciones internas y dirigidas al cliente puedan acceder a ellos fácilmente. En última instancia, la empresa descubrió que AWS ofrecía la agilidad y la flexibilidad que necesitaba, junto con el espacio necesario para brindar soporte a los usuarios de todo el mundo.

Antes de la migración, el rígido lago de datos local de BMW Group no pudo satisfacer las necesidades cada vez mayores de los ingenieros y analistas de datos. Al ejecutar flujos de trabajo interdependientes, el antiguo lago de datos no podía manejar bien varios inquilinos y, como consecuencia, los equipos de plataforma, ingesta y caso de uso de BMW Group requerían una coordinación compleja para trabajar en proyectos y se encontraron con cuellos de botella organizacionales, lo que redujo su ritmo.

BMW Group recurrió a una combinación de AWS Managed Services, incluidos Amazon Athena, Amazon Simple Storage Service (Amazon S3), Amazon Kinesis Data Firehose y AWS Glue, para reducir la complejidad de la configuración al diferenciar los componentes y crear un entorno capaz de escalar a fin de satisfacer las necesidades de los ingenieros de datos. Además, los equipos ahora podrían tener su propio proceso DevOps integral, lo que les otorga la autonomía y la agilidad necesarias para seguir innovando. Además, BMW Group implementó un portal web moderno que ayuda a los usuarios del CDH a descubrir conjuntos de datos confiables mediante un algoritmo de búsqueda avanzada y consultar datos fácilmente para generar información nueva.

Con los servicios de AWS, BMW Group incorpora una cantidad masiva de datos todos los días. En la actualidad, millones de vehículos BMW y MINI están conectados al CDH a través del backend de alta seguridad de BMW Group y se procesan diariamente terabytes de datos telemétricos anónimos. La empresa utiliza estos datos para monitorear los indicadores de estado de los vehículos, como los errores de control de revisión, e identificar posibles problemas en todas las líneas de vehículos. Esto permite que BMW Group aproveche los datos de la flota capturados, recopilados y refinados del CDH para resolver mejor los problemas, incluso antes de que afecten a los clientes.

Para administrar mejor estos datos, BMW Group presentó la noción de “proveedores de datos” y “consumidores de datos” a fin de aumentar tanto la autonomía como la agilidad de sus equipos de ingeniería de software. Los proveedores de datos incorporan y transforman datos con servicios de AWS, como Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue y Amazon EMR. Los consumidores de datos pueden utilizar servicios como Amazon Athena, Amazon SageMaker, AWS Glue y Amazon EMR a fin de aprovechar los datos para sus casos de uso. Tanto los proveedores como los consumidores utilizan estos servicios en sus propias cuentas y solo comparten interfaces bien definidas que se pueden controlar mediante una API central, lo que contribuye a evitar los cuellos de botella. Las capas de datos individuales se almacenan en buckets de Amazon S3 y sus esquemas se registran en AWS Glue Data Catalog.

Además de recopilar metadatos técnicos en AWS Glue Data Catalog, BMW Group descubrió que crear un catálogo de datos legibles por humanos era esencial para democratizar los datos en toda la organización. Esta esfuerzo garantizaría un alto nivel de transparencia acerca de qué activos de datos se recopilan en el CDH y cómo se recopilan. La aplicación frontend Data Portal sirve como explorador de datos para aumentar la productividad de los analistas de datos, los científicos de datos y los ingenieros al mostrar claramente los recursos de datos y ofrecer un “índice de popularidad” basado en patrones de uso de datos para más de 500 usuarios en toda la organización.

Además, el CDH aprovecha GraphQL a través de AWS AppSync a fin de crear API escalables y universales para proveedores de datos y consumidores por igual, lo que aumenta la flexibilidad de desarrollo. A diferencia de las API REST tradicionales, las interfaces basadas en GraphQL resultan muy adecuadas a fin de respaldar requisitos evolutivos tales como la representación de metadatos para el catálogo de datos o el suministro de datos heterogéneos obtenidos de vehículos conectados. Los desarrolladores tienen la flexibilidad de definir la estructura de la carga útil y los parámetros de consulta a fin de obtener los datos que necesitan para un caso de uso determinado. Esto los ayuda a crear aplicaciones mucho más rápido que antes porque ya no tienen que crear un nuevo conjunto de API para cada proyecto con un conjunto diferente de requisitos de datos.

El lago de datos centralizado y basado en AWS constituye el fundamento de BMW Group para desarrollar soluciones de TI controladas por datos y permite a la empresa escalar de forma automática e independiente en una arquitectura sin servidores. Por lo tanto, puede innovar más rápido que con la solución local anterior, que requería administración de infraestructura y planificación de capacidad para cada iniciativa nueva.

BMW Group liberará el código de componentes clave relacionados con el CDH, incluidas sus API, arquitectura y portal de datos. Esto también se ve impulsado por el hecho de que BMW Group es miembro por primera vez de Gaia-X, la iniciativa europea para establecer espacios de datos soberanos. 

En el futuro, BMW Group seguirá escalando horizontalmente las capacidades de la plataforma de CDH para acelerar aún más su transformación digital e impulsar un valor adicional en todo el negocio, lo que potencia las experiencias innovadoras para los clientes, nuevos servicios de movilidad e información comercial interna. Demtröder concluye, “Acabamos de iniciar nuestro viaje con AWS y esperamos ayudar a nuestra empresa a cumplir su estrategia de impulsar la innovación en el futuro”.

Para obtener más información, consulte thinkwithwp.com/automotive.