BMW Group utilise le lac de données basé sur AWS pour exploiter la puissance des données

Cependant, pour répondre aux demandes croissantes des parties prenantes internes et externes, la société a eu besoin de mettre à l'échelle son lac de données plus facilement. Lorsque les données, réparties dans des myriades d'environnements en silo, n'étaient pas facilement accessibles, l'innovation du groupe BMW était ralentie par sa propre infrastructure informatique et par les longs délais requis pour soutenir les nouvelles initiatives. Le groupe BMW avait besoin de développer une solution assez agile à la fois pour soutenir les besoins en matière de données des différentes unités commerciales internes, mais aussi pour permettre à la société d'avancer rapidement afin de traiter les différents cas d'utilisation émergents exigés par ses clients.

Le groupe BMW cherchait également à offrir aux consommateurs des données un accès en temps réel, par exemple à la télémétrie des véhicules comportant des informations sur la vitesse, le lieu, la température, les niveaux de batterie et de freinage, et le statut du moteur. De plus, le groupe BMW voulait intégrer l'analytique et le machine learning dans le lac de données pour accélérer le développement de nouveaux services innovants. L'un des prérequis de base était que la solution fournisse la gouvernance nécessaire pour assurer la conformité aux réglementations en matière de confidentialité et de sécurité.

Face à ces défis, le groupe BMW a décidé de revisiter l'architecture et de déplacer son lac de données sur site vers le cloud Amazon Web Services (AWS). Le Cloud Data Hub (CDH) de la société traite et associe des données anonymisées de capteurs de véhicule et d'autres sources à l'échelle de l'entreprise pour les rendre facilement accessibles aux équipes internes qui créent des applications internes et orientées clients. Au bout du compte, la société a découvert qu'AWS offrait l'agilité et la flexibilité dont elle avait besoin, ainsi que la portée nécessaire pour soutenir les utilisateurs du monde entier.

Avant la migration, le lac de données sur site rigide du groupe BMW ne répondait pas aux besoins en évolution constante des ingénieurs de données et des analystes. L'ancien lac de données, qui exécutait des flux de travail interdépendants, ne pouvait pas gérer correctement plusieurs tenants. Par conséquent, les équipes de plateforme, d'ingestion et de cas d'utilisation du groupe BMW devaient mettre en place une coordination complexe pour travailler sur les projets, et rencontraient des goulots d'étranglement organisationnels qui les ralentissaient.

BMW Group s'est tourné vers différents services gérés AWS, y compris Amazon Athena, Amazon Simple Storage Service (Amazon S3), Amazon Kinesis Data Firehose et AWS Glue, pour réduire la complexité de la configuration en différenciant les composants, et créer un environnement capable de changer d'échelle pour répondre aux besoins des ingénieurs de données. De plus, les équipes peuvent à présent avoir leur propre processus DevOps de bout en bout. Elles bénéficient ainsi de l'autonomie et de l'agilité nécessaires pour continuer à innover. En outre, BMW Group a mis en place un portail web moderne qui aide les utilisateurs du CDH à découvrir des jeux de données fiables à l'aide d'un algorithme de recherche avancée, et à interroger facilement les données pour générer de nouvelles informations.

Grâce aux services AWS, BMW Group ingère une grande quantité de données au quotidien. Actuellement, des millions de véhicules BMW et MINI sont connectés au CDH via le backend hautement sécurisé du groupe BMW, en traitant chaque jour des téraoctets de données de télémétrie anonymes. La société utilise ces données afin de surveiller les indicateurs de santé du véhicule, comme les erreurs de contrôle, et d'identifier des problèmes potentiels dans les lignes de véhicules. Le groupe BMW peut ainsi exploiter les données de la flotte intégrées, collectées et affinées à partir du CDH pour mieux résoudre les problèmes, avant même qu'ils n'affectent les clients.

Pour mieux gérer ces données, le groupe BMW a introduit la notion de « fournisseurs de données » et de « consommateurs de données » pour améliorer l'autonomie et l'agilité de ses équipes d'ingénierie logicielle. Les fournisseurs de données ingèrent et transforment les données avec des services AWS dont Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue et Amazon EMR. Les consommateurs de données peuvent ensuite utiliser des services comme Amazon Athena, Amazon SageMaker, AWS Glue et Amazon EMR en vue d'exploiter les données pour leurs cas d'utilisation. Les fournisseurs et les consommateurs utilisent ces services dans leurs propres comptes et ne partagent que des interfaces bien définies qui peuvent être contrôlées par une API centrale, ce qui aide à éviter les goulots d'étranglement. Les couches de données individuelles sont stockées dans des compartiments Amazon S3 et leurs schémas sont enregistrés dans le catalogue de données AWS Glue.

En plus de recueillir des métadonnées techniques dans le catalogue de données AWS Glue, le groupe BMW a découvert qu'il était essentiel de créer un catalogue de données lisible pour démocratiser les données à l'échelle de l'organisation. Cet effort assurerait un niveau de transparence supérieur sur les ressources de données rassemblées dans le CDH et sur la méthode associée. L'application front-end Data Portal sert d'explorateur de données pour booster la productivité des analystes de données, scientifiques des données et ingénieurs, en affichant clairement les ressources de données et en offrant un « indice de popularité » fondé sur les modèles d'utilisation des données pour plus de 500 utilisateurs dans l'organisation.

En outre, le CDH exploite GraphQL à travers AWS AppSync afin de créer des API évolutives et universelles pour les fournisseurs de données comme pour les consommateurs, ce qui augmente la flexibilité du développement. Contrairement aux API REST traditionnelles, les interfaces créées sur GraphQL sont bien adaptées pour prendre en charge les exigences d'évolution, comme la représentation des métadonnées pour le catalogue de données ou l'apport de données hétérogènes collectées à partir de véhicules connectés. Les développeurs ont la flexibilité nécessaire pour définir la structure de charge et les paramètres de requête pour extraire les données dont ils ont besoin pour un cas d'utilisation donné. Cela les aide à créer des applications bien plus rapidement, car il n'est plus nécessaire de créer un nouvel ensemble d'API pour chaque projet, avec un ensemble différent d'exigences en matière de données.

Le lac de données centralisé et basé sur AWS constitue la base de BMW Group pour le développement de solutions informatiques axées sur les données. Il permet à la société de changer d'échelle de manière automatique et indépendante sur une architecture sans serveur. Il peut donc innover plus rapidement qu'il ne l'aurait fait avec la solution sur site précédente, qui nécessitait une gestion de l'infrastructure et une planification de la capacité pour chaque nouvelle initiative.

BMW Group mettra en open-source des composants clés entourant le CDH, notamment ses API, son architecture et son Data Portal. BMW Group est en outre l'un des premiers membres de Gaia-X, l'initiative européenne visant à établir des espaces de données souverains.

À l'avenir, BMW Group compte poursuivre la montée en puissance des capacités de la plateforme CDH afin de continuer l'accélération de sa transformation numérique et de générer plus de valeur dans l'entreprise, soutenant ainsi des expériences client innovantes, de nouveaux services de mobilité et des informations métier internes. Demtröder conclut : « Notre parcours avec AWS commence à peine. Nous sommes impatients d'aider notre entreprise à suivre sa stratégie, visant à favoriser l'innovation à l'avenir. »

Pour en savoir plus, visitez le site thinkwithwp.com/appsync.