BMW Group sfrutta al meglio la potenza dei dati con un data lake basato su AWS

Tuttavia, l'azienda doveva dimensionare più facilmente il proprio data lake per supportare le crescenti richieste delle parti interessate interne ed esterne. A causa della difficoltà di accedere a dati disseminati in numerosi ambienti isolati, l'innovazione di BMW Group era rallentata dall'infrastruttura IT in uso e dai lunghi tempi necessari per supportare nuove iniziative. Il BMW Group aveva bisogno di sviluppare una soluzione sufficientemente agile da supportare sia le esigenze di dati di tutte le varie unità aziendali interne sia consentire all'azienda di muoversi rapidamente per affrontare la serie di casi d'uso emergenti richiesti dai suoi clienti.

Il BMW Group ha anche cercato di fornire ai consumatori di dati l'accesso in tempo reale, ad esempio, alla telemetria del veicolo, come informazioni su velocità, posizione, temperatura, livelli di batteria e freni e stato del motore. Desiderava inoltre integrare nel data lake funzionalità di analisi e machine learning per accelerare lo sviluppo di nuovi servizi innovativi. Come prerequisito di base, la soluzione doveva anche fornire la governance necessaria per garantire la conformità alle normative in materia di privacy e sicurezza.

Per rispondere a queste sfide, BMW Group ha deciso di riprogettare e trasferire il suo data lake on-premise in Amazon Web Services (AWS) Cloud. Il Cloud Data Hub (CDH) di BMW Group elabora e combina dati anonimizzati raccolti da sensori di veicoli e da altre origini all'interno dell'organizzazione per renderli facilmente accessibili ai team aziendali che creano applicazioni interne e rivolte ai clienti. Alla fine, l'azienda ha scoperto che AWS offriva l'agilità e la flessibilità di cui aveva bisogno, insieme all'impronta necessaria per supportare gli utenti in tutto il mondo.

Prima della migrazione, il rigido data lake on-premise del BMW Group non è riuscito a soddisfare le esigenze sempre crescenti di ingegneri e analisti di dati. Eseguendo flussi di lavoro interdipendenti, il vecchio data lake non poteva gestire bene più tenant e, di conseguenza, i team della piattaforma, dell'importazione e dei casi d'uso del BMW Group richiedevano un coordinamento complesso per lavorare sui progetti e si sono imbattuti in colli di bottiglia nell'organizzazione, rallentando il loro ritmo.

Il BMW Group si è rivolto a un mix di servizi gestiti da AWS, tra cui Amazon Athena, Amazon Simple Storage Service (Amazon S3), Amazon Kinesis Data Firehose e AWS Glue, per ridurre la complessità della configurazione differenziando i componenti e creare un ambiente in grado di scalare per soddisfare le esigenze dei data engineer. Inoltre, i team possono ora avere il proprio processo DevOps end-to-end, offrendo loro l'autonomia e l'agilità necessarie per continuare a innovare. Inoltre, il BMW Group ha implementato un moderno portale Web che aiuta gli utenti del CDH a scoprire set di dati affidabili utilizzando un algoritmo di ricerca avanzato e interrogare facilmente i dati per generare nuove informazioni.

BMW Group utilizza i servizi AWS per acquisire vaste quantità di dati ogni giorno. Attualmente, milioni di veicoli BMW e MINI sono collegati al CDH tramite il back-end estremamente sicuro di BMW Group e ogni giorno vengono elaborati terabyte di dati telemetrici anonimi. L'azienda utilizza questi dati per monitorare gli indicatori dello stato dei veicoli, ad esempio verificare gli errori dei controlli per individuare potenziali problemi in tutte le linee di veicoli. Ciò consente al BMW Group di sfruttare i dati della flotta acquisiti, raccolti e perfezionati dal CDH per risolvere meglio i problemi, anche prima che abbiano un impatto sui clienti.

Per gestire meglio questi dati, il BMW Group ha introdotto la nozione di "fornitori di dati" e "consumer di dati" per aumentare sia l'autonomia che l'agilità dei suoi team di ingegneria del software. I fornitori di dati acquisiscono e trasformano i dati con servizi AWS come Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue e Amazon EMR. I consumer di dati possono quindi utilizzare servizi come Amazon Athena, Amazon SageMaker, AWS Glue e Amazon EMR per utilizzare i dati per i propri casi d'uso. Sia i fornitori di dati che i data consumer utilizzano questi servizi nei propri account e condividono soltanto interfacce ben definite che possono essere controllate da un'API centrale, aiutando a prevenire i colli di bottiglia. I singoli livelli di dati sono archiviati nei bucket Amazon S3 e i relativi schemi sono registrati nel Catalogo dati di AWS Glue.

Oltre a raccogliere metadati tecnici nel Catalogo dati di AWS Glue, il BMW Group ha scoperto che la creazione di un catalogo di dati leggibile dall'uomo era essenziale per democratizzare i dati a livello di organizzazione. Ciò avrebbe garantito un elevato livello di trasparenza relativa agli asset di dati raccolti nel CDH e alle modalità di raccolta. Il portale di dati dell'applicazione front-end funziona da esploratore di dati per aumentare la produttività di analisti di dati, scienziati di dati e ingegneri visualizzando chiaramente le risorse di dati e offrendo un "indice di popolarità" basato sui modelli di utilizzo dei dati per oltre 500 utenti in tutta l'organizzazione.

Inoltre, CDH sfrutta GraphQL via AWS AppSync per creare API scalabili e universali sia per i fornitori di dati che per i consumer, aumentando la flessibilità di sviluppo. A differenza delle tradizionali API REST, le interfacce basate su GraphQL sono adatte a supportare requisiti evolutivi, come la rappresentazione dei metadati per il catalogo dei dati o la fornitura di dati eterogenei raccolti da veicoli connessi. Gli sviluppatori hanno la flessibilità di definire la struttura del payload e i parametri delle query per ottenere i dati di cui hanno bisogno per un determinato caso d'uso. Ciò li aiuta a creare applicazioni in modo molto più rapido rispetto a prima, perché non devono più creare un nuovo set di API per ogni progetto con un diverso set di requisiti dei dati.

Il data lake centralizzato e basato su AWS rappresenta il punto nevralgico di BMW Group per lo sviluppo di soluzioni IT basate sui dati e consente all'azienda di ricalibrare le proprie risorse in modo automatico e indipendente su un'architettura serverless. Può quindi innovare più velocemente rispetto alla precedente soluzione on-premise, che richiedeva la gestione dell'infrastruttura e la pianificazione della capacità per ogni nuova iniziativa.

Il BMW Group applicherà l'open source ai componenti chiave che circondano il CDH, comprese le sue API, l'architettura e il portale dati. Ciò è ulteriormente alimentato dal fatto che il BMW Group è un membro sin dal primo giorno di Gaia-X, l'iniziativa europea per la creazione di spazi di dati sovrani. 

In futuro, il BMW Group continuerà a espandere le capacità della piattaforma CDH per accelerare ulteriormente la sua trasformazione digitale e generare valore aggiuntivo in tutta l'azienda, fornendo esperienze innovative dei clienti, nuovi servizi di mobilità e approfondimenti aziendali interni. Demtröder ha concluso "La collaborazione con AWS è appena iniziata, ma siamo impazienti di aiutare la nostra azienda a realizzare la sua strategia di proiettare l'innovazione verso il futuro".

Per ulteriori informazioni, visita thinkwithwp.com/automotive.