Die BMW Group nutzt einen AWS-basierten Data Lake, um das Potenzial ihrer Daten voll auszuschöpfen.

Jedoch musste das Unternehmen seinen Data Lake leichter skalieren, um die immer größer werdenden Nachfragen von internen und externen Stakeholdern zu erfüllen. Da die auf zahlreiche isolierte Umgebungen verteilten Daten nicht einfach zugänglich waren, wurden die Innovationen der BMW Group durch ihre eigene IT-Infrastruktur ausgebremst. Aufgrund der langwierigen Vorlaufzeit war es erforderlich, neue Initiativen zu fördern. Die BMW Group musste eine Lösung entwickeln, die agil genug war, die Datenbedürfnisse der verschiedenen internen Geschäftsbereiche zu erfüllen und es dem Unternehmen auch zu ermöglichen, schnell zu handeln, um sich mit der Reihe von Anwendungsbeispielen zu befassen, die seine Kunden fordern.

Die BMW Group strebte auch danach, den Verbrauchern Echtzeit-Zugriff beispielsweise zur Telemetrie von Fahrzeugen zur Verfügung zu stellen. Beispiele dazu sind Informationen zu Geschwindigkeit, Standort, Temperatur, Batterie, Bremshebel und Zustand des Motors. Außerdem sollten Analysen und Machine Learning in den Data Lake integriert werden, um die Entwicklung neuer, innovativer Services zu beschleunigen. Grundvoraussetzung der Lösung war auch die erforderliche Governance, um die Compliance mit Privatsphäre- und Sicherheitsbestimmungen zu gewährleisten.

Um diese Herausforderungen anzugehen, gestaltete die BMW Group ihren On-Premises-Data-Lake um und verschob ihn in die Amazon Web Services (AWS) Cloud. Der Cloud Data Hub (CDH) des Unternehmens verarbeitet und kombiniert anonymisierte Daten aus Fahrzeugsensoren und weiteren Quellen unternehmensweit, um sie internen Teams zur Verfügung zu stellen, die kundenseitige und interne Anwendungen erstellen. Letztendlich hat das Unternehmen festgestellt, dass AWS die benötigte Agilität und Flexibilität angeboten hat, zusammen mit der Präsenz, die zur Unterstützung von Benutzern weltweit nötig ist.

Vor der Migration konnte der strenge On-Premises Data Lake der BMW Group das ständig wachsende Bedürfnis der Daten-Ingenieure und Analysten nicht erfüllen. Da der alte Data Lake voneinander abhängige Workflow ausführte, konnte er mit mehreren Mandanten schlecht umgehen. Demzufolge erforderten die Plattform-, Datenerfassungs- und Anwendugnsfall-Teams der BMW Group eine komplexe Koordination, um an Projekte zu arbeiten und erlebte organisationsbezogene Engpässe. Dadurch wurde das Tempo verlangsamt.

Die BMW Group wandte sich and einer Mischung von AWS Managed Services, einschließlich Amazon Athena, Amazon Simple Storage Service (Amazon S3), Amazon Kinesis Data Firehose, und AWS Glue um die Komplexität der Einrichtung durch Differenzierung von Komponenten zu reduzieren und um eine Umgebung zu schaffen, die skaliert werden kann, um die Bedürfnisse der Datentechniker zu erfüllen. Außerdem konnten die Teams nun ihre eigenen durchgängigen DevOps-Prozesse haben. Dadurch erhielten Sie die Autonomie und die Agilität, die zur kontinuierlichen Innovation nötig waren. Zudem implementierte die BMW Group ein modernes Web-Portal, das den Benutzern des CDH dabei hilft, vertrauenswürdige Datensätze mit einem fortgeschrittenen Such-Algorithmus zu entdecken, und um Daten leicht zur Generierung neuer Erkenntnisse abzufragen.

Mit den AWS-Services verarbeitet die BMW Group jeden Tag eine riesige Menge an Daten. Aktuell sind Millionen von BMWs und MINIs über das sehr sichere Backend der BMW Group mit dem CDH vernetzt und es werden täglich anonyme Telemetriedaten im Terabyte-Bereich verarbeitet. Das Unternehmen überwacht anhand dieser Daten Zustandsindikatoren der Fahrzeuge wie beispielsweise Fehlermeldungen. Potentielle Probleme mit den Baureihen werden so erkannt. Dadurch kann die BMW Group die vom CDH erfassten, gesammelten und verfeinerten Flottendaten nutzen, um Probleme besser lösen zu können, bevor sie sich auf die Kunden auswirken.

Zur besseren Verwaltung dieser Daten hat die BMW Group den Gedanken der „Datenanbieter“ und „Datenverbraucher“ eingeführt, um sowohl die Autonomie als auch die Agilität seiner Software-Engineering-Teams zu erhöhen. Datenanbieter erfassen und transformieren Daten mit AWS-Services wie Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue und Amazon EMR. Datenkonsumenten verwenden dann Services wie Amazon Athena, Amazon SageMaker, AWS Glue und Amazon EMR, um Daten für ihre Anwendungsfälle zu nutzen. Sowohl Anbieter als auch Konsumenten nutzen diese Services in ihren eigenen Konten und geben nur klar definierte Schnittstellen frei, die von einer zentralen API gesteuert werden. So werden Engpässe verhindert. Die einzelnen Datenschichten werden in Amazon-S3-Buckets gespeichert und ihre Schemata werden im AWS-Glue-Datenkatalog registriert.

Neben der Sammlung von technischen Metadaten im AWS-Glue-Datenkatalog hat die BMW Group festgestellt, dass der Aufbau eines visuell lesbaren Datenkatalogs zur Demokratisierung von Daten im gesamten Unternehmen von wesentlicher Bedeutung war. Ein solches Bemühen ermöglicht ein hohes Maß an Transparenz darüber, welche Daten-Komponenten auf welche Weise im CDH erfasst werden. Die Frontend-Anwendung Data Portal dient als Daten-Explorer, um die Produktivität der Datenanalysten, Datenwissenschaftler und Ingenieure zu erhöhen, indem Datenressourcen klar dargestellt werden und ein „Popularitätsindex“ basierend auf Datennutzungsmustern für mehr als 500 Benutzern in der gesamten Organisation angeboten wird.

Außerdem nutzt der CDH GraphQL über AWS AppSync, um skalierbare und universelle APIs für Datenanbieter und Verbraucher gleichermaßen zu erstellen. Dadurch wird die Flexibilität der Entwicklung erhöht. Anders als herkömmliche REST-APIs unterstützen in GraphQL erstellte Schnittstellen Entwicklungsanforderungen wie die Repräsentation von Metadaten für den Datenkatalog oder die Bereitstellung heterogener Daten vernetzter Fahrzeuge. Entwickler legen die Nutzlaststruktur und Abfrageparameter flexibel fest, um die für einen bestimmten Anwendungsfall erforderlichen Daten abzurufen. So können sie Anwendungen erheblich schneller als zuvor erstellen, da sie nicht mehr für jedes Projekt mit anderen Datenanforderungen eine neue Reihe von APIs erstellen müssen.

Der zentrale Data Laka auf Basis von AWS stellt für die BMW Group die Grundlage für die Entwicklung datengesteuerter IT-Lösungen dar. Er ermöglicht dem Unternehmen eine automatische und unabhängige Skalierung auf einer serverlosen Architektur. Der Data Lake kann demzufolge schneller innovieren als mit der On-Premise-Lösung, die ein Infrastruktur-Management und eine Kapazitätsplanung für jede neue Initiative erforderte.

Die BMW Group führt bei wichtigen Komponenten, die den CDH umgeben, ein Open Sourcing durch, u. a. auch bei den APIs, der Architektur und beim Datenportal. Dies wird weiterhin durch die Tatsache unterstützt, dass die BMW Group ein erstmaliges Mitglied von Gaia-X ist, der europäischen Initiative zur Erstellung von unabhängigen Datenräumen.

Ab sofort wird die BMW Group die Funktionen der CDH-Plattform weiterhin aufskalieren, um die digitale Transformation noch weiter zu beschleunigen und um zusätzlichen Wert im Geschäft voranzutreiben. Dadurch werden innovative Kundenerlebnisse, neue Mobilitätsservices und interne Geschäftserkenntnisse gefördert. Demtröder sagte zum Abschluss: „Wir gehen gerade die ersten Schritte mit AWS und freuen uns darauf, die Strategie unseres Unternehmens umzusetzen, indem wir Innovationen für die Zukunft fördern.“

Weitere Informationen finden Sie unter thinkwithwp.com/automotive.