宝马集团利用基于 AWS 的数据湖充分释放数据的力量

但是，该公司需要更加轻松地扩展其数据湖以支持内部和外部利益攸关方持续增长的需求。由于数据分散在无数个孤立的环境中，不易获取，再加上自身 IT 基础设施陈旧，并且支持新的计划需要较长准备时间，宝马集团的创新步伐放缓。宝马集团需要开发具有足够敏捷性的解决方案，不仅支持各内部业务部门的数据需求，而且便于公司快速响应以应对层出不穷的客户需求使用案例组合。

宝马集团还致力于赋能数据使用者对诸如车辆遥测数据的实时访问权限，例如有关速度、位置、温度、电池电量和制动液液位以及发动机状态的信息。此外，该集团还希望将分析和机器学习整合到数据湖中，以加速开发新的创新服务。而且，该解决方案必须提供所需的治理，以确保遵守隐私和安全法规，这是基本的先决条件。

为了应对这些挑战，宝马集团决定重新构建其本地部署数据湖，并将其迁移至 Amazon Web Services (AWS) 云。该公司的云数据中心 (CDH) 可处理并整合来自车辆传感器和整个企业其他来源的匿名数据，使创建面向客户的应用程序和内部应用程序的内部团队能够轻松获取这些数据。最终，该公司发现 AWS 可提供其所需的敏捷性和灵活度以及必需的覆盖，从而为全球用户提供支持。

在迁移之前，宝马集团僵化的本地部署数据湖无法满足数据工程师和分析师持续增长的需求。由于运行相互依赖的工作流，旧的数据湖无法从容处理多个租户，因此，宝马集团的平台、摄入和使用案例团队需要复杂的协作才能处理项目，导致出现企业瓶颈并降低其工作效率。

宝马集团转向了混合式 AWS Managed Services（包括 Amazon Athena、Amazon Simple Storage Service (Amazon S3)、Amazon Kinesis Data Firehose 和 AWS Glue），通过差异化组件以及创建能够扩缩以满足数据工程师需求的环境来降低设置的复杂性。此外，团队目前拥有其自己的端到端 DevOps 流程，从而赋能他们继续创新所需的自主性和敏捷性。 另外，宝马集团实施了现代 Web 门户，使用高级搜索算法和可轻松查询的数据帮助 CDH 用户发现可信赖的数据集，进而生成全新的洞察。

使用 AWS 服务，宝马集团每天摄入大量数据。目前，数百万辆宝马和 MINI 汽车通过宝马集团高度安全的后端连接到 CDH，系统每天处理数 TB 的匿名遥测数据。该公司使用这些数据来监控车辆运行状况指标，例如检查控制错误以识别整个车系的潜在问题。这赋能宝马集团运用从 CDH 摄入、收集和细化的车队数据更好地解决问题，甚至将问题解决在萌芽之时。

为了更好地管理这些数据，宝马集团推出了“数据提供者”和“数据使用者”的概念，以提升其软件工程团队的自主权和敏捷性。数据提供者使用 Amazon Kinesis Data Firehose、AWS Lambda、AWS Glue 和 Amazon EMR 等 AWS 服务摄入和转换数据。然后，数据使用者可以利用 Amazon Athena、Amazon SageMaker、AWS Glue 和 Amazon EMR 等服务，在其使用案例中运用这些数据。提供者和使用者均是在自己的账户中使用这些服务，只共享可由中央 API 控制的明确定义的接口，这有助于防止出现瓶颈。单个数据层存储在 Simple Storage Service (Amazon S3) 存储桶中，其架构注册于 AWS Glue 数据目录中。

除了在 AWS Glue 数据目录中收集技术元数据外，宝马集团发现构建人类可读的数据目录对于在企业范围内普及数据非常必要。这项工作将可确保流程高度透明，让大家清楚地了解在 CDH 中收集哪些数据资产以及如何收集这些数据资产。前端应用程序 Data Portal 作为数据浏览器可根据全企业 500 多位用户的数据使用模式清晰显示数据资源并提供“受欢迎程度索引”，从而提升数据分析师、数据科学家和工程师的效率。

此外，CDH 通过 AWS AppSync 运用 GraphQL 为数据提供者和使用者构建可扩展的通用 API，从而提升开发灵活度。与传统 REST API 不同，在 GraphQL 上构建的接口非常适合支持演变的要求，比如表示数据目录的元数据或提供从互联车辆收集的异构数据。开发人员可以灵活地定义有效负载结构和查询参数，以获取给定使用案例所需的数据。这有助于显著加快构建应用程序的速度，因为他们不再需要为每个具有不同数据要求的项目创建一组新的 API。

基于 AWS 的集中式数据湖为宝马集团开发数据驱动型 IT 解决方案奠定了基础，并使该公司能够在无服务器架构上自动且独立地进行扩展。因此，与其之前的本地部署解决方案相比，其可以更快速地创新，因为之前的解决方案需要为每个新计划规划基础设施管理和容量。

宝马集团将围绕 CDH（包括其 API、架构和 Data Portal）开源关键组件。这也受宝马集团作为 Gaia-X 第一天成员的推动，Gaia-X 是一项欧洲倡议，皆在确立具有主权的数据空间。 

展望未来，宝马集团将继续横向扩展 CDH 平台的功能，进一步加速其数字化转型并在全业务范围内推动附加价值，从而赋能创新的客户体验、全新的移动服务和内部业务洞察。Demtröder 总结到，“与 AWS 的合作才刚刚开始，我们期待 AWS 帮助我们的企业实现推动创新走向未来的战略。”

要了解更多信息，请访问 thinkwithwp.com/automotive。