亚马逊AWS官方博客
数据工程专业证书:DeepLearning.AI 和 AWS 推出新的实践专业课程
在现代数据驱动型环境中,数据工程师发挥着至关重要的作用,并负责管理从数据摄取和处理到转换和服务等基本任务。在极其重视利用大型数据集的价值的生成式人工智能时代,他们的专业知识尤其难能可贵。
为了增强抱负远大和经验丰富的数据专业人员的能力,DeepLearning.AI 和 Amazon Web Services(AWS)合作推出了数据工程专业课程,这是 Coursera 上提供的一个高级专业证书。这门综合课程涵盖了与现代组织相关的多种数据工程概念、工具和技术。它专为拥有一定数据处理经验并希望学习数据工程基础知识的学员而设计。这一专业包含四门动手实践课程,完成每门课程之后,最终都会获得一个 Coursera 课程证书。
专业概述
这门数据工程专业课程是由 AWS 和 DeepLearning.AI 发起的一项共同倡议,后者是世界一流的人工智能教育提供商,由著名的机器学习(ML)先驱吴恩达(Andrew Ng)创立。
作为数据工程领域的一名杰出人物,同时也是畅销书《数据工程基础知识》(Fundamentals of Data Engineering)的合著者,Joe Reis 以主讲教师的身份担任这门课程的带头人。通过提供基础框架,这门课程可确保学员全面了解数据工程生命周期,同时涵盖了数据架构、编排、DataOps 和数据管理等关键方面。
这门课程以 AWS 云端托管的动手实验和技术评估为特色,进一步增强了学习体验。这些基于云的实用练习是与 Gal Heyne、Navnit Shukla 和 Morgan Willis 等 AWS 技术专家合作设计的。学员将使用 Amazon Kinesis、AWS Glue、Amazon Simple Storage Service(Amazon S3)和 Amazon Redshift 等 AWS 服务和工具应用理论概念,从而获得动手技能和经验。
专业亮点
向参与者推介几个重要的学习机会。
掌握核心技能和策略
通过学习这一专业,数据工程师们能够为各种使用案例设计数据工程解决方案、为他们的数据架构选择适当的技术以及规避潜在的问题。掌握的技能普遍适用于多种平台和技术,为学员们提供了一个用途广泛的课程。
无与伦比的数据工程教育方法
与专注于特定技术的传统课程不同,这一专业可以帮助学员全面了解数据工程基础知识。它强调了将数据工程策略与更广泛的业务目标保持一致的重要性,以帮助学员采用一种更加综合、有效的方法构建和维护数据解决方案。
全面了解数据工程
通过利用《数据工程基础知识》一书中的洞察,这门课程提供了全面的教育,能够让专业人士为在数据驱动型行业取得成功做好准备。
通过 AWS 云实验室掌握实用技能
利用 AWS 合作伙伴 Vocareum 托管的动手实验,学员们可以直接在课程自带的 AWS 环境中运用技术。这种实践经验对于掌握复杂的数据工程和培养在业界脱颖而出所需的技能至关重要。
为什么选择这一专业?
- 结构化学习路径 – 这门专业经过精心设计,以提供从基础概念到高级应用的分步学习之旅。
- 专家洞察 – 从《数据工程基础知识》的作者和其他行业专家那里获得真知灼见。学习如何使用云服务进行数据工程,以运用实践知识在云端构建现代数据架构。
- 实践经验 – 参与 AWS 云端的动手实验,在那里不仅能够学习,还可以将知识应用到实际场景中。
- 全面的课程 – 这门课程涵盖了数据工程生命周期的各个方面,包括在源系统中生成数据以及摄取、转换、存储和服务。它还解决了数据工程的关键潜在问题,例如安全性、数据管理和编排。
在这门专业课程结束时,学员将具备开启数据工程职业生涯所需的技能和专业知识,任何希望利用数据创造价值的组织都会将数据工程视为他们的核心热门岗位。没有数据工程作为基础,就不可能执行以数据为中心的机器学习和分析。
课程模块
数据工程专业包含四门课程:
- 课程 1 – 数据工程简介 – 这一基础模块将探讨数据工程的协作性质、确定关键利益相关者并了解他们的需求。这门课程将深入探讨用于构建数据工程解决方案的心理框架,并强调全面了解生态系统以及数据质量、可扩展性和有效地收集需求等关键因素。随后,这门课程将探讨数据工程生命周期,并说明各个阶段之间的相互关系。通过展示 AWS 数据工程堆栈,这门课程将讲授如何使用适当的技术。在这门课程结束时,学员将具备应对数据工程挑战和做出明智决策时所需的技能和思维方式。
- 课程 2 – 源系统、数据摄取和管道 – 在这门课程中,数据工程师们将深入探讨与使用各种数据来源、摄取模式和管道构造相关的实际方面。学员们将探索不同数据格式的特征以及用于生成每种数据的适当源系统,以使他们掌握设计有效数据管道所需的知识。这门课程涵盖了关系数据库和 NoSQL 数据库的基础知识,包括 ACID 合规性和 CRUD 操作,以使工程师们学会如何与各种数据源系统进行交互。这门课程涵盖了云联网、解决数据库连接问题以及使用消息队列和流式传输平台的重要性,这些技能是创建强大、可扩展的数据架构的关键。通过掌握这门课程中的概念,数据工程师们将能够自动化数据摄取过程、优化连接并为成功的数据工程项目奠定基础。
- 课程 3 – 数据存储和查询 – 这门课程将为数据工程师们提供设计强大、高效的数据存储和查询解决方案所需的原则和最佳实践。学员们将探索数据湖仓的概念、实施类似于奖章的架构,并使用开放式表格式构建交易数据湖。这门课程通过讲授高级查询(例如对流式传输数据进行的聚合和联接)来提高 SQL 熟练程度,同时还探索数据仓库和数据湖功能。学员们将比较存储性能并发现优化策略,例如索引。数据工程师们可以了解查询的执行和处理,以使数据服务实现高性能和可扩展性。
- 课程 4 – 数据建模、转换和服务 – 在这门顶点课程中,数据工程师们将探索高级数据建模技术,包括 Data Vault 和星形架构。学员们将区分 Inmon 和 Kimball 等建模方法,以便能够转换数据和将数据结构化,从而实现最佳的分析和机器学习使用案例。这门课程为数据工程师们提供了文本数据、图像数据和表格数据的预处理技能。学员们将了解监督式学习和无监督学习以及分类任务与回归任务之间的区别,以便能够设计支持多种预测性应用的数据解决方案。通过掌握这些数据建模、转换和服务概念,数据工程师们可以构建强大、可扩展并与业务一致的数据架构,以创造最大价值。
注册
无论您刚刚接触数据工程还是希望提高技能,这一专业都通过 4 门课程提供理论与实践经验的均衡组合,每门课程最终都会获得 Coursera 课程证书。
从这里开启您的数据工程之旅:
通过报名参加这些课程,您还会在完成所有四门课程之后获得 DeepLearning.AI 数据工程专业证书。
立即报名参加,通过这门全面、实用的课程迈出掌握数据工程知识的第一步,这门课程基于《数据工程基础知识》而构建,并由 AWS 提供支持。
*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用,亚马逊云科技中国仅为帮助您了解行业前沿技术和发展海外业务选择推介该服务。