开放预览：Amazon Security Lake – 专门打造的客户自有数据湖服务

要识别潜在的安全威胁和漏洞，客户需要启用各种资源的日志记录功能，并将这些日志集中起来，以便在分析工具中轻松访问和使用。其中一些数据来源包括来自本地基础设施、防火墙和端点安全解决方案的日志，在使用云服务时，还包括 Amazon Route 53、AWS CloudTrail 和 Amazon Virtual Private Cloud（Amazon VPC）等服务的日志。

Amazon Simple Storage Service（Amazon S3）和 AWS Lake Formation 简化了 AWS 上的数据湖的创建和管理。不过，一些客户的安全团队在定义和实现安全领域的特定方面（例如数据标准化）遇到困难，因为这要求他们分析每个日志来源的结构和字段，定义 Schema 和映射，并提取威胁情报等数据丰富元素。

今天，我们宣布推出 Amazon Security Lake 预览版，这是一项专门构建的服务，可自动将来自云端和本地来源的组织安全数据集中到存储在您账户中的专用数据湖中。Amazon Security Lake 可自动集中管理安全数据，通过集成的 AWS 服务和第三方服务实现数据标准化，按照可自定义的保留期管理数据的生命周期，此外还可以自动进行存储分层。

Amazon Security Lake 的主要功能如下：

支持多种日志和事件源 – 在预览期间，Amazon Security Lake 会自动采集 AWS CloudTrail、Amazon VPC、Amazon Route 53、Amazon S3 和 AWS Lambda 日志，以及通过 AWS Security Hub 获取的 AWS Config、AWS Firewall Manager、Amazon GuardDuty、AWS Health Dashboard、AWS IAM Access Analyzer、Amazon Inspector、Amazon Macie 和 AWS Systems Manager 补丁管理器安全调查结果。此外，超过 50 个第三方安全调查结果来源可向 Amazon Security Lake 发送调查结果。安全合作伙伴还可直接以标准的 Schema 向 Amazon Security Lake 发送数据，这被称为开放网络安全 Schema 框架（OCSF）格式，例如 Cisco Security、CrowdStrike、Palo Alto Networks等。
数据转换和标准化 – Security Lake 会自动对传入的日志数据进行分区并将其转换为能够高效存储和查询的 Apache Parquet 和 OCSF 格式，使数据无需后期处理即可立即用于各种安全分析。Security Lake 支持与 IBM、Splunk、Sumo Logic 等分析合作伙伴集成，以满足威胁检测、调查和事件响应等各种安全应用场景的需要。
可自定义数据访问级别 – 您可以为使用 Security Lake 中所存储数据的订户配置权限级别，例如允许特定的数据来源访问所有新对象，或直接查询存储的数据。您还可以指定一个可在其中使用 Security Lake 的汇总区域，以及您的 AWS Organizations 中的多个 AWS 账户。这有利于您遵守数据驻留合规性要求。

通过减少安全数据管理方面的运营开销，您可以更轻松地从整个组织中采集更多安全信号并分析这些数据，从而加强对数据、应用程序和工作负载的保护。

配置 Security Lake 以采集数据
要开始使用 Amazon Security Lake，请在 AWS 管理控制台中选择 Get started（开始使用）。您可以为所有区域和所有账户启用日志和事件源。

您可以选择要摄入数据湖的日志和事件源，例如 CloudTrail 日志、VPC 流日志和 Route 53 Resolver 日志。选中相关区域后，会将这些区域的数据注入您的数据湖并启用 Amazon S3 托管式加密，因此 Amazon S3 将会创建和管理所有加密密钥以及您组织中的特定 AWS 账户。

然后，您可以选择汇总区域和贡献区域。来自贡献区域的所有聚合数据都将在汇总区域驻留。您可以创建多个汇总区域，以帮助您遵守数据驻留合规性要求。您还可以定义 Amazon S3 存储类和保留期，以便按照您的要求将数据从 Security Lake 中使用的标准 Amazon S3 存储类进行转移。

首次配置后，如果可以在区域或账户中添加或删除日志源，请在控制台左侧窗格中选择 Sources（源）。

您还可以从自定义来源采集数据，例如 Bind DNS 日志、端点遥测日志、本地 Netflow 日志等。在添加自定义来源之前，您需要创建 AWS IAM 角色来授予 AWS Glue 的权限。

要创建自定义数据来源，请在 Custom sources（自定义来源）的左侧菜单中选择 Create custom source（创建自定义来源）。

这时会要求您输入 IAM 角色的 Amazon 资源名称（ARN），以将数据写入 Security Lake 并代表您调用 AWS Glue。然后，您可以提供有关自定义来源的详细信息。

为了高效处理和查询数据，来自自定义来源的对象应使用 Parquet 格式的对象，按 AWS 区域、AWS 账户、年、月、日和小时对进行分区。

使用来自 Security Lake 的数据
这时您可以创建一个订户，即将会使用来自 Security Lake 的日志和事件的服务。要添加或查看订户，请在控制台左侧窗格中选择 Subscribers（订户）。

Security Lake 支持两种类型的订户数据访问方法：

数据访问（Amazon S3）– 当数据写入您的 Security Lake S3 存储桶时，订户会收到有关某个来源的新对象的通知。您可以选择使用 Amazon Simple Queue Service（Amazon SQS）队列或通过向订户提供的 HTTPS 端点发送消息，从而向订户发送新对象通知。这种类型对于在分析应用程序中摄入选定的数据非常有用，非常适合需要频繁访问数据的应用场景。
查询访问（Lake Formation）– 订户可以通过Amazon Athena 等服务直接查询 S3 存储桶中的 AWS Lake Formation 表，从而使用数据。这种类型对于提供按需数据查询访问权限非常有用，无需预先摄取任何内容，此外也适合需要不频繁访问的应用场景，或由于成本过高而无法在分析工具中预先摄取或保留的大量来源场景。

添加订户时，可以选择 Amazon S3 为订户创建数据访问权限。如果您选择默认的通知方法，则可能在 HTTPS 端点或 Amazon SQS 中收到以下对象通知消息。

{
  "source": "aws.s3",
  "time": "2021-11-12T00:00:00Z",
  "region": "ca-central-1",
  "resources": [
    "arn:aws:s3:::example-bucket"
  ],
  "detail": {
    "bucket": {
      "name": "example-bucket"
    },
    "object": {
      "key": "example-key",
      "size": 5,
      "etag": "b57f9512698f4b09e608f4f2a65852e5"
    },
    "request-id": "N4N7GDK58NMKJ12R",
    "requester": "123456789012"
  }
}

如果订户具有查询访问权限，则可以使用 Amazon Athena 等服务和可以从 AWS Lake Formation 读取的其他服务直接查询存储在 Security Lake 中的数据。以下是 CloudTrail 数据的示例查询。

SELECT 
      time,
      api.service.name,
      api.operation,
      api.response.error,
      api.response.message,
      src_endpoint.ip 
    FROM ${athena_db}.${athena_table}
    WHERE eventHour BETWEEN '${query_start_time}' and '${query_end_time}' 
      AND api.response.error in (
        'Client.UnauthorizedOperation',
        'Client.InvalidPermission.NotFound',
        'Client.OperationNotPermitted',
        'AccessDenied')
    ORDER BY time desc
    LIMIT 25

订户只能访问您在创建该订户时所选 AWS 区域中的源数据。要允许订户访问来自多个区域的数据，您可以将创建订户的区域设置为汇总区域。

第三方集成
对于支持的第三方集成，许多来源和订阅服务都可与 Amazon Security Lake 集成。

Amazon Security Lake 支持提供 OCSF 安全数据的第三方来源，包括 Barracuda Networks、Cisco、Cribl、CrowdStrike、CyberArk、Lacework、Laminar、Netscout、Netskope、Okta、Orca、Palo Alto Networks、Ping Identity、SecurityScorecard、Tanium、The Falco Project、Trend Micro、Vectra AI、VMware、Wiz 和 Zscaler。

您还可以使用支持 Security Lake 的第三方安全、自动化和分析工具，包括 Datadog、IBM、Rapid7、Securonix、SentinelOne、Splunk、Sumo Logic 和 Trellix。一些服务合作伙伴也可为您和 Amazon Security Lake 提供支持，例如埃森哲、Atos、德勤、DXC、Kyndryl、普华永道、Rackspace 和 Wipro。

参与预览版试用
Amazon Security Lake 预览版现已在美国东部（俄亥俄州）、美国东部（弗吉尼亚州北部）、美国西部（俄勒冈州）、亚太地区（悉尼）、亚太地区（东京）、欧洲地区（法兰克福）和欧洲地区（爱尔兰）区域开放。

要了解更多信息，请参阅 Amazon Security Lake 页面和 Amazon Security Lake 用户指南。我们希望在开放预览期间听到更多反馈。请将反馈发送至 AWS re:Post 或通过您通常使用的 AWS Support 联系方式发送反馈。

– Channy

亚马逊AWS官方博客

开放预览：Amazon Security Lake – 专门打造的客户自有数据湖服务