使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings

背景介绍

相信AWS的用户对AWS CloudFormation都不会陌生。AWS CloudFormation是实现IAC（Infrastructure as Code）自动化运维的一项重要服务，可以帮助用户对 AWS资源进行建模和设置，以便能花较少的时间管理这些资源。CloudFormation中有两个重要选项：Mappings段和Parameters段，可以帮助用户组织模板里的参数和映射，让用户更好地自定义堆栈，以实现模板的重用和复用。比方说可以用Mappings管理对应AWS上不同region的AMI ID，或者管理企业内部的不同部门。

但是当用户所在的组织越来越多地采用IAC自动化时，mappings和parameters的数量也会急剧增长，给CloudFormation模板的编写和维护带来复杂度。

解决方案

本文里我们介绍一种方法：用当前流行的Serverless计算AWS Lambda 和Amazon DynamoDB自动地管理AWS CloudFormation模板中的Parameters和Mappings。

本文中主要用到了以下几种 AWS服务：

1、DynamoDB表：Amazon DynamoDB是一个NoSQL数据库，这里我们采用它保存CloudFormation模板中所有的mappings和parameters。不仅可以实现集中存放，而且可以依赖DynamoDB的接口实现方便快速地增删和查找。比方说在我们的sample code中，整个企业采用这样一张表：partition key包括组名（比如说team1、team2等）和环境（比如说development、test、production等），sort key保存应用的名字。这个表里的数据类似这样：

当我们把这些数据都insert到DynamoDB中后，可以在AWS console里看到表中的内容是这样的：

2、Lambda方法：AWS Lambda又称为Serverless的计算，通过它你可以运行你的code而不需要预配置或者管理任何服务器。这里我们采用Lambda方法实现CloudFormation和DynamoDB之间的关联，它从CloudFormation模板接收primary key和sort key作为输入，查找DynamoDB表，并且返回所有的key-value数据。

3、Custom lookup resource：这是CloudFormation里的一个自定义资源，与一个Lambda方法绑定。CloudFormation除了可以定义已有的AWS资源，还支持几种自定义资源，包括这种以Lambda方法作为后端的自定义资源。当这种自定义资源创建、更新或者删除时，CloudFormation自动地向Lambda API发起请求，引发方法并将请求的数据传给Lambda方法，本例中所请求的数据是primary key，返回的数据是key-value数据。通常在一个组织中只需要建立这一个custom resource，所有的CloudFormation模板都可以复用它。下图是sample code里建立的custom resource：

让我们将这几种服务组合起来，并且定义好它们之间的交互顺序，整个解决方案就是下图展示的这样：

那么整个的交互顺序如下：

1、用户创建DynamoDB表，插入所需的mappings和parameters数据。

2、CloudFormation模板中的custom resource调用Lambda方法，用组名和环境名称（“teamname-environment”）作为partition key，用应用名称（”appname”）作为sort key。

3、Lambda方法用partition key和sort key作为输入查询DynamoDB表。

4、DyanamoDB将结果返回给Lambda方法。

5、Lambda方法将这些key-value数据作为结果返回给模板中的custom resource。

6、custom resource拿到数据后，堆栈里的其他资源可以通过Fn::GetAtt的方式获得这些数据。

结论

通过这种方式，可以将我们创建堆栈所需的固定部分保存在模板中，而将可变部分mappings和parameters保存在方便增删改查的DynamoDB中，用Lambda实现两者之间的关联。对于大型组织来说，这样可以提高运维效率，也是使用CloudFormation的一种最佳实践。

参考

可以在我们的网站上下载到相关的sample code：https://github.com/awslabs/custom-lookup-lambda

关于AWS Lambda的更多内容请参考网站：https://thinkwithwp.com/lambda/

关于CloudFormation自定义资源的更多内容请参考网站：http://docs.thinkwithwp.com/AWSCloudFormation/latest/UserGuide/template-custom-resources.html

作者介绍

张芸

AWS云架构咨询顾问，获得AWS解决方案架构师专业级认证和DevOps工程师专业级认证，为企业客户和合作伙伴提供迈向云端的专业服务。目前已为多家跨国公司及本土公司、合作伙伴提供上云迁移、应用优化、架构设计等咨询设计和实施服务。在加入AWS之前有近10年的云计算和大数据开源技术研究和开发经验，拥有多项美国和中国专利及专利申请，涉及云计算及服务，分布式系统，软件定义数据中心和自动化运维等领域，合作编著图书《大数据–战略·技术·实践》。