烟台欣和企业食品有限公司（以下简称“欣和”）创建于1992年，从创建之初开始，就以“家”为核心，致力于为每个家庭提供高质量的调味和休闲食品。经过26年的不断发展，欣和从当初只生产酱料的小企业逐步发展成一家生产多品类食品的大型企业，拥有十多家子公司并采用集团化管理方式，所提供的产品包括原酿酱、顶级的高盐稀态酱油、美味方便的花生、辣椒制品、有机食品、味噌等，“六月鲜”、“葱伴侣”、“黄飞红”这些耳熟能详的品牌都出自欣和。可靠的饮食供应链、创新的产品研发、高标准的生产制造、便捷的零售渠道、极致的饮食体验以及全方位食物教育是欣和的核心优势。目前，欣和的产品已经销往全球100多个国家和地区。
欣和旗下有11个产品品牌、上百款产品，每天有4,000多万家庭在使用欣和的产品，每年有以数亿计的欣和产品走向千家万户，成为千万家庭餐桌上不可或缺的食品。
随着生产规模的扩大，为了更好地管理生产流程、提高生产效率，欣和建立起信息管理系统并从2000年开始使用ERP系统作为企业内部的生产管理系统。然而，作为一家生产、销售快消品的企业，欣和要获得更快、更好的发展，就必须在产品研发、市场推广、消费者沟通、营销渠道管理等方面下功夫，充分了解消费者对产品的喜好，对自有或经销商的销售终端及服务进行有效的管理。为此，欣和从2014年初开始了数字化转型之旅，利用公有云平台建起电商平台、经销商和消费者应用系统。经过三年多的发展，原有的IT架构开始遇到瓶颈，无法很好地满足业务快速发展的需求。“当时我们主要采用自建服务器和公有云的混合模式，在最初使用公有云服务时没有进行系统化的架构设计，导致业务架构缺乏弹性并存在安全风险；而在自建服务器方面，由于资源的配置与变更缺乏敏捷性，不能很好匹配业务的变化，无法给用户带来良好的体验。”欣和信息技术与管理部总监国庆义说。另一方面，多品牌、全方位的业务发展对大规模的数据分析和处理提出了更高的要求，欣和原有的传统数据仓库系统面临着大规模计算的挑战，而自建大数据平台又受到资源和人才短缺的限制。为了应对这些挑战，欣和认真地评估了各种解决方案，综合考虑了产品、服务、安全、技术支持等多方面因素，最终选择以AWS云平台为基础，重构整个系统架构，将原有系统整体迁移到AWS云平台上，并以AWS云平台为基础进行整体的大数据战略规划。
AWS云平台强大的大数据分析处理能力、对数据的全方位保护、开放性及丰富的合作伙伴解决方案是欣和选择AWS的主要原因。“在决定重构整个IT系统时，我们期望实现的目标是让技术平台快速匹配业务的需求，打造高安全性、高可用性且具备弹性伸缩能力的IT系统，让IT系统与业务系统实现最佳融合，使欣和真正成为一家数字化驱动型企业。”国庆义说。
大数据分析处理能力
在欣和的业务系统中，大数据湖的建设是至关重要的，它可以使各业务系统的底层数据互联、互通。
AWS云平台提供了丰富的功能来支持大数据湖的建设，包括Amazon Simple Storage Service (Amazon S3)、Amazon EMR、 Amazon Relational Database Service (Amazon RDS)、Amazon DynamoDB、Amazon Redshift等，这些功能涵盖了数据存储、安全保护、分析、处理等各个方面。“我们特别看重Amazon Redshift所提供的丰富功能，它极大地提升了大数据湖的性能”，国庆义说。Amazon Redshift是一种快速且完全托管的PB级数据仓库，可以让用户以轻松而经济的方式使用现有的商业智能工具分析所有的数据，它使用列式存储技术提高 I/O效率，并可以跨多个节点并行运行查询，大幅度提升了查询性能。Amazon Redshift还提供了自定义JDBC和ODBC驱动程序，使用户可以使用多种熟悉的SQL 客户端。借助Amazon Redshift的数据仓库架构，用户还可以自动处理大部分常见管理任务，这些任务涉及云数据仓库的预配置、配置和监控等方面。数据将以连续、递增的方式自动备份到Amazon S3。在数据安全方面，Amazon Redshift内置了安全防护功能，用户可以保护静态数据和传输中的数据，还可以使用 Amazon Virtual Private Cloud (Amazon VPC) 隔离集群。所有 API 调用、连接尝试、查询以及集群的更改都会记入日志，并可供审核。
安全性
欣和是快消品行业，客户数据、销售数据对业务发展有很大的影响，而对大数据湖来说，数据的持久性和安全性是需要优先考虑的因素。AWS云平台不仅提供了Amazon VPC、AWS Identity and Access Management (IAM) 等安全管理功能，用户可以根据需求配置防火墙规则，确保数据不会遭受非授权的访问，更重要的是“绝不触碰客户数据”是AWS对所有客户的承诺，这也是促使欣和从其他公有云平台向AWS迁移的重要原因。
开放性及丰富的合作伙伴解决方案
AWS云平台对众多第三方的产品和开源产品提供了充分的支持，这给用户提供了更好的开放性。“我们在构建新系统时，不仅使用了AWS云平台提供的功能，同时也根据自身的需求，使用了飞塔、Talend等第三方产品，AWS云平台对这些产品的支持使我们可以轻松实现多方产品的集成。”国庆义说。
此外，AWS专业服务也是欣和选择AWS云平台的重要原因。“我们是传统企业，在转向云平台的过程中会遇到很多技术挑战，AWS专业服务团队可以在系统架构设计、数据迁移等方面为我们提供极大的帮助。”国庆义说。
2018年1月，欣和开始进行系统迁移和大数据湖架构的搭建，前期对基础架构、业务系统等现状进行了调研；随后将生产环境与测试环境隔离，并结合第三方的飞塔安全网络架构进行部署，将自建服务器、其他公有云与AWS云平台打通，对镜像、监控、备份、命名规范、权限等进行标准化设计。“在这一过程中，AWS专业服务团队给予我们极大的帮助，在AWS咨询顾问的参与帮助下，我们结合原有业务系统架构与AWS现有服务进行集成，设计合理架构并对业务系统进行更改，先在测试环境进行业务及性能集成测试，最后将几个系统逐步部署到生产环境。”国庆义说。大数据湖项目的实施也同样如此，先经过业务现状调研和技术探索之后，将本地数据上传到AWS云平台，再结合Talend ETL工具，对数据库到Amazon S3以及Amazon Redshift的数据流转做压力和生产环境测试，再结合BDT层以及后期建模要求做适当调整，最终在2018年3月顺利完成了第一期迁移任务。
目前在AWS云平台上运行的业务包括欣和的前端应用服务和新事业服务，所使用的AWS产品包括Amazon Elastic Compute Cloud (Amazon EC2)、Amazon S3、Amazon CloudWatch、Amazon DynamoDB、Amazon RDS、Amazon EMR、Amazon RedShift、Amazon Kinesis、Amazon ElastiCache、Amazon Elastic Container Service、AWS Data Transfer、AWS Lambda、AWS SDK、Amazon VPC、AWS IAM以及AWS专业服务。图1是欣和基于AWS云平台的大数据平台技术架构图，图2是欣和的生产网示意图。
图1 基于 AWS 云平台的大数据平台技术架构图
图2 欣和生产网示意图
将原有业务系统迁移到AWS云平台上给欣和带来了多方面的好处。首先是在AWS专业服务团队的帮助下重新规划了整个系统的技术架构，基础架构设计比之前更加合理，并将部分单点应用部署为集群模式，建立了单点失效触发机制，应用程序可用性得到提高。其次，在迁移到AWS云平台后，利用Amazon RedShift等云服务，提高了大数据湖的可用性和安全性，实现了数据仓库的高可用和高可扩展，使各业务系统的底层数据能方便地互用，并通过调用、分析，为业务发展提供强有力的支撑，帮助欣和向“数字化驱动型企业”迈进。此外，使用AWS云服务还提升了欣和整个业务系统的安全性，之前采用的静态Access ID Access Key调用方式，在使用AWS 之后更改为调用IAM角色的方案，提高了安全级别，同时利用Amazon VPC、AWS IAM等安全组件，建立起更严格的安全机制。在未来，欣和原有的业务系统将按计划全部迁移到AWS 云平台上，并充分利用AWS 云平台提供的自动化管理功能和开源技术，建立DevOps平台，不断提高管理效率和优化成本。