Codeway 使用 Amazon EC2 G5 实例为生成式人工智能节省了 48% 的计算成本

Codeway 总部位于土耳其伊斯坦布尔，开发由尖端技术（尤其是生成式人工智能）提供支持的移动应用程序和游戏。其 Wonder 应用程序将文字转换为数字图像；用户输入单词或句子，Wonder 通过在 AWS 上部署稳定的扩散模型来生成基于 PyTorch 的图像，将这些输入转换为作品。然后，根据订阅情况，用户可以下载高质量或低质量图像。

由于已有超过 2830 万用户下载 Wonder，因此 Codeway 致力于最大限度提高其计算和 GPU 能力。Wonder 的基础设施分布在多个地区的各种云提供商中。对于人工智能 (AI) 推理工作负载，Codeway 使用的是托管在其中一家提供商上的 NVIDIA A100 Tensor Core GPU。但是，会出现影响性能的 GPU 容量问题。

“这些工作负载需要非常占用 GPU 的硬件。我们每月会增加数百万用户，因此我们对 GPU 的需求只会越来越高。” Codeway 首席开发运营工程师 Ugur Arpaci 说。“在我们从管理数百个 GPU 过渡到数千个 GPU 时，我们希望优化成本和性能，并找到良好的可扩展性策略。”

Amazon EC2 提供广泛而深入的计算产品组合，包括 600 多个实例，并可选择最新的处理器、存储、网络、操作系统和购买模式选项，帮助客户最好地满足其工作负载需求。在 Codeway 寻找优化计算的方法时，它发现了一个理想的解决方案：由 NVIDIA A10G Tensor Core GPU 提供支持的 Amazon EC2 G5 实例。尽管 Codeway 可以选择与其他云提供商类似的 GPU，但它们无法提供与 AWS 相同的可用性和可扩展性。

Arpaci 说：“AWS 团队建议，我们可以通过采用由 NVIDIA A10G Tensor Core GPU 提供支持的 Amazon EC2 G5 实例来实现我们的性价比目标。”“我们开始对此进行测试，我们看到了不错的结果。”

在分析了 Amazon EC2 G5 实例的价格表现后，Codeway 与 AWS 团队密切合作，完成了上线流程。Arpaci 说：“我们一直在与 AWS 的专家保持联系。”“我们遵循了他们的指导，然后进行了测试并计算了成本。对于某些模型，我们意识到通过在 Amazon EC2 G5 实例上部署我们的应用程序可以获得最大的好处。然后，我们分享了结果，建立了非常积极的反馈回路。”

上线过程快速而流畅，在 3.5 个月内，Codeway 在 AWS 上为 Wonder 运行了生产工作负载。现在，使用带 A10G GPU 的 Amazon EC2 G5 实例来部署免费版 Wonder 的几乎所有人工智能推理工作负载。为了为付费用户生成全高清晰度图像，Codeway 使用了更强大的 A100 GPU，可在更短的时间内生成更高质量的内容。通过使用 A10G 和 A100，公司可以满足其所有产出时间服务级别协议要求。

Arpaci 说：“我们知道 A10G 的性能不如 A100 那么强大，但是有些工作负载不需要那么高的 GPU 性能。”“现在，我们可以从更强大的 GPU 中卸载大量此类工作负载，这些 GPU 现在只用于处理高级用户功能，例如高质量图像生成。”

为了进一步提高成本效率和性能，Codeway 采用了 Amazon Elastic Kubernetes Service (Amazon EKS)（一种在 AWS Cloud 和本地数据中心运行 Kubernetes 的托管服务）上的集群，根据需要动态调整 Amazon EC2 G5 实例。已在每个 Amazon EKS 集群上部署了自定义的自动扩展解决方案，该集群会在需求出现时智能地请求更多实例。

为了管理实例，Codeway 依赖于开源节点配置解决方案 Karpenter。该服务根据 Codeway 的需求有效地确定和使用适当的实例类型。Arpaci 说：“Karpenter 实际上为我们选择了所需数量的实例并进行部署，然后我们在此基础上部署所需的工作负载。”“整个过程是自动化的，从运营角度来看，简化了很多因素。”