亚马逊AWS官方博客

Category: Application Integration

使用 Amazon CloudFront + Amazon S3 + AWS Lambda@Edge 动态调用业务接口生成图片

Amazon CloudFront Origin-Response 和 AWS Lambda@Edge 函数相结合,当 Amazon CloudFront 缓存文件不存在回源 Amazon S3 时,Amazon S3 桶中文件不存在,AWS Lambda@Edge 中部署的 AWS Lambda 函数根据 Amazon S3 请求返回状态码,调用图片生成接口生成图片,AWS Lambda 函数获取业务接口生成的图片后,上传图片到 Amazon S3 桶,然后返回图片到 Amazon CloudFront 最终呈现给用户。

基于 Axios 的 HTTP 测试工具解决方案

Serverless 的广泛应用使得创建 HTTP/HTTPS 接口变得越发容易,但是如何以贴近实际使用场景的方式访问和测试这些接口仍然是一个问题。Axios[1]作为业界流行的开发库广泛用于浏览器、H5 和移动端,在其之上构建可视化UI用于访问和测试 HTTP/HTTPS 接口可以达到更加贴近实际应用场景的目的。本方案基于 Axios 构建可视化 UI,支持一键安装部署,支持免费套餐,助力用户在成本极低的情况下尽早发现和排除潜在问题、缺陷和风险,加快应用的构建、迭代速度,获得商业上的成功。

使用 Rolling Batch 加速 SageMaker LLM 模型推理性能

本文介绍了近期业界新的 Rolling Batch(continually batch)的批处理推理优化技术原理,并给出了在 Amazon SageMaker 上使用 vLLM 框架进行 Rolling Batch 推理优化的实践和测试对比,可以帮助客户在实际生产场景中通过简单配置,立竿见影地提升线上部署的 LLM 的推理吞吐量,降低响应时延,节省资源。