亚马逊AWS官方博客

LLM Inference on Amazon EKS

LLM on AWS EKS 方案主要关注客户在自有账号部署大语言模型的需求,基于云原生 K8S 的解决方案,兼具了大语言模型推理的功能完备性、服务的扩展性和应用层面的可观测性等,帮助客户快速打造大语言模型在 AWS 平台上的推理能力。