利用 FP8 量化加速 Llama-3-70B 推理

predictor = sagemaker.Predictor(
    endpoint_name=<ENDPOINT_NAME>,
)

predictor.predict({"inputs": <YOUR_PROMPT>, 
            "parameters": {"temperature":0.1, "max_new_tokens": 1024}}
         )

可以看出，利用LMI 容器可以通过非常简化的 Low-code 形式进行配置，简便地使用 LMI 自研的 LMI-Dist 自研推理引擎，vLLM 或前序介绍的 TensorRT-LLM（支持 AOT 及 JIT 编译，平衡部署复杂性及推理集群的扩缩容性能）等流行的推理引擎；并可以使用 SageMaker Python SDK（或 boto3 Python SDK）快速进行模型推理。

推理端点的安全集成及集群托管

基于 AWS SDK 的推理调用，提供了多种安全功能，以帮助开发人员构建安全的应用程序。例如：默认启用 HTTPS/TLS 加密，确保数据传输安全；自动为API请求添加签名，使用 AWS Signature Version 4 (SigV4) 算法，确保请求的完整性和身份验证，不再需要再单独考虑签名、鉴权等安全问题；与 Amazon CloudTrail 集成，支持对API调用进行审计和日志记录，有助于安全分析和合规性要求。

此外，AWS SDK 底层集成了完善的重试和指数回退机制，以帮助应用程序更好地处理临时故障和网络问题。AWS SDK 使用截断的指数回退算法来计算重试延迟，并添加了抖动（jitter）来避免多个客户端同时重试造成的“惊群效应”。

集群管理方面，可直接借助 SageMaker 的集群托管能力，快速实现对推理集群的 Auto-scaling，智能负载均衡，灰度发布等能力，更加高效地搭建生产级别的模型服务及应用并快速投产。

最佳实践

TensorRT-LLM 编译优化项

以上的示例中，在 Trition 及 LMI 容器中，均使用了 TensorRT-LLM 作为模型的推理引擎。TensorRT-LLM 在近期 版本发布中涉及到的重点编译优化项如下：

--max_num_tokens 最大 Token 数的预估值，同时影响 KV Cache 显存分配及 GPU 利用率

--use_fused_mlp 启用矩阵乘法融合

--enable_xqa enable 启用 XQA kernel，优化 MQA 及 GQA 性能

--use_fp8_context_fmha enable 基于 FP8 Context 的融合注意力优化，仅限 Hopper 架构 GPU，如 Amazon P5 实例

--gemm_swiglu_plugin fp8（Preview) 使用 NVIDIA cuBLASLt 加速库进行矩阵乘法，仅限 Hopper 架构 GPU

同时，如果需要在 Triton Server 的推理配置中使用到 enable_kv_cache_reuse，需要对应开启如下选项：

• 对基于 Trition 的模型部署，需要在模型编译环节开启选项 use_paged_context_fmha enable
• 对基于 LMI 容器的模型部署，可以直接在 serving.properties 中增加 option.use_paged_context_fmha=true 选项

另外，对于开启 FP8 精度推理下，结合其他编译优化参数的性能最佳实践，参考 TensorRT-LLM 性能调优最佳实践。

基于 FMBench 的推理性能基准测试

实际生产场景中，模型的推理环境及上下文的差异可能导致不可忽略的性能差异。因此建议基于真实场景的流量情况，对大模型的推理进行压测及评估。使用 FMBench（Foundation Model Benchmark Tool）能够帮助我们快速进行针对基础模型的评估，帮助基于推理延迟、吞吐量和成本来综合评估推理性能，从而为给定工作负载提供最佳性价比的资源组合（可参考 FMBench 在 Meta 的使用案例）。FMBench 默认采用了 LongBench 数据集，此外，仍可以通过自定义数据集等形式，使用实际业务数据进行验证。示例如下：

1. 自定义 dataset，并组装为 .jsonline 格式，key 与模板文件中的待填充变量一致

{
    "question": "`Summarize the discussion about the working design of the remote control.`",
    "context": "`Project Manager: I hope you're ready for this uh functional design meeting . Marketing: Of course...`"
}

<|begin_of_text|><|start_header_id|>user<|end_header_id|>

You are an assistant for question-answering tasks. Use the following pieces of context in the section demarcated by "```" to answer the question. 

```
{context}
```

Question: {question} 

<|eot_id|><|start_header_id|>assistant<|end_header_id|>