Production Best Practices

将 LLM 功能投入生产主要是一个工程纪律问题：负载下的可靠性、对抗性输入下的安全性以及规模化下的成本控制。

关键实践

• 明确的 SLO（延迟、可用性和质量目标）。
• 速率限制和并发控制，防止成本失控。
• 模型/工具故障时的安全回退（优雅降级）。
• 对工具调用进行严格的输入/输出验证。
• 针对提示词和策略变更的金丝雀发布和回滚计划。

权衡

• 更多安全护栏提高安全性，但可能增加误拒率。
• 更多缓存降低成本，但增加数据过时风险。

即将推出

• LLM 功能的参考发布手册。
• 提示注入和工具滥用的事件响应检查清单。