场景参考
多模型调度策略
区分平台节点容灾与业务模型选择，按任务、成本和质量设计模型层级。
Dimleap 的节点级容灾解决同一模型的可用性问题；应用层多模型策略则解决任务质量、速度和成本之间的权衡。
不要混淆两类路由
平台节点路由
- 服务端自动完成
- 目标是提高请求可用性
- 开发者无需维护节点
- 返回结构保持兼容
业务模型路由
- 由应用按任务决定
- 目标是平衡质量、时延与成本
- 需要评测和灰度验证
- 需要处理模型能力差异
简单选择器
def choose_model(task):
if task["requires_complex_reasoning"]:
return "deepseek-v4-flash"
if task["latency_sensitive"]:
return "glm-5.1"
return "glm-5.1"
model = choose_model({
"requires_complex_reasoning": False,
"latency_sensitive": True,
})这只是策略示意。生产系统应基于自己的模型评测结果配置路由，不要把未验证的模型偏好写死在代码中。
降级顺序
- 先降低非必要的最大输出长度或关闭附加生成。
- 对低优先级请求进入队列或返回缓存。
- 切换到经过同任务评测的备用模型。
- 当输出质量无法保证时明确失败，不返回未经验证的结果。
评测与灰度
- 保存固定评测集和评分脚本，确保模型切换可重复比较。
- 对候选模型做影子请求时，明确额外成本和数据处理范围。
- 灰度期间按用户或会话稳定分组，避免同一会话频繁切换风格。
- 回滚条件同时包含错误率、延迟、成本和业务质量指标。