用户指南
智能路由与容灾
了解 Dimleap 如何在服务端进行节点选择、故障切换与自动重试。
了解 Dimleap 如何在服务端进行节点选择、故障切换与自动重试。
Dimleap 在多个推理节点之上提供统一端点。开发者不需要维护节点列表、探活或供应商切换逻辑。
服务端处理流程
- 统一接入请求发送到同一个 Dimleap Base URL，并完成账户鉴权和参数校验。
- 节点选择平台根据可用性和健康状态，从能够承载目标模型的节点中选择路径。
- 故障判断当节点发生短暂超时或其他可重试故障时，平台按内部策略判定是否切换。
- 自动容灾请求被尝试路由到其他可用节点；成功后仍返回标准 OpenAI 兼容响应。
路由行为契约
重试次数与超时预算待平台确认 正式上线前应公布下表中的真实值和行为；在此之前，开发者不应依赖固定尝试次数或固定节点切换顺序。
| 场景 | 预期原则 | 必须由平台确认 |
|---|---|---|
| 鉴权、余额、参数错误 | 不可通过节点切换修复，直接返回结构化 4xx。 | 不会触发内部重试的错误类型。 |
连接失败、短暂过载、上游 5xx | 可在尚未向客户端提交结果时尝试其他健康节点。 | 最大尝试次数、退避和总超时预算。 |
| 流式响应已输出 | 不能保证切换后逐字续传；客户端需要处理不完整结果。 | 中断事件、usage 和费用处理。 |
| 模型或供应商变化 | 不得静默切换到语义或能力不等价的模型。 | 节点切换是否保持同一模型版本。 |
| 计费与幂等 | 平台内部尝试不应让开发者难以核对单次业务请求。 | 失败尝试是否计费、计费去重和幂等键支持。 |
同一个客户端 同一套代码 → Dimleap 健康检查与路由 → 节点 A／B／C 自动选择
开发者无需实现
供应商探活
无需定期请求各家服务来判断节点是否可用。
节点级重试
无需在代码中维护针对每个推理节点的重试分支。
连接适配
无需为不同节点封装不同鉴权和请求格式。
路由配置
无需把底层节点清单硬编码进业务应用。
客户端仍需负责什么
- 正确处理参数、权限、余额等不可通过路由解决的
4xx错误。 - 设置符合业务体验的总超时，避免请求无限等待。
- 在平台所有可用路径均失败时，对安全请求进行有限的业务级重试。
- 记录请求 ID、模型、状态码和耗时，便于定位长尾问题。
- 流式连接已经输出内容后发生中断时，谨慎处理重试和重复展示。
接入成本保持不变 路由和容灾完全由服务端完成。无论底层使用哪个健康节点，开发者仍调用
/v1/chat/completions。