核心导读与中文摘要
用标准 OpenAI 格式统一调用 100+ 模型供应商(OpenRouter、DeepSeek、Anthropic、Gemini),内置限流与预算告警。
用 LiteLLM Proxy 消除多供应商接入碎片化
企业或独立项目接入多个大模型 API 时,最头疼的是各自不同的错误码、限流策略和账单统计。LiteLLM Proxy 充当统一网关层:
- 自动 Fallback 故障切换:当主力模型返回 429/503 或超时时自动切换到备用模型/供应商。
- 按项目/用户分配虚拟 Key:精准统计每个业务线、每位用户的 Token 消耗与美元成本上限。
