OpenFugu
面向自有模型池的透明多模型路由。
一个 OpenAI-compatible 网关，用可配置策略编排本地和远程模型。在最终答案返回前，让每次 route、成本、延迟、重试、verifier、fallback 和基线对比都可见。
POSThttps://api.openfugu.dev/v1/chat/completions
Route 报告
openfugu/default
Schema 预览
成本
运行时字段
延迟
运行时字段
基线
配置字段
步骤模块成本延迟结果
classifypolicy engine已记录已记录任务类别
selectworker registry已记录已记录候选 worker
verifyoptional verifier已记录已记录检查决策
fallbackfallback chain已记录已记录触发时记录
网关入口
把模型编排层交付成一个接口。
OpenFugu 位于你已经在使用的模型池前面。它不会把调度藏进黑盒：policy、route choice、worker role、verifier result、fallback attempt、cost、latency 和固定模型对比都会变成可检查的系统输出。
Route 报告
openfugu/default
Schema 预览
成本
运行时字段
延迟
运行时字段
基线
配置字段
步骤模块成本延迟结果
classifypolicy engine已记录已记录任务类别
selectworker registry已记录已记录候选 worker
verifyoptional verifier已记录已记录检查决策
fallbackfallback chain已记录已记录触发时记录
本地运行时
- llama.cpp
- Ollama
- LM Studio
远程 API
- OpenAI
- Claude
- Gemini
开源模型
- DeepSeek
- Qwen
- Llama / Gemma
私有 endpoint
- vLLM
- 内部 API
- 团队服务
Eval replay
把每次路由变成可复盘的对照样本。
环节记录内容用途
输入画像任务约束先记录任务类型、上下文规模、隐私约束、质量风险和期望输出，再判断这次路由是否合理。
路由理由策略决策保存命中的 policy、候选 worker、最终选择、被排除模型和路由理由，让调度过程可以被审计。
基线重放固定 worker 输出同一个输入用一个固定 worker 重跑，人工查看答案差异、失败点和偏好，而不是只看抽象分数。
失败回流重试原因把 verifier 拒绝、fallback 触发、超时和低置信度样本回流到下一版 eval 集，后续再作为 router 训练数据。
Trace 信号
一次路由应该暴露什么。
01
OpenAI-compatible
接入已经兼容 OpenAI API 的工具，不需要修改调用方。
02
透明 trace
查看调度、worker、prompt、重试、verifier 输出和中间结果。
03
成本和延迟可见
记录预估成本、token 使用、耗时、重试和 provider 失败。
04
Verifier 和 fallback
对高风险答案做检查，并在超时、低置信度或坏输出时回退。
05
固定模型基线对比
把路由结果和固定模型结果对比，衡量真实改进。
策略层
先组合简单策略；有真实数据后再训练 conductor。
第一版 OpenFugu beta 在训练前也应该有用：显式策略、可追踪计划，以及基于真实用户任务的 eval replay。
cheapest-good-enough
先尝试满足质量线的最低成本 worker。
verify-before-return
在答案返回调用方前，让更强模型进行检查。
fallback-chain
当置信度或可靠性下降时，重试下一个可用 worker。
fixed-model-baseline
用固定 worker 作为基线衡量编排效果，而不是凭感觉判断。
验证路线
先验证需求，再扩大能力。
OpenFugu 先验证透明路由是否解决真实问题，再根据用户反馈决定原型、eval 和模型支持优先级。
01
需求验证
确认谁真的需要透明多模型路由，以及他们当前使用哪些工具和模型池。
02
透明路由原型
展示 route trace、成本记录、延迟记录、失败重试和固定模型对照。
03
Beta 试用
邀请有明确模型池和真实任务的用户试用，收集可复盘的 eval 样本。
04
能力迭代
根据真实反馈调整策略优先级，决定优先支持的 worker/provider 和部署形态。