FEATURED机器之心 · 公众号· rssZH03:30 · 06·07
ICML 2026|FusionRoute:从专家路由到自我修正的多 LLM 协作范式
FusionRoute 提出 token 级多 LLM 协作方法,固定专家模型并训练轻量 router,在每个 token 选择专家并合并 router logits。论文用 GSM8K、MATH-500、HumanEval、MBPP、IfEval 和 500 条 PerfectBlend prompt 评估。
#Agent#Reasoning#Code#Meta AI
精选理由
ICML论文有清楚机制和评测条件:固定专家、轻量router、token级选择与logits融合,HKR-H/K/R都命中。未给出相对提升、开源链接或部署成本,按研究亮点放在featured下沿。
一句话点评
FusionRoute 的骚点不是“多模型协作”,而是让 router 也下场改 logits;但没给延迟和显存账,工程味先打个折。
锐评
FusionRoute 把多 LLM 协作推进到 token 级 logits 融合,思路比 rerank / debate 更像可训练系统。它固定 Llama-3、Gemma-2 专家,只训练轻量 router;每个 token 选专家,再把 router logits 和 expert logits 合并,评测覆盖 GSM8K、MATH-500、HumanEval、MBPP、IfEval 和 500 条 PerfectBlend prompt。
我买方法,不买工程叙事。token 级路由天然要同时跑多个专家的分布,文章强调“无需微调专家”,却没披露端到端延迟、KV cache 复用、显存峰值和吞吐。Meta 做这类异构专家拼装很合理,但离线上 benchmark 赢 Fine-tuned Model,和线上服务可用,是两件事。
HKR 分解
hook ✓knowledge ✓resonance ✓