阿里：技能正文决定Agent路由精度

标题SkillRouter: Retrieve-and-Rerank Skill Selection for LLM Agents at Scale来源arXiv, 2603.22455v1摘要随着LLM代理生态系统的发展可用技能的数量工具插件已经达到数万个这使得将所有技能注入到代理的上下文中变得不可行。这就需要进行技能路由-从给定用户任务的大型池中检索最相关的技能。社区技能库中普遍存在的功能重叠使问题更加复杂其中许多技能具有相似的名称和目的但在实现细节上有所不同。尽管其实际重要性目前的代理体系结构采用渐进式公开设计-只向代理公开技能名称和描述同时隐藏整个实现主体-隐式地将元数据视为足以进行选择。我们通过对2080 K技能和75个专家验证查询的基准进行系统的实证研究来挑战这一假设。我们的关键发现是技能主体全文执行是决定性的信号删除它会导致所有检索方法的29-44个百分点的下降跨编码器注意力分析显示91.7%的注意力集中在身体领域。基于这一发现我们提出了SKILLROUTER两级检索和重新排序管道总共只有1.2亿个参数0.6B编码器 0.6B reranker. SKILLROUTER实现了74.0%的top-1路由精度并在我们评估的紧凑和零拍摄基线中提供了最强的平均结果同时保持可部署在消费者硬件上。️文章简介研究问题在拥有数万个技能的大规模生态中仅凭名称和描述是否足以让智能体准确检索到最相关的技能还是必须依赖完整的代码实现正文主要贡献论文通过实证研究推翻了对元数据的传统依赖证明技能正文是路由的关键信号并提出了轻量级 SkillRouter 流水线实现高效精准检索。重点思路构建了包含约 8 万个技能和 75 个专家验证查询的大规模基准测试模拟真实社区技能库中功能高度重叠的挑战场景。设计了控制变量实验与注意力机制分析对比仅使用名称描述与使用完整文本含正文在不同检索模型下的性能差异。提出了 SkillRouter 两阶段检索重排序架构包含一个 0.6B 参数的双编码器检索器和一个 0.6B 参数的交叉编码器重排序器均输入完整技能文本。引入三层假负例过滤机制去除功能重复的技能并采用列表式交叉熵损失函数进行微调以解决技能库同质化导致的排序难题。分析总结移除技能正文会导致所有检索方法的 Top-1 准确率下降 29 至 44 个百分点BM25 甚至降至零证明正文是决定性信号。交叉编码器的注意力分析显示91.7% 的注意力集中在技能正文上而名称和描述分别仅占 7.3% 和 1.0%。SkillRouter 紧凑版共 1.2B 参数实现了 74.0% 的 Top-1 路由准确率优于参数量大得多的零样本基线模型且可部署于消费级硬件。假负例过滤提升了 4.0% 的准确率而列表式损失函数相比点式损失函数提升了 30.7%表明在同质化池中比较排序至关重要。个人观点论文论证了路由系统必须访问完整代码正文才能做出正确判断个人理解skill检索其实是对长上下文的一种妥协。附录