🤖 智能体AI 热点解读#Agent#蒸馏#模型
Agent 蒸馏:把前沿大 Agent 压成 10-100 倍更便宜的小特工
从提示词调优走向蒸馏:小模型以 5 倍低延迟在窄任务上对齐大 Agent。
AIAI评测 编辑部
一句话结论
Agent 部署的主导模式正从「点上一个大模型反复调提示词」转向「蒸馏」:把大 Agent 的行为精髓压缩进小特化学生模型,在窄任务上对齐甚至超越教师,而成本下降 10-100 倍、延迟降低 5 倍——这是「专属小特工」的工业化路径。
三个关键点
1. 为什么是现在
前沿 API 贵且慢,而多数生产 Agent 只做「窄任务」——为每个窄任务养一个小特工,比每次调大模型更划算。
2. 技术的三条路
数据蒸馏(大模型产出训练数据)、行为蒸馏(模仿轨迹)、协议蒸馏(模仿多 Agent 协作协议显式化)——O-Researcher 等开源项目已能端到端合成深度研究数据做蒸馏。
3. 落地提醒
蒸馏成功的条件是「任务边界清晰 + 评测闭环」——别为「全能幻觉」蒸馏,要为一个具体流程蒸馏。
💡 常见问题
蒸馏出来的小模型质量靠谱吗?▾
窄任务上可以对齐甚至超过教师;但跨任务泛化弱——它是「专职」不是「全能」。
小团队能做蒸馏吗?▾
门槛在下降:开源框架 + 调用教师 API 出数据即可起步;核心成本是大模型的调用费用。