模型评测危机：基准饱和了，评测要转向「真实任务」

一句话结论

主流基准正在「饱和与失效」：头部模型分数趋同、公开榜存在刷分与过拟合——评测的主轴转向「真实任务模拟 + 可复现」：测的是「在你的场景干不干活」，而不是「排行榜谁高 0.3 分」。

三个关键点

1. 为什么不准了

训练数据污染（模型见过题）、榜单趋同（差价无统计意义）、任务失真（做得来题 ≠ 干得来活）——刷分时代结束。

2. 新评测范式

任务集（真实工作流）、可复现（固定版本与数据）、成本记录（同分比价）——采购与选型的判据从「分」转向「任务完成 × 单位成本」。

3. 对普通用户

别把「登顶榜单」当购买理由；用自己的 2-3 个高频任务实测——你的一次实测，胜过二十张榜单。