技术分享Agent 自评幻觉:最好的模型也只有 41.1%,以及评估体系为什么需要从分数转向边界Agent 评估体系存在结构性缺陷:最好的模型 step-level 幻觉检测准确率仅 41.1%,工具使用幻觉检测仅 11.6%。核心判断是评估应从分数驱动转向边界驱动,知道 agent 在哪里不可信比知道它在哪里得分高更有价值。 AI Agent benchmark 评估 幻觉 CI
技术分享高分 benchmark 和长上下文,都不能替代 agent 的 discovery 与 selection 设计高分 benchmark 和超长上下文都很容易被误读成 agent 已经具备真实发现与规划能力,但生产系统真正会出问题的地方,仍然是答案预埋和错误上下文被稳定继承。 AI Agent 评测 benchmark 长上下文 测评