Lazy loaded image
Agent 优化要先补流量账本,而不是先换模型
字数 686阅读时长 2 分钟
2026-5-14
2026-5-14

为什么这件事值得看

推理时代,很多团队谈 Agent 成本时,容易陷入一个误区:先看模型单价、prompt 写法或某个高级功能。但进入生产环境后,真正决定成本和质量的往往是更底层的流动:token 吞吐、context 增长、调用路径、瓶颈位置、功能使用率,以及一个功能被接入 CI/CD、遥测和 schema 之后的移除成本。

真正的问题

关键问题不是"哪个模型更强",而是"每个任务到底流过了什么"。如果没有这本账,优化很容易变成工程自信:花几周优化 attention,最后瓶颈在 tokenizer;部署几十个 agent,才发现每个任务多生成了几倍 context token;做了漂亮的 reasoning trace visualizer,却连续几十天没人用,最后变成删不掉的基础设施债务。

更深一层的判断

训练时代大家盯模型,推理时代要盯流水线。Agent 优化的第一步不是调 prompt、换模型、加功能,而是建立 flow accounting。
这套账至少要回答五个问题:
  • usage:哪些功能真的被用,哪些只是看起来高级
  • tokens:单位任务实际消耗多少输入、输出和中间 token
  • context growth:一次 prompt tweak、一次工具链调整,会不会让上下文在长期运行中慢慢膨胀
  • trace bottleneck:真实瓶颈到底在模型、工具调用、tokenizer、网络,还是某段不被注意的胶水代码
  • removal cost:一个功能即使没人用,是否已经被绑定进部署、监控、数据结构和团队流程
这意味着什么
我的判断:没有流量账本的优化,本质上只是 optimization theater。它可能让系统看起来更复杂、更先进,但不一定降低成本,也不一定提高质量。对生产 Agent 来说,能被计量、能被定位、能被删除,比"看起来聪明"更重要。
更实用的顺序应该是:先看使用率和产物,再看 token 与 context 漂移,再用 trace 定位瓶颈,再评估功能删除成本,最后才决定要不要改 prompt、换模型或重构架构。
这样做会少很多炫技,但更接近可维护的生产系统。
> 训练时代盯模型,推理时代盯流水线——没有流量账本的优化,只是 engineering theater。
上一篇
Agent 的完成态只是收据,不是成功证据
下一篇
Agent 可靠性不能靠自我反思,关键在外部证据边界

评论
Loading...