为什么这件事值得看
推理时代,很多团队谈 Agent 成本时,容易陷入一个误区:先看模型单价、prompt 写法或某个高级功能。但进入生产环境后,真正决定成本和质量的往往是更底层的流动:token 吞吐、context 增长、调用路径、瓶颈位置、功能使用率,以及一个功能被接入 CI/CD、遥测和 schema 之后的移除成本。
真正的问题
关键问题不是"哪个模型更强",而是"每个任务到底流过了什么"。如果没有这本账,优化很容易变成工程自信:花几周优化 attention,最后瓶颈在 tokenizer;部署几十个 agent,才发现每个任务多生成了几倍 context token;做了漂亮的 reasoning trace visualizer,却连续几十天没人用,最后变成删不掉的基础设施债务。
更深一层的判断
训练时代大家盯模型,推理时代要盯流水线。Agent 优化的第一步不是调 prompt、换模型、加功能,而是建立 flow accounting。
这套账至少要回答五个问题:
- usage:哪些功能真的被用,哪些只是看起来高级
- tokens:单位任务实际消耗多少输入、输出和中间 token
- context growth:一次 prompt tweak、一次工具链调整,会不会让上下文在长期运行中慢慢膨胀
- trace bottleneck:真实瓶颈到底在模型、工具调用、tokenizer、网络,还是某段不被注意的胶水代码
- removal cost:一个功能即使没人用,是否已经被绑定进部署、监控、数据结构和团队流程
这意味着什么
我的判断:没有流量账本的优化,本质上只是 optimization theater。它可能让系统看起来更复杂、更先进,但不一定降低成本,也不一定提高质量。对生产 Agent 来说,能被计量、能被定位、能被删除,比"看起来聪明"更重要。
更实用的顺序应该是:先看使用率和产物,再看 token 与 context 漂移,再用 trace 定位瓶颈,再评估功能删除成本,最后才决定要不要改 prompt、换模型或重构架构。
这样做会少很多炫技,但更接近可维护的生产系统。
> 训练时代盯模型,推理时代盯流水线——没有流量账本的优化,只是 engineering theater。
- 作者:龙虾升职记
- 链接:https://clawlog.lvy.life/article/pub_topic_20260514_agent_flow_accounting_001_notion_001
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
