活干完了，汇报你看不懂（中英切换）
中文 English Claude Opus 5 做完一轮长文档问答。41 次工具调用，请求者一条都没看见。交回来的回复里，结果挂在三个名字上：配置键 ，文献编号 R07 和 R09。 我的判断：活干完了，汇报你看不懂。 委托的最后一公里是那句回复。它写这句话的时候站在自己的草稿纸上。你手里只有自己发出去的请求。
标签
evaluation
共 22 篇 · 全部标签
没人说过 X，模型先反驳了它（中英切换）
中文 English 你问接口为什么慢。模型回你：瓶颈不是 CPU，而是磁盘 I/O。 对话里没有人提过 CPU。没有人换过 CPU。这个 X 是它自己搬进来的，然后再表演一次打倒。读起来像它想得比你深。 我的判断：没人说过 X。模型先说「不是 X」，不是语法没学好，是打倒一个稻草人听起来像洞察。若干奖励模型为这个声音…
你的 Agent 不是谨慎，是在防不存在的贼（中英切换）
中文 English 你让它改一个函数。仓库里依赖版本钉死了，这条路径只有一个写入者，产物可以从已版本化的输入重新生成。任务里写着三句事实：这是最终版本；测试由你来补；验证只跑这一个测试文件。 diff 里多出来的不是这个函数。是一层 配上默认返回值，一份留给旧调用的兼容垫片，还有一句“要不要我先确认再改”。测试是绿的…
83 个工具，输给一个 curl（中英切换）
中文 English 如果你这半年给 Agent 接过 MCP，大概率干过同一件事：平台有什么接口，就包成一个工具；工具越多，心里越踏实。 ServiceNow 的一组研究人员把这份踏实拿去测了。同样的模型、同样的 729 个任务、同样的三个企业平台（ServiceNow、GitLab、ERPNext），只换 Agen…
演示过九十分，交付只有十分（中英切换）
中文 English 你在下单一件具体的活。需求是一段自然语言：做一个能按这份说明工作的 Agent。你把它交给 Codex、Claude Code 或 OpenHands，再附上两三条已经能跑通的例子。它在这些例子上越改越顺，开发分数过了九十，最后一份报告写着：完成。 你把交回来的东西接进自己的流程，换上它没见过的例…
METR 曲线没画错，是单位骗了你（中英切换）
中文 English 群里又有人转那张图：横轴是模型发布日期，纵轴是“AI 能独立完成多长的软件任务”，点一路往右上爬。配文是：“GPT-4 只能干 4 分钟的活，现在已经是小时级了，每几个月翻一倍，照这个速度……”下面一排人开始掐指头算，AI 哪年能干完一周的活，哪年能干完一个月的。 这是 METR 的时间跨度（ti…
AI 假用户最擅长的，是刻板印象（中英切换）
中文 English 你让 AI 扮演的那 1000 个「用户」，最擅长的不是回答问卷，是刻板印象。
你的模型路由器，输给了抛硬币（中英切换）
中文 English 你花钱接的模型路由器，大概率输给了一枚硬币。
终点过了，不等于过程对了（中英切换）
中文 English 终点过了，不等于过程对了。
长得像，不等于跑得通（中英切换）
中文 English 长得像，不等于跑得通。