AI 编程工具的宣传里，”一句话生成整个应用”是最常见的叙事。但一项来自阿里与多所高校的最新实测给出了另一面：用真实用户折腾过 AI 的任务去考编程智能体，最强的模型也只有约四分之一的任务能完整交付，七成多的改动仍需要人来收尾。这份数据，每个把 AI 写进工作流的人都该看看。
这份榜单为什么不一样：任务全部来自真实翻车记录
这项评测叫 Co-Design Bench，由阿里巴巴 Token Hub 团队联合复旦大学、浙江大学、香港中文大学、上海交通大学、南洋理工大学等机构的研究者完成，论文 10 月 26 日发布在 arXiv，媒体的大规模报道集中在 11 月 8 日前后。
它与传统编程测试最大的区别在选题来源：任务从 26314 场真实编程会话里的 37463 条去重请求中筛出，最终固化成 273 个任务，而且刻意偏向”麻烦任务”——用户改写了两三次要求、反复追问、甚至撤销重来的那些请求。换句话说，这份榜单考的正是 AI 在现实中最容易翻车的题。
评分也刻意做严。每个任务配有专家撰写的隐藏验收标准，共 2331 条；一个 AI 评审在浏览器里实际操作完成的应用，另一个独立评审专门复核”假装完成”的情况，比如贴个静态原型图、把结果写死在代码里。真正能跑起来的功能才给分。
结果：七成要求做得到，只有四分之一全做完
十个模型里，OpenAI 的 GPT-6 Astra 排名第一，平均满足每个任务约 69.9% 的验收标准，但全任务完整通过的只有 26.4%。这两个数字要放在一起读：多数任务”基本做完但至少漏一条”，按论文口径，73.6% 的任务至少有一条标准没被完全满足。
分赛道看差距更直观。带图片、音频、视频、文档输入的局部修改赛道，GPT-6 Astra 完整通过率 41.0%；而需要跨文件协同修改代码仓库的赛道，只有 17.9%。第二名 Claude Opus 5 的完整通过率是 18.3%，第三名阿里自家的 Qwen3.8-Max 为 16.5%，Grok 4.6 以 6.6% 垫底。
作为对照，同一批模型在传统编辑类基准上普遍能拿到接近满分——论文举例，某模型在 WebCompass-edit 上用智能体方式执行可达 99.4%。新旧榜单之间超过 35 个百分点的落差，说明旧测试已经严重”饱和”，衡量不出真实场景的难度。
难点不在写代码，在”改动之间会打架”
翻看任务样例就能理解难在哪。一道典型题是”从收据图片里读出金额，把应用里所有依赖这个金额的地方都改对”：读数不难，难的是”所有”——主页面改了，汇总页漏了，某个图表还引用旧值，应用看起来完好，实际已经不一致。
数据也印证了这一点：当一个仓库级任务同时涉及三到四种改动类型（布局、设计、交互、内容）时，所有模型的得分都明显下降，而 173 个仓库任务里有 166 个正是这种复合任务。真实项目里，”只改一个地方”的需求才是少数。
另一个反直觉的发现是堆算力没用：GLM-5.2 在小改动上消耗的词元数接近 GPT-6 Astra 的六倍（约 729 万对约 124 万），得分反而更低。做不完不是想得不够多，而是缺一条”完工”的硬标准。
工具链能明显改变成绩，选型要连环境一起测
榜单还有一个对选型影响很大的结论：同一模型换个”运行环境”（即 agent 外壳），成绩会大幅波动。Qwen3.8-27B 在不同环境里跑仓库任务，得分从 0.560 变到 0.749；两个模型之间的名次差，最多被环境拉开 16.2 个百分点。
也就是说，只列模型名字的排行榜只讲了一半故事。论文作者建议企业和开发者把”模型 + 外壳”当成一对来测，在自家任务上跑通再决定采用。这对正在选型的团队是个实操提醒：别只看发布会数字，要在你自己的代码库里做小样本试点。
也要交代这项研究的边界：每个任务只有一条固定请求，agent 不能追问、用户不能中途纠偏，AI 评审本身也可能出错。论文自己声明了这些限制，引用数字时应带上这些前提，不宜直接推出”AI 编程四分之三场景不可用”的结论。
对普通使用者的三点启示
第一，验收标准自己写。给 AI 布置改动时，花两分钟列出五条可检查的完成标准，比如”三个页面的总额都同步更新”。这恰好是AI 编程提示词三段式强调的：把需求说清楚，验收写在前面。
第二，大改动拆小。数据表明复合改动是重灾区，把”改布局顺便改交互再改文案”拆成三个小请求，每个都容易验收，出错也好回滚。
第三，把 AI 产出当初稿。25% 的完整通过率意味着每四个改动约有三个要人工过一遍，建立”生成—验收清单—人工复核”的固定动作，比追求某个”更强模型”更现实。工具流程的完整梳理可以参考站内这篇AI 编程工具从需求到合并的工作流，把人工复核环节显式加进去。
结语
Co-Design Bench 的价值不是唱衰 AI 编程，而是把”看起来完成了”和”真的完成了”之间的那道缝量了出来：平均七成的要求能满足，但只有约四分之一的任务能全数交付，剩下的部分需要人补位。模型在进步，但至少当下，写出清晰的验收标准、把复合需求拆小、坚持人工复核，仍是普通人用好 AI 编程的三块压舱石。大模型能力与真实交付之间的这道坎，未来几个季度值得持续跟踪。