一周多用 Codex 少用 Claude 后的十点对比感受

作者在 MacOS 上分别用 Codex TUI（gpt-5.6-sol xhigh）和 Claude Code TUI（opus-5 xhigh）工作一周，记录了十点个人感受。

Awaiting translation

实测 smolvm 1.8.3：用硬件隔离 VM 沙箱运行不可信 Python 和 JavaScript

Simon Willison 让运行在 Claude Code for web 中的 Claude Fable 5 评测 smolmachines 的 smolvm 1.8.3，目标是安全执行不可信的 Python 和 JavaScript 数据转换代码，限制 RAM 和 CPU 时间、禁止网络访问、只允许访问指定文件。

Awaiting translation

Cline's Evaluation Methodology and Trace for Open-Weight Models

Cline has open-sourced its evaluation methodology for open-weight models, along with a hill-climbing score and trace worth over one thousand dollars, available for download and analysis. The post lays out five heuristics from the Hill Climber's Checklist: set a North Star metric, quantify noise, break down failure modes by task/model/vendor, don't assume more thinking is always better, and keep a private evaluation set.

Qwen 3.8 27B 实测：默认推理档位过度思考，本地跑智能体可行但偏慢

Simon Willison 实测阿里 Qwen 实验室发布的 Apache 2 许可 27B 视觉模型 Qwen 3.8 27B，认为模型本身出色，但默认的 xhigh 推理档位会严重过度思考，建议先用 low 或关闭推理。

Awaiting translation

智能体循环里的 TDD 是形式还是真价值？Martin Fowler 的对比实验

Martin Fowler 用 Sonnet 4.6 生成、Opus 4.8 盲评的方式，对小型、中型和较大型三类业务逻辑任务分别跑 TDD 与非 TDD 方案，结论是两者质量没有明显差异，非 TDD 方案在设计和测试质量上还多次略高，变异分数也没有实质差别。

Awaiting translation

DeepSeek V4 Flash 正式版深度体验：便宜、快、1M 上下文、内置搜索

作者深度体验几天 DeepSeek V4 Flash 0731 正式版后总结：便宜到跑批处理、Agent 循环和几十轮对话账单基本无感，速度快到配合 Agent 工具循环每步几秒内完成，1M 上下文可容纳整个仓库和完整对话历史、无需频繁 compact，结合 Cache 打折长上下文成本还能再降。

Awaiting translation

Terminal-Bench 3.0 is out: 74 tasks across 7 domains, with the strongest model passing about 34%

The Terminal-Bench team releases Terminal-Bench 3.0, whose first version spans 7 domains and 74 tasks, with the strongest model passing about 34%. Building on Terminal-Bench 2.1, this release broadens task diversity and adds CI/CD, semantic versioning, and result migration to keep improving the benchmark.

Terminal-Bench ships new Harbor features, turning the benchmark into a versioned asset that keeps getting updated

The Terminal-Bench team has shipped a batch of new Harbor features that let datasets be released by version and let leaderboards migrate to new versions by reusing, re-evaluating, or rerunning trials. Tasks use semantic versioning: patch-level changes reuse old results as-is, validator changes only require re-evaluating saved artifacts, and only major changes that significantly alter the agent environment require a rerun. Dataset versions follow the highest version number among the tasks, and leaderboards use diffs to rerun only the tasks with major changes.

Cline 用递归自我改进让智能体自主把 Kimi K3 在 Terminal-Bench 2.1 提到 88.8%

Cline 用一条提示词启动 17 小时连续运行的编码智能体，以 GPT-5.6-Sol 为 leader 模型，把 Kimi K3 在 Terminal-Bench 2.1 上的成绩从基线 69/89（77.5%，$79）提升到确认运行 79/89（88.8%，$49.8），超过 Moonshot 自报的 88.3%。

Awaiting translation

号称省 65% Token 的 Caveman Skill，实测只有 8.5%

JetBrains 用 Claude Code 跑 SkillsBench 的 86 个真实编程任务，对比安装与不安装 Caveman 的效果，发现输出 Token 只从约 59.2 万降到 54.2 万，节省 8.5%，远低于项目宣传的 65%。

Awaiting translation

Terminal-Bench 发布 Challenges 长周期智能体基准

Terminal-Bench 发布 Challenges，一种长周期、高 token 消耗的单任务基准，要求智能体在无时间与资源限制下自主完成整个项目，首批开放三个挑战。

Awaiting translation

AI 预算该投在哪：工具、提示词与评测三层，避免被厂商绑定

作者认为把 AI 预算押在选当前跑分领先的模型上是错误下注，因为模型每半年就换一轮领先者，真正能积累的是公司独有的内部上下文。

Awaiting translation

论文评估 AGENTS.md 是否真的帮到编程智能体

一篇论文评估仓库级上下文文件（如 AGENTS.md、CLAUDE.md）对编程智能体的作用，在 SWE-bench Lite 和自建基准 AGENTBENCH（12 个仓库的 138 个 Python 任务）上对比无上下文文件、LLM 生成和开发者手写三种条件。

Awaiting translation

同一条视频实测 Remotion 与 Hyperframes：AI 做视频特效该选哪个

作者用同一条口播视频和同一套提示词，分别让 Claude Code 驱动 Remotion 和 Hyperframes 做特效，实测两者的调试流程与 token 成本。

Awaiting translation

AI 生产力落差：季度汇报该点名的那个数字

作者指出 AI 工具在个体层面带来 21% 任务完成量和 98% PR 合并量提升，但组织交付指标持平、稳定性略降，METR 随机对照实验中 16 名开发者在 246 个真实 issue 上实测反而慢 19%。

Awaiting translation

Augment Code put Karpathy-style rules to the test: the coding agent didn’t write better code, but it was cheaper and faster

In AGENTS.md, Augment Code front-loads roughly 2.5k characters of Karpathy-style coding rules, then runs 40 OpenClaw PRs through Auggie, Claude Code, and Codex for comparison.

Lovable 早期测试 GPT-5.5：最难任务通过率 41.6%，比 GPT-5.4 提升 12.5%

Lovable 在早期访问中测试 GPT-5.5，其内部基准显示最难任务通过率从 GPT-5.4 的 36.9% 升至 41.6%，每次请求工具调用减少 23.1%，用户卡住的消息占比下降 9.9%。GPT-5.5 每请求输出 token 减少 33%，日常任务成本效率提升约 15%，将很快向 Lovable 构建者开放。

Awaiting translation

Augment Code Tests AGENTS.md: A Good File Is Like a Model Upgrade, a Bad One Is Worse Than Nothing

Augment Code pulled dozens of AGENTS.md files from its own monorepo and used its internal benchmark suite AuggieBench to compare how the same tasks performed with and without the file. The best files delivered a quality boost equivalent to upgrading from Haiku to Opus, while the worst made the output worse than having no AGENTS.md at all.

实测 Claude Code Ultra Plan：速度更快但 token 消耗近两倍

作者用同一提示词对比 Claude Code 新隐藏功能 Ultra Plan 与普通计划模式，Ultra Plan 把计划发到云端由多个跑 Opus 4.6 的智能体并行处理，规划几乎瞬间完成、执行 3 分 20 秒，普通模式规划 4 分 40 秒、执行 7 分 31 秒。

Awaiting translation

对比 AI 设计 Copilot：从设计 Skill 到 Figma 插件

作者对比了 AI 设计工具的三个层次：代码优先的设计 Skill（Anthropic frontend-design、Impeccable 及社区分支）、Figma AI 插件（Banani、UX Pilot、Uizard）和 prompt-to-app 构建器（Lovable）。

Awaiting translation

为什么 Compound Engineering 成为我用 Claude Code 的新默认方案

作者在同一个代码库上分别用 GSD 和 Compound Engineering 各跑一周后，把 Claude Code 的默认工作流换成了 Every 的 Compound Engineering 插件。

Awaiting translation

Terminal-Bench 如何设计好的基准任务

Terminal-Bench 发布任务设计指南，提出好的基准任务应具备对抗性、难度和可读性：指令像给资深工程师那样清晰直接，测试只验证结果而非实现细节，允许替代解法并防止 reward hacking。难度应来自问题本身，而非苛刻的输出格式或隐藏假设。作者建议亲自运行任务、检查容器、执行 oracle 并观察真实智能体轨迹，失败运行尤其能揭示任务是否真正困难。

Awaiting translation

稠密检索 vs 稀疏检索：为什么纯向量搜索会漏掉 25% 的结果

作者指出纯稠密检索会漏掉约 25% 的相关文档，在错误码、法规条款编号、罕见实体等精确匹配场景下 BM25 仍占优，而稠密检索擅长改写、对话式查询和跨语言检索。

Awaiting translation

ETH Zurich 新研究重新评估 AGENTS.md 对 AI 编程智能体的价值

ETH Zurich 团队构建 AGENTbench，用 138 个来自小众仓库的真实 Python 任务，测试 Claude 3.5 Sonnet、Codex GPT-5.2、GPT-5.1 mini 和 Qwen Code 在无上下文文件、LLM 生成文件、人工编写文件三种场景下的表现。

Awaiting translation

Terminal-Bench-Science 发起任务征集，为自然科学构建 AI 智能体基准

Terminal-Bench 团队宣布正在开发 Terminal-Bench-Science（TB-Science），面向生命科学、物理科学、地球科学及数学与计算科学等自然科学领域，目标构建 100+ 个可执行基准任务，在容器化环境中以确定性程序化验证评估 AI 智能体。

Awaiting translation

Terminal-Bench 3.0 公开征集任务贡献

Terminal-Bench 3.0 已进入开发阶段，目标收录 100 个多样化任务，发布时最强模型的解决率不超过 30%。任务需为可通过命令行完成并程序化验证的真实计算机工作，覆盖更长周期、多微服务/文件系统/数据库等更丰富环境及专家级知识，合并窗口开放至 5 月底。贡献者提交一个被接受的任务即可在最终版本中获得署名。

Awaiting translation

多模态 RAG 的三种模式：先转文本，再考虑 CLIP

作者提出多模态 RAG 不必一上来就用 CLIP，而是把图片、音频、视频、表格先转成文本，复用已有的文本 RAG 流程，并给出三种模式：全部转文本、CLIP 等跨模态嵌入、多向量混合检索。

Awaiting translation

实测 19 个 Web 框架：哪个对 AI 智能体最省 token

作者用 Claude Code 搭配 Opus 4.6，在全新上下文窗口中用同一提示词让智能体在 19 个 Web 框架上构建一个带 SQLite 存储的博客应用，统计工具调用次数、token 消耗和耗时。

Awaiting translation

Qodo 发布 AI 代码审查基准 1.0：100 个 PR、580 个问题

Qodo 研究团队发布 AI 代码审查基准 1.0，向真实已合并 PR 注入缺陷，用 100 个 PR、580 个问题同时评测代码正确性与最佳实践合规性。在对比 Qodo 模型与 7 家主流 AI 代码审查平台的评测中，Qodo 以 60.1% 的 F1 分数领先，基准及评测结果已在 GitHub 公开。

Awaiting translation

RAG 入门：构建可用检索系统时没人告诉你的那些事

作者结合自己搭建多个 RAG 系统的经验，把 RAG 拆成检索与生成两步，指出检索质量决定答案质量，提示词工程无法弥补糟糕的上下文。文中给出具体取舍：分块 300-500 token 并保留 20-30% 重叠，纯向量检索只能找到约 75% 的相关文档，混合检索可提升到 87%，重排能带来 20-35% 的准确率提升但增加 200-500ms 延迟。

Awaiting translation

哪些编程语言最省 token：用 RosettaCode 数据集实测 19 种语言

作者用 RosettaCode 数据集中 19 种语言都有的编程任务，配合 Hugging Face 上 Xenova/gpt-4 分词器，比较各语言的 token 效率。

Awaiting translation

作者认为我们正处在评测看不见的 GPT-4 式跃迁中

作者 Martin Alderson 认为当前模型进步是一次更微妙的 GPT-4 时刻，但现有基准测不出来。他指出 Gemini 3 Pro Preview 在设计网页和落地页上明显强于其他模型，并给出流程：上传产品 CSS 让模型提取设计系统，再结合产品截图生成 HTML 原型。

Awaiting translation

Terminal-Bench ships version 2.0 and an optimized Harbor evaluation package

Terminal-Bench has released version 2.0 and the Harbor package. The former is a more rigorously validated, harder benchmark for evaluating agents; the latter is for evaluating and optimizing agents. Harbor rewrites Terminal-Bench's test harness, supports deploying containers in the cloud, provides rollout interfaces for RL and SFT, and works with any agent you can put in a container.

拆解 Spec-Driven Development：Kiro、spec-kit 与 Tessl 三种工具实测

Martin Fowler 试用 Kiro、spec-kit 和 Tessl 三款自称实现 spec-driven development（SDD）的工具，把 SDD 归纳为 spec-first、spec-anchored、spec-as-source 三个层次，并指出目前所有方案都停留在 spec-first。

Awaiting translation

Terminal-Bench 排行榜回应超时争议：OB-1 重新提交成绩后重回榜首

OpenBlock Labs 的智能体 OB-1 在按正确超时限制重新提交成绩后，重新成为 Terminal-Bench 排行榜得分最高的智能体。此前该提交将数据集中每个任务的超时统一改为固定 30 分钟，而多数任务原本限时 5 分钟，导致 75 个任务超时被放宽、2 个不变、3 个被缩短。

Awaiting translation

Terminal-Bench 发布数据集注册表，统一多个智能体基准评测

Terminal-Bench 发布数据集注册表，让智能体开发者通过 Terminal-Bench 框架统一评测多个智能体基准，基准开发者也能借此分发自己的基准。

Awaiting translation

Warp 在 Terminal-bench 上以 52% 任务解决率刷新 SOTA

Warp 在 Terminal-bench-core v0.1 上解决 52% 的任务，比此前最好成绩提升 9%，首次登顶该基准。此前 Anthropic 的 Opus 4 以 43% 的任务解决率创下纪录。

Awaiting translation

Terminal-Bench 新增科学计算与密码学任务：UPC 并行基因组组装与 FEAL 线性密码分析

Terminal-Bench 新增 parallelize-graph 和 feal-linear-cryptanalysis 两个高难度任务，分别要求智能体用 Unified Parallel C 实现基因组组装的并行 de Bruijn 图构建，以及对 FEAL 类分组密码实施已知明文线性密码分析攻击。

Awaiting translation

Anthropic 在 Claude 4 模型卡中引入 Terminal-Bench，Claude 4 Opus 创下 43.2% 新 SOTA

Anthropic 将 Terminal-Bench 列为 Claude 4 模型卡七项基准之一，Claude 4 Opus 在 Terminal-Bench-Core 上取得 43.2% 的 SOTA 成绩。Dario Amodei 在 Code with Claude 主题演讲中也提及该基准。Terminal-Bench 团队表示将在未来几天验证 Claude 4 的表现并更新官方排行榜。

Awaiting translation

Terminal-Bench 推出研究预览版智能体 Terminus

Terminal-Bench 团队发布研究预览版智能体 Terminus，用于在终端中一致地评估语言模型驱动自主智能体的能力，发布时其性能在 Terminal-Bench 上仅次于 Claude Code。Terminus 采用单工具设计，仅通过 tmux 会话发送标准按键操作，并借助 LiteLLM 支持几乎所有 API 或本地托管模型，且完全自主运行、不请求用户输入。

Awaiting translation