《Agent Harness 技术蓝皮书》对内发布,并定量定性分析 RAG 当前研究趋势
社区对内发布《Agent Harness 技术蓝皮书》,全书 8 篇 33 章共 139 页,将 Agent Harness 定义为围绕大语言模型构建的确定性运行时。同期基于 arxiv API 检索 2026-08-01 至 10-05 的 66 天数据,去重后新增 930 篇 RAG 相关论文,约 14 篇/天,研究重心已从检索 pipeline 搭建转向系统层、质量层与形态层。
社区对内发布《Agent Harness 技术蓝皮书》,全书 8 篇 33 章共 139 页,将 Agent Harness 定义为围绕大语言模型构建的确定性运行时。同期基于 arxiv API 检索 2026-08-01 至 10-05 的 66 天数据,去重后新增 930 篇 RAG 相关论文,约 14 篇/天,研究重心已从检索 pipeline 搭建转向系统层、质量层与形态层。
作者晚安code 梳理谷歌 9 月 30 日发布的 Gemini 4 Argon,指出其单次输出上限从上一代 6.4 万 token 提到 100 万,但上下文窗口、参数量和架构官方均未公布,不少报道把 100 万输出 token 误写成 100 万上下文。
2026年9月共发布43款大模型,国产约占八成,1M上下文与全模态成标配,Intern-Decision、NeoHorse-1等"决策模型"与"自进化后训练"新品类首次进入开源清单。
SWE-bench 的百分比是智能体编程领域被引用最多的数字,但它比通常被引用的方式要窄得多。文章拆解了一次评测如何产出这个数字:提交是 JSONL 格式的补丁,在 Docker 容器中应用到 base_commit 并运行仓库测试,FAIL_TO_PASS 全部通过且 PASS_TO_PASS 不回归才算 resolved,默认是 pass@1。
OpenAI 的 Codex 团队 Tibo Sottiaux 承诺,只要 Astra 未出现在用户的付费 ChatGPT 账号上,每等一天就补偿一次 banked reset,可完整刷新 Codex/ChatGPT Work 的五小时和每周用量。
作者梳理 Anthropic Fable 5.1 系统卡(212 页)中与 SWE 任务相关的细节,指出推理档位并非越高越好:在 FrontierCode Main 子集上。
Martin Fowler 用 Sonnet 4.6 生成、Opus 4.8 盲评的方式,对小型、中型和较大型三类业务逻辑任务分别跑 TDD 与非 TDD 方案,结论是两者质量没有明显差异,非 TDD 方案在设计和测试质量上还多次略高,变异分数也没有实质差别。
推荐理由:作者用同一批任务对比 TDD 与非 TDD 智能体实现,给出 token 成本与设计质量差异,并反思哪些 TDD 收益在智能体循环里失效。
作者认为把 AI 预算押在选当前跑分领先的模型上是错误下注,因为模型每半年就换一轮领先者,真正能积累的是公司独有的内部上下文。
一篇论文评估仓库级上下文文件(如 AGENTS.md、CLAUDE.md)对编程智能体的作用,在 SWE-bench Lite 和自建基准 AGENTBENCH(12 个仓库的 138 个 Python 任务)上对比无上下文文件、LLM 生成和开发者手写三种条件。
作者指出 AI 工具在个体层面带来 21% 任务完成量和 98% PR 合并量提升,但组织交付指标持平、稳定性略降,METR 随机对照实验中 16 名开发者在 246 个真实 issue 上实测反而慢 19%。
Terminal-Bench 发布任务设计指南,提出好的基准任务应具备对抗性、难度和可读性:指令像给资深工程师那样清晰直接,测试只验证结果而非实现细节,允许替代解法并防止 reward hacking。难度应来自问题本身,而非苛刻的输出格式或隐藏假设。作者建议亲自运行任务、检查容器、执行 oracle 并观察真实智能体轨迹,失败运行尤其能揭示任务是否真正困难。
ETH Zurich 团队构建 AGENTbench,用 138 个来自小众仓库的真实 Python 任务,测试 Claude 3.5 Sonnet、Codex GPT-5.2、GPT-5.1 mini 和 Qwen Code 在无上下文文件、LLM 生成文件、人工编写文件三种场景下的表现。
作者用 RosettaCode 数据集中 19 种语言都有的编程任务,配合 Hugging Face 上 Xenova/gpt-4 分词器,比较各语言的 token 效率。
作者 Martin Alderson 认为当前模型进步是一次更微妙的 GPT-4 时刻,但现有基准测不出来。他指出 Gemini 3 Pro Preview 在设计网页和落地页上明显强于其他模型,并给出流程:上传产品 CSS 让模型提取设计系统,再结合产品截图生成 HTML 原型。
Martin Fowler 试用 Kiro、spec-kit 和 Tessl 三款自称实现 spec-driven development(SDD)的工具,把 SDD 归纳为 spec-first、spec-anchored、spec-as-source 三个层次,并指出目前所有方案都停留在 spec-first。
推荐理由:作者亲手试用 Kiro、spec-kit 和 Tessl 三款 SDD 工具,给出 spec-first、spec-anchored、spec-as-source 三层划分,并指出小任务被过度规格化的问题。