GitHub 与 Microsoft 开放 ReviewBench 评测 AI 代码评审

GitHub 和 Microsoft 于 2026 年 10 月 5 日开放研究预览版 ReviewBench，用于评测 AI 代码评审智能体。该基准包含来自 187 个公开仓库、19 种语言的 219 个 pull request，语言和仓库规模分布基于对 GitHub 上 1.039 亿个 pull request 的分析，并刻意提高了实质性改动的占比。

Awaiting translation

Anonymous health checks on 78 registry MCP servers: 51.3% complete the full call sequence

Pennyforge ran anonymous health checks on the 78 servers that responded to initialize out of 186 endpoints in the a–b slice of a public MCP registry. Only 40 of them (51.3%) made it through the full flow of initialize → tools/list → one safe tools/call.

GitHub 发布 AI 代码评审开放基准 ReviewBench

GitHub 发布代码评审离线基准 ReviewBench，基于 1.039 亿个 GitHub PR 的分布特征，构建了覆盖 19 种语言、219 个公开 PR 的评测集，并公开数据集、评分规则与 LLM 评审模型配置。

Awaiting translation

微软 Agensh 用 1024 个 Agent 无编排器协作重建 pandoc

微软论文《Agensh》提出去掉中心编排器的多智能体方案，1024 个 agent 靠五步协作循环和三件开源基础设施自组织分工，6 小时断网从零重建 pandoc，测试通过率从单 agent 的 33.89% 提升到 55.06%。

Awaiting translation

微软与 UCSB 提出 ScholarEvolve：用论文进化 Agent Harness

微软与加州大学圣巴巴拉分校研究者公开论文 ScholarEvolve，从已发表的 Agent 研究中寻找改进思路，写进 Harness 后用真实任务检验，执行任务的模型保持不变。

Awaiting translation

统计 557 个 Cursor 规则文件：项目如何写 .mdc 规则

作者统计了公开 GitHub 仓库中 557 个 Cursor 规则文件，其中 510 个是 .cursor/rules 下的 .mdc 文件，47 个是旧的 .cursorrules 文件。

Awaiting translation

V-Rubrics 用 35 万条细粒度准则细化多模态强化学习奖励

南洋理工大学 S-Lab、A*STAR 和 UIUC 团队提出 V-Rubrics，将 50,248 个视觉样本拆成 352,938 条可逐项检查的准则，让视觉事实、推理步骤和任务要求分别参与奖励计算。

Awaiting translation

宝玉@doteyAI score6262

剑桥大学 AI 科学与政策项目（CASP）9 月发布一篇论文，Hinton、Bengio 等 20 多位研究者联名讨论 AI 研发被自动化后是否会引发智能爆炸，Hinton 在 X 上推荐了该论文。

Awaiting translation

编码智能体 harness 设计的实证研究：规划、动作空间与上下文管理如何影响表现

一项实证研究用固定执行循环的轻量编码 harness，在 SWE-Bench Verified 和 Terminal-Bench 2.1 上对四个模型评测 176 组匹配设置，变量为规划、动作空间和上下文管理。

Awaiting translation

Stolen Thoughts 研究：加密 reasoning block 可被跨模型解密，泄露 API key 与密码

Stolen Thoughts 研究发现 OpenAI、Anthropic 和 Google 的 reasoning API 存在漏洞：加密 reasoning block 未与具体模型、会话和用户充分绑定，把强模型的加密 reasoning 传给同厂商弱模型并越狱后，弱模型会以明文输出强模型的推理内容。

Awaiting translation

SWE-agent 的 ACI 论文与仓库：从十五个工具包到 100 行的 mini-swe-agent

SWE-agent 论文（arXiv:2405.15793）提出 agent-computer interface（ACI），主张为语言模型智能体设计专用接口，在 SWE-bench 和 HumanEvalFix 上分别取得 12.5% 和 87.7% 的 pass@1。

Awaiting translation

SWE-bench 分数到底测了什么：resolve rate 的生成过程与五篇论文的补充发现

SWE-bench 的百分比是智能体编程领域被引用最多的数字，但它比通常被引用的方式要窄得多。文章拆解了一次评测如何产出这个数字：提交是 JSONL 格式的补丁，在 Docker 容器中应用到 base_commit 并运行仓库测试，FAIL_TO_PASS 全部通过且 PASS_TO_PASS 不回归才算 resolved，默认是 pass@1。

Awaiting translation

实测对比 grep 与 LSP：编码智能体为何弃用更精确的检索工具

作者用三款 Claude 模型在多个 Python 和 TypeScript 仓库上对比 grep 词法检索与 LSP 语义导航，发现简单代码定位任务中模型只有 0% 到 6% 会选择语义工具，强制走语义路径反而让成功率从 100% 降到 89%。

Awaiting translation

实测 1.7 万次运行：Claude Code、Codex 和 Cursor 分别选哪些工具

一项实验在 75 个仓库、1163 个提示变体上运行了 16893 次会话，让 Claude Code、Codex 和 Cursor 实际安装所选工具，最终保留 5292 次有效会话。

Awaiting translation

WikiSkill：将 Agent 经验编译为持久知识以演化 Skill

WikiSkill 是一个让 Agent Skill 与持久知识库（wiki）协同演化的框架，它把原始执行经验、累积知识和可执行 Skill 分离，并持续将经验沉淀进 wiki 供后续 Skill 更新使用。

Awaiting translation

ETH Zurich 测试发现 AGENTS.md 对编码智能体基本没用，还让推理成本涨两成

ETH Zurich 团队用带与不带 AGENTS.md 的测试项目跑编码智能体，发现提供上下文文件通常不提升任务成功率，推理成本平均增加超过 20%，该结论在不同 LLM、编码智能体和 LLM 生成与开发者提交的上下文文件上都成立。

Awaiting translation

多智能体与单智能体对比：代码会写，协作还不行

一份多智能体（MAS）与单智能体（SAS）对比研究显示，智能体在协作上仍存在明显短板。在需要交换各自独有信息的任务中，多数模型只有 17–36% 的回合选对答案。

Awaiting translation

解读 DeepSeek Harness 与 Cordis 的时空可组合智能体架构

DeepSeek AI 与北京大学在论文中提出时空可组合性，形式化了 DeepSeek Harness 底层开源 TypeScript 微内核 Cordis 的架构。

Awaiting translation

Google 白皮书翻译：从随意提示词到智能体工程的新 SDLC

作者翻译了 Google 与 Kaggle 免费课程 5-Day AI Agents: Intensive Vibe Coding Course 五份白皮书中的第一份，主题是从随意提示词转向智能体工程的新 SDLC。

Awaiting translation

专家感知量化：在接近 Q2 的体积下拿到接近 Q4 的质量

作者 Martin Alderson 提出专家感知量化思路：先剖析 MoE 模型在特定任务上的专家路由热度，再把冷专家压到低精度、热专家保持高精度。

Awaiting translation

论文评估 AGENTS.md 是否真的帮到编程智能体

一篇论文评估仓库级上下文文件（如 AGENTS.md、CLAUDE.md）对编程智能体的作用，在 SWE-bench Lite 和自建基准 AGENTBENCH（12 个仓库的 138 个 Python 任务）上对比无上下文文件、LLM 生成和开发者手写三种条件。

Awaiting translation

Augment Code 调研 219 位工程负责人：AI 原生开发中的信任与角色落差

Augment Code 调研了 219 位工程负责人，发现其团队约 48% 的代码由 AI 生成，55% 担心团队对代码库失去共同理解，63% 表示工程师向管理者提出了技能相关性方面的担忧，在 201-1000 人规模的团队中这一比例升至 89%。

Awaiting translation

PIGuard：通过 MOF 策略缓解提示词注入防护的过度防御

圣路易斯华盛顿大学与威斯康星大学麦迪逊分校的研究者提出 PIGuard，一个用于检测提示词注入的轻量防护模型，并配套发布 NotInject 评测数据集。NotInject 包含 339 条带触发词的良性样本，用于衡量防护模型的过度防御问题，结果显示现有 SOTA 模型准确率降至接近随机猜测的 60%。

Awaiting translation

UC San Diego 研究 112 名专业开发者：资深开发者不 vibe coding，而是控制 AI 智能体

UC San Diego 研究团队通过 13 场实地观察和 99 名资深开发者的问卷（共 112 人，中位经验 10 年，使用 Claude Code、Cursor、GitHub Copilot、Windsurf）发现，专业开发者并不 vibe coding，而是通过规划和监督严格控制智能体。

Awaiting translation

ETH Zurich 新研究重新评估 AGENTS.md 对 AI 编程智能体的价值

ETH Zurich 团队构建 AGENTbench，用 138 个来自小众仓库的真实 Python 任务，测试 Claude 3.5 Sonnet、Codex GPT-5.2、GPT-5.1 mini 和 Qwen Code 在无上下文文件、LLM 生成文件、人工编写文件三种场景下的表现。

Awaiting translation

评估 AGENTS.md 对编程智能体是否有帮助

一项研究评估了 AGENTS.md 这类上下文文件对编程智能体完成任务的帮助，发现提供上下文文件通常不会提升任务成功率，反而让推理成本平均增加超过 20%。该结论在不同大语言模型、编程智能体以及 LLM 生成和开发者提交的上下文文件上都成立。研究还发现智能体能较好遵循上下文文件中的指令，但被模型厂商推荐的仓库概览类内容并无帮助，作者建议任何试图提升性能的改动都应先经过严格评估再部署。

Awaiting translation

系统提示词如何定义编程智能体的行为

Drew Breunig 分析了 Claude Code、Cursor、Gemini CLI、Codex CLI、OpenHands 和 Kimi CLI 六个 CLI 编程智能体的系统提示词，发现它们长度和指令分布差异明显，原因在于模型校准和用户体验定位不同。

Awaiting translation