GitHub 与 Microsoft 开放 ReviewBench 评测 AI 代码评审
GitHub 和 Microsoft 于 2026 年 10 月 5 日开放研究预览版 ReviewBench，用于评测 AI 代码评审智能体。该基准包含来自 187 个公开仓库、19 种语言的 219 个 pull request，语言和仓库规模分布基于对 GitHub 上 1.039 亿个 pull request 的分析，并刻意提高了实质性改动的占比。
#评测/基准
#评测/基准
今日 0 条Tproger · ПрограммированиеAI 评分5858 GitHub Blog · Copilot精选AI 评分6666 GitHub 发布 AI 代码评审开放基准 ReviewBench
GitHub 发布代码评审离线基准 ReviewBench，基于 1.039 亿个 GitHub PR 的分布特征，构建了覆盖 19 种语言、219 个公开 PR 的评测集，并公开数据集、评分规则与 LLM 评审模型配置。
推荐理由：GitHub 公开了 AI 代码评审基准的数据集、评分规则与评测入口，读者可据此对比不同评审智能体。
Vibe Code Textbook · ArticlesAI 评分6666 实测 Claude Code、Codex 与 Gemini CLI 的更新频率
作者用 npm 发布时间戳统计 2026 年 Q3 的发布次数：Claude Code 发布 79 个版本、Codex CLI 38 个、Gemini CLI 15 个，中位发布间隔分别为 0.96 天、1.64 天和 6.09 天。
DEV Community · MCPAI 评分3838 MCPA 认证解读：Model Context Protocol Associate 考试考什么、多少钱、能证明什么
Linux Foundation 与 Agentic AI Foundation 于 9 月 14 日推出首个厂商中立的 MCP 认证 MCPA，考试为线上监考多选题，费用 US$250，有效期两年，含一次免费重考，对齐 2026-07-28 版 MCP 规范。
DEV Community · CodexAI 评分7575 GPT-5.5 与 Codex：被炒作掩盖的真实变化与代价
GPT-5.5 于 2026 年 4 月 23 日发布，是 OpenAI 自 GPT-4.5 以来首个完全重训练的基座模型，在 Terminal-Bench 2.0 上得分 82.7%，相同 Codex 任务下比 GPT-5.4 少用 40% token，但输入输出价格翻倍至每百万 token 5 美元和 30 美元。
PaperAgentAI 评分3636 Jev 论文潮来袭：LLM2Jev 与 Chinese-Jev 等一批 System One 决策模型研究
9 月 15 日发布的 System One 决策模型 Jev 一周内 GitHub 相关项目超两千个、star 破四万，一批论文随之涌现。
AI大模型应用实践AI 评分6262 上手体验 OpenAI DevDay 更新：Dots、Decisions API、Codex Harness 与 Space
作者上手体验了 OpenAI DevDay 发布的 Dots、Decisions API、开源 Codex Harness 更新和 ChatGPT Space 四项能力。
苍何AI 评分7474 谷歌发布 Gemini 4 Argon，多项基准第一但第三方仅与 GPT 6 Astra 持平
谷歌发布旗舰模型 Gemini 4 Argon，官方公布的 18 项测试中独占第一 12 项，DeepSWE v1.1 以 77.9% 位列全球第一，AutomationBench-AA 以 77.5% 领先 Claude Sonnet 5.5 的 71.3%。
Habr · CursorAI 评分3434 俄罗斯 Маракуйя ИИ 的智能体框架在 Terminal-Bench 4 和 OSWorld 2 上的基准测试结果
俄罗斯团队 Маракуйя ИИ 的智能体框架首次参加 Terminal-Bench 4 和 OSWorld 2 两项基准测试，取得亮眼成绩。
DevAgentStack · Field Notes精选AI 评分8282 GPT-6 Astra 基准对比 Fable 5.1：哪些分数可比，哪些不可比
OpenAI 于 2026 年 9 月 3 日发布 GPT-6 Astra 与 Astra Pro，首批仅限 Daybreak 网络安全计划企业，ChatGPT 付费版、API 和 AWS 将在随后几天开放。
推荐理由：梳理 GPT-6 Astra 与 Fable 5.1 的基准对比，指出各家测试版本与 harness 不一致，读者可据此判断哪些分数可比。
Terminal-Bench · NewsAI 评分4040 Terminal-Bench 4.0 发布：校准任务资源、移除饱和任务
Terminal-Bench 发布 4.0 版本，校准任务的时间、CPU 和内存资源，修复 19 个任务并移除 8 个饱和或存在质量问题的任务，所有任务统一设为 8 小时 agent 超时。
Terminal-Bench · NewsAI 评分3434 Terminal-Bench-Science 0.1 发布：70 项科研任务，Claude Opus 5 解决率 30%
斯坦福大学研究人员主导、Terminal-Bench 团队联合全球科研机构专家打造的 Terminal-Bench-Science 0.1 发布，首批含生命、物理、地球、数学和工程科学领域的 70 项任务。
Cline · Blog精选AI 评分7171 Cline 实测八个模型做 IMO 2026：DeepSeek V4 Flash 以 0.12 美元拿到金牌线
Cline 让八个模型在自家 harness 里做 IMO 2026 六道题，证明由 GPT-5.5 和 Claude Opus 5 双盲按 0–7 分制评分、Gemini 3.1 Pro 仲裁，金牌线为 29 分。
推荐理由：Cline 用同一套 harness 盲评八个模型做 IMO 2026，给出分数与单次成本对照，可看开源权重模型的实际性价比。
Terminal-Bench · News精选AI 评分6060 Terminal-Bench 3.0 发布：74 个任务、7 个领域，最强模型通过率约 34%
Terminal-Bench 团队发布 Terminal-Bench 3.0，首个版本包含 7 个领域共 74 个任务，最强模型通过率约 34%。该版本在 Terminal-Bench 2.1 基础上扩展任务多样性，并引入 CI/CD、语义化版本和结果迁移来持续改进基准。
推荐理由：Terminal-Bench 3.0 用 74 个任务和 CI/CD 版本化机制重建基准，读者可了解新基准如何拉开模型差距。
Terminal-Bench · News精选AI 评分6262 Terminal-Bench 发布 Harbor 新功能，把基准做成可持续更新的版本化资产
Terminal-Bench 团队发布一批 Harbor 新功能，让数据集可以按版本发布、排行榜可迁移到新版本，做法是复用、重评或重跑 trial。任务采用语义化版本：补丁级改动直接复用旧结果，验证器改动只需重评已保存产物，只有显著改变智能体环境的重大改动才需要重跑；数据集版本跟随任务中最大的版本号，排行榜通过 diff 只重跑重大改动任务。
推荐理由：Terminal-Bench 团队把基准当软件来维护，给出任务语义化版本与排行榜升级的具体机制，可迁移到自建评测流程。
Terminal-Bench · News精选AI 评分6060 Terminal-Bench 发布 Challenges 长周期智能体基准
Terminal-Bench 发布 Challenges，一种长周期、高 token 消耗的单任务基准，要求智能体在无时间与资源限制下自主完成整个项目，首批开放三个挑战。
推荐理由：Terminal-Bench 官方推出长周期单任务基准，并公开三个挑战的实测失败模式，可供评估智能体长时自主能力时参考。
Lovable · BlogAI 评分3838 Lovable 早期测试 GPT-5.5：最难任务通过率 41.6%，比 GPT-5.4 提升 12.5%
Lovable 在早期访问中测试 GPT-5.5，其内部基准显示最难任务通过率从 GPT-5.4 的 36.9% 升至 41.6%，每次请求工具调用减少 23.1%，用户卡住的消息占比下降 9.9%。GPT-5.5 每请求输出 token 减少 33%，日常任务成本效率提升约 15%，将很快向 Lovable 构建者开放。
Terminal-Bench · NewsAI 评分2222 Terminal-Bench-Science 发起任务征集，为自然科学构建 AI 智能体基准
Terminal-Bench 团队宣布正在开发 Terminal-Bench-Science（TB-Science），面向生命科学、物理科学、地球科学及数学与计算科学等自然科学领域，目标构建 100+ 个可执行基准任务，在容器化环境中以确定性程序化验证评估 AI 智能体。
Terminal-Bench · NewsAI 评分3030 Terminal-Bench 3.0 公开征集任务贡献
Terminal-Bench 3.0 已进入开发阶段，目标收录 100 个多样化任务，发布时最强模型的解决率不超过 30%。任务需为可通过命令行完成并程序化验证的真实计算机工作，覆盖更长周期、多微服务/文件系统/数据库等更丰富环境及专家级知识，合并窗口开放至 5 月底。贡献者提交一个被接受的任务即可在最终版本中获得署名。
Hacker News · AI Code Review 讨论AI 评分4242 Qodo 发布 AI 代码审查基准 1.0：100 个 PR、580 个问题
Qodo 研究团队发布 AI 代码审查基准 1.0，向真实已合并 PR 注入缺陷，用 100 个 PR、580 个问题同时评测代码正确性与最佳实践合规性。在对比 Qodo 模型与 7 家主流 AI 代码审查平台的评测中，Qodo 以 60.1% 的 F1 分数领先，基准及评测结果已在 GitHub 公开。
Terminal-Bench · News精选AI 评分6262 Terminal-Bench 发布 2.0 版本与 Harbor 评测优化包
Terminal-Bench 发布 2.0 版本和 Harbor 包，前者是经过更严格验证、难度更高的智能体评测基准，后者用于评估和优化智能体。Harbor 重写了 Terminal-Bench 的测试框架，支持云端部署容器、面向 RL 和 SFT 的 rollout 接口，并兼容任何可装入容器的智能体。
推荐理由：Terminal-Bench 2.0 与 Harbor 同时发布，读者可了解智能体评测基准的验证方式与云端扩展思路。
Terminal-Bench · NewsAI 评分5757 Terminal-Bench 发布数据集注册表，统一多个智能体基准评测
Terminal-Bench 发布数据集注册表，让智能体开发者通过 Terminal-Bench 框架统一评测多个智能体基准，基准开发者也能借此分发自己的基准。
Terminal-Bench · NewsAI 评分5858 Warp 在 Terminal-bench 上以 52% 任务解决率刷新 SOTA
Warp 在 Terminal-bench-core v0.1 上解决 52% 的任务，比此前最好成绩提升 9%，首次登顶该基准。此前 Anthropic 的 Opus 4 以 43% 的任务解决率创下纪录。
Terminal-Bench · NewsAI 评分2222 Terminal-Bench 新增科学计算与密码学任务：UPC 并行基因组组装与 FEAL 线性密码分析
Terminal-Bench 新增 parallelize-graph 和 feal-linear-cryptanalysis 两个高难度任务，分别要求智能体用 Unified Parallel C 实现基因组组装的并行 de Bruijn 图构建，以及对 FEAL 类分组密码实施已知明文线性密码分析攻击。
Terminal-Bench · NewsAI 评分3232 Anthropic 在 Claude 4 模型卡中引入 Terminal-Bench，Claude 4 Opus 创下 43.2% 新 SOTA
Anthropic 将 Terminal-Bench 列为 Claude 4 模型卡七项基准之一，Claude 4 Opus 在 Terminal-Bench-Core 上取得 43.2% 的 SOTA 成绩。Dario Amodei 在 Code with Claude 主题演讲中也提及该基准。Terminal-Bench 团队表示将在未来几天验证 Claude 4 的表现并更新官方排行榜。
Terminal-Bench · News精选AI 评分6262 Terminal-Bench 发布首个终端智能体评测基准
Terminal-Bench 发布首个版本，用于量化 AI 智能体在终端中执行复杂任务的能力，首发数据集 Terminal-Bench-Core-v0 包含 80 个手工编写并人工验证的任务，每个任务配有独立 Docker 环境、人工验证的解法与测试用例。
推荐理由：Terminal-Bench 给出 80 个带 Docker 环境和测试用例的终端任务，可用来横向比较不同智能体在命令行中的实际表现。