GitHub 发布 AI 代码评审开放基准 ReviewBench

GitHub 发布代码评审离线基准 ReviewBench，基于 1.039 亿个 GitHub PR 的分布特征，构建了覆盖 19 种语言、219 个公开 PR 的评测集，并公开数据集、评分规则与 LLM 评审模型配置。

Ожидает перевода

Steve Yegge@Steve_YeggeОценка ИИ2222

使用 Opus 5.5 两周后，作者认为它是出色的模型，在解释和教学方面远优于 Fable。其评测显示，Opus 5.5 的精度在所有任务上与 Fable 5.1 相当，但召回不如后者：具体任务上两者持平，任务越开放，Fable 越能发现并处理重要问题，视角更好。作者仍将 Opus 5.5 用于大部分工作。

Ожидает перевода

Sebastian Raschka@rasbtОценка ИИ3636

Sebastian Raschka 用 Paint UI 复刻同一张图，对比 GPT-5.6 Astra 与 Qwen3.8 Max 的计算机使用（视觉）能力：Astra 默认用几何图形分层绘制，Qwen 则逐像素还原，后者结果天然更接近原图、得分会更高。但他认为不能据此断定 Qwen 的计算机使用或视觉理解更强，这恰恰说明只看最终结果的 benchmark 有多不可靠。

Ожидает перевода

Terminal-Bench 4.0 发布：校准任务资源、移除饱和任务

Terminal-Bench 发布 4.0 版本，校准任务的时间、CPU 和内存资源，修复 19 个任务并移除 8 个饱和或存在质量问题的任务，所有任务统一设为 8 小时 agent 超时。

Ожидает перевода

Terminal-Bench-Science 0.1 发布：70 项科研任务，Claude Opus 5 解决率 30%

斯坦福大学研究人员主导、Terminal-Bench 团队联合全球科研机构专家打造的 Terminal-Bench-Science 0.1 发布，首批含生命、物理、地球、数学和工程科学领域的 70 项任务。

Ожидает перевода

Cline протестировал восемь моделей на задачах IMO 2026: DeepSeek V4 Flash взял золотую планку всего за 0.12 доллара

Cline прогнал восемь моделей через собственный harness на шести задачах IMO 2026. Решения оценивали вслепую по 0–7-балльной шкале два эксперта — GPT-5.5 и Claude Opus 5, а спорные случаи разбирал Gemini 3.1 Pro. Порог золотой медали — 29 баллов.

Методика оценки и трассировка открытых моделей Cline

Cline открывает методику оценки своих открытых моделей и выкладывает для скачивания и анализа трассировки и результаты «восхождения», стоившие больше тысячи долларов. В статье приводится Hill Climber's Checklist — пять эвристик: задать метрику-«Полярную звезду», измерить шум, разложить режимы отказа по задачам, моделям и поставщикам, не считать по умолчанию, что чем больше рассуждений, тем лучше, и сохранять закрытый оценочный набор.

Вышел Terminal-Bench 3.0: 74 задачи, 7 областей, у сильнейших моделей проходимость около 34%

Команда Terminal-Bench выпустила Terminal-Bench 3.0 — первая версия включает 74 задач в 7 областях, у сильнейших моделей проходимость около 34%. По сравнению с Terminal-Bench 2.1 здесь больше разнообразия задач, а для постоянного улучшения бенчмарка добавили CI/CD, семантическое версионирование и перенос результатов.

Terminal-Bench выпустил новые возможности Harbor: теперь бенчмарк можно обновлять как версионируемый актив

Команда Terminal-Bench выпустила набор новых возможностей Harbor: датасеты теперь можно публиковать по версиям, а таблицу лидеров — переносить на новую версию, для чего нужно либо переиспользовать, либо переоценить, либо перезапустить trial. Задачи версионируются семантически: при изменениях уровня патча старые результаты просто переиспользуются, при изменениях валидатора достаточно переоценить уже сохранённые артефакты, и только существенные изменения, заметно меняющие среду ИИ-агента, требуют перезапуска. Версия датасета соответствует максимальной версии среди задач, а таблица лидеров через diff перезапускает только задачи с существенными изменениями.

Cline 用递归自我改进让智能体自主把 Kimi K3 在 Terminal-Bench 2.1 提到 88.8%

Cline 用一条提示词启动 17 小时连续运行的编码智能体，以 GPT-5.6-Sol 为 leader 模型，把 Kimi K3 在 Terminal-Bench 2.1 上的成绩从基线 69/89（77.5%，$79）提升到确认运行 79/89（88.8%，$49.8），超过 Moonshot 自报的 88.3%。

Ожидает перевода

Terminal-Bench 发布 Challenges 长周期智能体基准

Terminal-Bench 发布 Challenges，一种长周期、高 token 消耗的单任务基准，要求智能体在无时间与资源限制下自主完成整个项目，首批开放三个挑战。

Ожидает перевода

Augment Code проверила на практике правила в стиле Карпати: ИИ-агент для разработки не написал код лучше, но сделал это быстрее и дешевле

Augment Code добавила в начало AGENTS.md около 2.5 тыс. символов правил кодирования в стиле Карпати и сравнила, как Auggie, Claude Code и Codex справляются с 40 пул-реквестами OpenClaw.

Lovable 早期测试 GPT-5.5：最难任务通过率 41.6%，比 GPT-5.4 提升 12.5%

Lovable 在早期访问中测试 GPT-5.5，其内部基准显示最难任务通过率从 GPT-5.4 的 36.9% 升至 41.6%，每次请求工具调用减少 23.1%，用户卡住的消息占比下降 9.9%。GPT-5.5 每请求输出 token 减少 33%，日常任务成本效率提升约 15%，将很快向 Lovable 构建者开放。

Ожидает перевода

Augment Code протестировала AGENTS.md на практике: хороший файл сравним с апгрейдом модели, а плохой лучше не писать

Augment Code вытащила из своего монорепозитория несколько десятков AGENTS.md и на внутреннем наборе тестов AuggieBench сравнила, как один и тот же агент справляется с задачей при наличии этих файлов и без них. Лучшие файлы дают такой же прирост качества, как переход с Haiku на Opus, а худшие — ухудшают результат по сравнению с полным отсутствием AGENTS.md.

Terminal-Bench 如何设计好的基准任务

Terminal-Bench 发布任务设计指南，提出好的基准任务应具备对抗性、难度和可读性：指令像给资深工程师那样清晰直接，测试只验证结果而非实现细节，允许替代解法并防止 reward hacking。难度应来自问题本身，而非苛刻的输出格式或隐藏假设。作者建议亲自运行任务、检查容器、执行 oracle 并观察真实智能体轨迹，失败运行尤其能揭示任务是否真正困难。

Ожидает перевода

Terminal-Bench-Science 发起任务征集，为自然科学构建 AI 智能体基准

Terminal-Bench 团队宣布正在开发 Terminal-Bench-Science（TB-Science），面向生命科学、物理科学、地球科学及数学与计算科学等自然科学领域，目标构建 100+ 个可执行基准任务，在容器化环境中以确定性程序化验证评估 AI 智能体。

Ожидает перевода

Terminal-Bench 3.0 公开征集任务贡献

Terminal-Bench 3.0 已进入开发阶段，目标收录 100 个多样化任务，发布时最强模型的解决率不超过 30%。任务需为可通过命令行完成并程序化验证的真实计算机工作，覆盖更长周期、多微服务/文件系统/数据库等更丰富环境及专家级知识，合并窗口开放至 5 月底。贡献者提交一个被接受的任务即可在最终版本中获得署名。

Ожидает перевода

Terminal-Bench выпустил версию 2.0 и пакет оптимизаций для оценки в Harbor

Terminal-Bench выпустил версию 2.0 и пакет Harbor: первый — это более строго проверенный и сложный бенчмарк для оценки агентов, второй — для их оценки и оптимизации. Harbor переписал тестовый фреймворк Terminal-Bench: теперь можно разворачивать контейнеры в облаке, есть интерфейсы rollout для RL и SFT, а также совместимость с любыми агентами, которые упаковываются в контейнер.

Terminal-Bench 排行榜回应超时争议：OB-1 重新提交成绩后重回榜首

OpenBlock Labs 的智能体 OB-1 在按正确超时限制重新提交成绩后，重新成为 Terminal-Bench 排行榜得分最高的智能体。此前该提交将数据集中每个任务的超时统一改为固定 30 分钟，而多数任务原本限时 5 分钟，导致 75 个任务超时被放宽、2 个不变、3 个被缩短。

Ожидает перевода

Terminal-Bench 发布数据集注册表，统一多个智能体基准评测

Terminal-Bench 发布数据集注册表，让智能体开发者通过 Terminal-Bench 框架统一评测多个智能体基准，基准开发者也能借此分发自己的基准。

Ожидает перевода

Warp 在 Terminal-bench 上以 52% 任务解决率刷新 SOTA

Warp 在 Terminal-bench-core v0.1 上解决 52% 的任务，比此前最好成绩提升 9%，首次登顶该基准。此前 Anthropic 的 Opus 4 以 43% 的任务解决率创下纪录。

Ожидает перевода

Terminal-Bench 新增科学计算与密码学任务：UPC 并行基因组组装与 FEAL 线性密码分析

Terminal-Bench 新增 parallelize-graph 和 feal-linear-cryptanalysis 两个高难度任务，分别要求智能体用 Unified Parallel C 实现基因组组装的并行 de Bruijn 图构建，以及对 FEAL 类分组密码实施已知明文线性密码分析攻击。

Ожидает перевода

Anthropic 在 Claude 4 模型卡中引入 Terminal-Bench，Claude 4 Opus 创下 43.2% 新 SOTA

Anthropic 将 Terminal-Bench 列为 Claude 4 模型卡七项基准之一，Claude 4 Opus 在 Terminal-Bench-Core 上取得 43.2% 的 SOTA 成绩。Dario Amodei 在 Code with Claude 主题演讲中也提及该基准。Terminal-Bench 团队表示将在未来几天验证 Claude 4 的表现并更新官方排行榜。

Ожидает перевода

Terminal-Bench 推出研究预览版智能体 Terminus

Terminal-Bench 团队发布研究预览版智能体 Terminus，用于在终端中一致地评估语言模型驱动自主智能体的能力，发布时其性能在 Terminal-Bench 上仅次于 Claude Code。Terminus 采用单工具设计，仅通过 tmux 会话发送标准按键操作，并借助 LiteLLM 支持几乎所有 API 或本地托管模型，且完全自主运行、不请求用户输入。

Ожидает перевода

Terminal-Bench 发布首个终端智能体评测基准

Terminal-Bench 发布首个版本，用于量化 AI 智能体在终端中执行复杂任务的能力，首发数据集 Terminal-Bench-Core-v0 包含 80 个手工编写并人工验证的任务，每个任务配有独立 Docker 环境、人工验证的解法与测试用例。

Ожидает перевода