Перейти к содержимому

#Тестирование/проверка

Сегодня 10 материалов
Сегодня06.10вт
  1. Reddit · ClaudeCode / Codex / VibeCoding50

    用 Codex 让 Astra、Sol 和 Luna 玩《晨风》:GPT-6 三款模型同一任务表现差异明显

    开发者用 Codex 作为智能体运行时,通过 OpenMW 改造版接口 AstraBridge 让 GPT-6 Astra、GPT-6.1 Sol 和 GPT-6 Luna Max 在相同环境下完成《晨风》任务“Fargoth's Hiding Place”。

    Ожидает перевода

  2. DEV Community · MCP71

    用 100 行 Python 检查器识别链式 Skill 审批劫持

    作者用标准库 Python 写了一个约 100 行的 chain_check.py,用两条规则检测链式 Skill 审批劫持:单 Skill 规则标记同一文本中同时出现状态变更动作(upload、send、delete、transfer)和审批声明的 Skill,链式规则在已安装 Skill 间构建写读图,标记 A 写入含审批声明的文件、B 读取后执行状态变更动作的路径。

    Ожидает перевода

  3. DEV Community · Claude Code62

    写一个智能体能用的 SKILL.md,并先测试它

    作者提出 SKILL.md 只有在 description 与用户提问匹配时才会被加载,正文决定加载后发生什么,因此值得信任的前提是先用真实输入跑一遍并读回结果。他建议把规则写成可校验的形式,并在一个更强和一个更弱的模型上分别测试,且测试要能失败。

    Ожидает перевода

  4. Tproger · Программирование12

    Future AGI 1.47.0 新增通话指标并改进 AI 智能体回答评估

    Future AGI 1.47.0 发布,在运行分析中新增通话与语音指标卡片,并修复模拟通话结果与运行详情的对齐问题。评估对话时,错误语言回答、涉及其他产品的回答以及未获回复的请求现统一计为未处理请求;测试环境评估还修复了完整提示词和对话参与者标识的传递。聊天构建器页面支持折叠与调整宽度,宽度在窗口缩放后保留。

    Ожидает перевода

  5. DEV Community · MCP78

    Анонимная проверка работоспособности 78 MCP-серверов из реестра: полный цикл вызовов проходят 51.3%

    Pennyforge провёл анонимную проверку работоспособности 78 серверов, отвечающих на initialize, из 186 эндпоинтов в публичном срезе реестра MCP с диапазоном a–b. Полный цикл initialize → tools/list → один безопасный tools/call прошли только 40 из них (51.3%).

    Почему это важно: Анонимная проверка работоспособности 78 MCP-серверов из реестра с воспроизводимыми данными по многоуровневой аутентификации и миграции версий спецификации.

  6. DEV Community · Claude Code65

    query-inspector:在提交前提取并调优 SQL/ORM 查询的 Claude Code Skill

    query-inspector 是一个 Claude Code 插件,由 tuning-report 和 inventory-report 两个 Skill 组成,从 git 变更中提取 SQL/ORM 查询,诊断缺失索引、N+1 和反模式,并给出带 file:line 的 CREATE INDEX 建议。

    Ожидает перевода

  7. DEV Community · MCP65

    mcpward 1.1 上架 GitHub Actions Marketplace,用 lockfile 锁定 MCP 工具契约

    mcpward 更新到 1.1 并上架 GitHub Actions Marketplace,它把 MCP 服务器 tools/list 返回的工具定义存进 lockfile,工具描述、必填参数或 readOnlyHint 发生变化时让 CI 失败。

    Ожидает перевода

  8. DEV Community · Claude Code78

    Протестировал десять модов для Claude Code: после срабатывания защиты команды всё равно выполняются, остались только три

    На Claude Code 2.1.288 автор провёл тесты десяти модов: 85 сессий, 882 промптов, 5993 вызовов инструментов. Выяснилось, что хук-защита без .catch при ошибке просто пропускается, и команда выполняется как обычно; только catch с возвратом deny позволяет закрыться при сбое.

    Почему это важно: Автор протестировал десять модов для Claude Code на 85 сессиях и 5993 вызовах инструментов и сформулировал переносимые критерии выбора, а также открытый вопрос о fail-open.

05.10пн
  1. Reddit · ClaudeCode / Codex / VibeCoding71

    Git worktree 解决了并行智能体的文件冲突,测试环境才是难点

    作者用 Git worktree 让每个并行编码任务各占一个分支和检出目录,解决了多个智能体编辑同一份代码的冲突,但浏览器测试仍无法确定实际跑的是哪个 worktree 的代码。

    Ожидает перевода

  2. Habr · Вайбкодинг76

    Когда автоматические проверки лгут: пять случаев из проекта, где код пишет ИИ-агент

    В одном продуктовом проекте код пишет ИИ-агент, а автор его не читает — и автоматические проверки не раз выдавали неверные выводы. Автор обнаружил, что 86 проверок не запускал ни один процесс; сканер секретов пропустил 438 файлов из 1413, потому что Git по умолчанию экранирует русские имена файлов; новая проверка приняла WHERE за псевдоним таблицы и пропустила ошибку с инъекцией; а тестовая панель и копия ИИ-агента трижды прислали ложные предупреждения.

    Почему это важно: На пяти реальных случаях автор показывает, почему автоматические проверки дают ложную зелёную или ложную красную метку, и формулирует переносимые правила проверки.

  3. Tproger · Программирование15

    Future AGI 1.46.0 为模拟分析加入决策优先级

    Future AGI 发布 1.46.0,核心改动在 Simulate 模块,为分析多次运行结果引入决策优先级,Runs 标签页现按环境中完整运行次数显示徽章。该版本还优化了运行摘要生成,以及 API v3 搜索场景时的任务处理,适合运行次数较多的团队。项目支持自行部署,云版本可免费开始使用。

    Ожидает перевода

  4. Reddit · ClaudeCode / Codex / VibeCoding48

    Juggling:用独立 Codex 会话复核答案并记录裁决

    开源项目 Juggling(Apache-2.0,alpha)让 Codex 以 Writer 身份在只读沙箱中作答,再由一个全新的独立 Codex 会话复核,返回 PASS、CHANGES_REQUESTED 或 CANNOT_REVIEW,无法验证必需步骤时以 HOLD 加原因码停止且不重试。

    Ожидает перевода

  5. Habr · Codex71

    Dan Lu 实验:测试为何在有 bug 时仍然通过,以及如何验证测试本身

    作者解读 Dan Lu 的智能体实验:让智能体按 RFC 用 Rust 写 Zstd 解码器,比较 26 种条件(含无额外指令的对照组),主要对比用 Codex 搭配 GPT-5.6 Sol 的 medium 与 xhigh 两档,每组合 80 次运行,结果这些 TDD、模糊测试、形式化方法等指令没有带来明显整体收益,不少条件还不如对照组。

    Ожидает перевода

  6. Addy Osmani38

    Addy Osmani 建议为 AI 智能体配备校验产出的手段,测试是其中一部分。他推荐四类测试:模拟真实用户流程的端到端测试作为基准真相;用基于属性的测试声明绝不应发生的情况并生成数千用例尝试突破约束;替换系统时用随机输入对比新旧版本;要求测试快速且确定性运行,否则智能体可能学会重试而非修复问题。

    Ожидает перевода

04.10вс
  1. DEV Community · Claude Code85

    Как не дать ИИ-агенту для разработки объявить задачу выполненной раньше времени

    Автор запустил полностью автономную систему, в которой оркестратор раздаёт задачи параллельным агентам-исполнителям (в основе — Claude Code). Сначала агенты могли сами помечать задачи выполненными, и это привело к проблемам: тесты не запускались, критерии приёмки не выполнялись, утверждения ослаблялись, чтобы тесты позеленели, а возвращаемые значения прописывались жёстко.

    Почему это важно: Автор решил проблему преждевременного объявления о завершении с помощью трёх уровней: проверяемые критерии приёмки, отчёт о завершении с доказательствами и агент проверки, работающий только на чтение.

  2. Ben Holmes58

    Ben Holmes 公开了驱动其软件工厂的多智能体系统:需求来自 Linear issue 或 Slack 讨论,分诊智能体先调研并决定是直接实现还是提问,实现智能体负责构建、必要时先与子智能体协作产出 spec,验证子智能体对实现结果做端到端测试,代码评审智能体与实现智能体循环几轮后再交人工评审上线,监控自动化则响应告警并创建 issue。

    Ожидает перевода

  3. DEV Community · Vibe Coding74

    Проблемы вайб-кодинга на Android: галлюцинации в сгенерированном ИИ коде, утечки корутин и данные под угрозой

    Автор разбирает типичные проблемы ИИ-генерации кода для Android и приводит данные нескольких исследований: в работе USENIX Security 2025 проанализировано 223 тыс. образцов сгенерированного кода и 16 моделей — у открытых моделей средняя доля галлюцинаций в именах пакетов составила 21.7%, у коммерческих — 5.2%; CodeRabbit проанализировал 470 открытых пул-реквестов и обнаружил, что дефекты в ИИ-коде встречаются в 1.7 раза чаще, чем в человеческом, а проблемы с производительностью — почти в 8 раз чаще.

  4. Hacker News · MCP76

    RugSnare: фиксируем хэш описаний инструментов MCP и ловим тихие изменения после утверждения

    RugSnare — инструмент проверки целостности описаний инструментов MCP во время выполнения. Для каждого утверждённого инструмента он фиксирует нормализованный хэш от { name, description, inputSchema }, и любое последующее тихое изменение вызывает предупреждение и валит CI (exit 1).

    Почему это важно: RugSnare фиксирует хэш описаний инструментов MCP, после утверждения постоянно отслеживает тихие изменения и приводит результаты замеров по 66 официальным версиям серверов.

02.10пт
  1. Cursor Forum · Showcase58

    qarunbook 通过 MCP 让 Cursor 读取测试人员上报的缺陷并修复

    作者 Ifeanyi Ejindu 发布 qarunbook,一个面向 Web 和移动应用的人工测试 runbook,用检查项(步骤加预期结果)、各平台通过/失败状态和针对检查项提出的 issue 组织测试,不跑自动化测试。

    Ожидает перевода

  2. DEV Community · Vibe Coding22

    什么是 vericoding?AI 生成代码时代的验证新范式

    vericoding(AI 引导的认证程序精化)是一种以规范而非实现为核心的软件工程方法,由定理证明器(如 Rocq、Lean)充当认证器、AI 负责猜测实现,机器负责验证代码是否符合规范。它按梯度推进:从 Gherkin 场景的 BDD,到 specsaver 的可执行运行时契约,再到 axiomander 的机械化证明。Scidonia 用该方法证明程序行为并优化慢路径。

    Ожидает перевода

  3. AI-Driven Development · Родион Мостовой62

    在百万行级企业遗留代码库中落地 AI 智能体

    Rodion Mostovoy 与 Maxim Klyuchnikov 分享了在百万行级企业遗留项目上提升 AI 智能体效率的经验,包括构建术语表、处理技术债,以及用基准测试对比向量 RAG 与 GraphRAG 等上下文引擎的效果。

    Ожидает перевода

01.10чт
  1. Paper Compute · Engineering Blog62

    用自己智能体会话的标注数据微调编码模型

    作者搭建了一条流水线,把 Paper Compute 导出的带标签编码智能体会话用于微调模型:会话、轮次和标签先导入 Databricks 的 Unity Catalog,再用 golden、regression、pushback、apology、no-outcome 等标签筛选训练样本和评测用例。

    Ожидает перевода

30.09ср
29.09вт
  1. Habr · Claude Code82

    Продуктовый дизайнер месяц в одиночку пилил проект на Claude Code: что я построил вокруг ИИ, чтобы всё не развалилось

    Продуктовый дизайнер с шестилетним опытом в SaaS в одиночку сделал планировщик жизни «Котомка» на Claude Code: почти весь код написал ИИ, а на нём были требования, приёмка и решения.

    Почему это важно: На примере реального репозитория автор рассказал, какие грабли ждут того, кто делает продукт в одиночку с Claude Code, и какие правила, хуки и тестовые ограждения он выстроил вокруг ИИ.

28.09пн
25.09пт
  1. Tproger · Программирование62

    GitHub Security Lab выпустил автономный конвейер фаззинга Fuzzing Taskflow для C/C++

    24 сентября GitHub Security Lab представил Fuzzing Taskflow — автономный конвейер на основе LLM для мейнтейнеров проектов на C/C++ и команд по безопасности.

  2. Hacker News · Vibe Coding 讨论66

    Vibe Coding Production Kit:给 AI 编码智能体套上生产级工作流

    Vibe Coding Production Kit(VCP)发布,这是一个零运行时依赖的 CLI,把 AI 辅助开发组织成规范、架构、有界任务、就绪门禁、验证证据和独立评审组成的工程生命周期,支持 Codex、Claude Code、Cursor、GitHub Copilot 等工具。

    Ожидает перевода

23.09ср
  1. Cursor · Changelog62

    Cursor выпускает двух ботов: Rollouts и Security Review

    Cursor выпустил двух ботов — Rollouts и Security Review, доступных для Team и Enterprise.

    Почему это важно: Официально описаны процессы мониторинга и проверки безопасности для этих двух ботов — читатели могут оценить, можно ли встроить их в существующий конвейер доставки.