跳到正文

#测试/验证

今日 0 条
8/4周二
8/2周日
8/1周六
7/29周三
7/27周一
7/24周五
  1. Geoffrey Huntley · Blog34

    Geoffrey Huntley 加入 Antithesis,用形式化验证与确定性测试消除代码 slop

    Geoffrey Huntley 宣布加入 Antithesis,主张用形式化验证和确定性系统测试应对 AI 时代代码量激增带来的审查危机。他认为软件编写已被商品化,但验证与理解仍非免费,Antithesis 结合 LLM 对抗式代码审查与 pre-commit hook 驱动的语言分析器,可让人类和智能体交付可靠软件而无需掌握专门知识。

7/22周三
  1. Augment Code · Blog62

    什么是循环工程,领先软件工程团队如何用它

    Augment Code 提出循环工程,即设计从触发、执行、验证到完成结果的智能体循环,让智能体承担中间环节、人类只在需要判断的检查点介入。文章把循环工程与提示词工程、上下文工程分层对比,并给出触发、执行、验证、结果、改进五个阶段,以及代码评审、工单转 PR、漏洞修复、事故响应四种已在生产运行的团队级循环。

    推荐理由:Augment Code 把循环工程拆成触发、执行、验证、结果、改进五阶段,并给出四种已在生产运行的团队级循环形态。

7/21周二
  1. Johnny Butler · Agentic Engineering41

    AI 编程基准测不出什么:代码可维护性

    AI 编程基准只衡量模型能否在限定条件下完成改动,却测不出它留下的代码库是否更难维护——重复逻辑、耦合收紧、多余抽象都不会让当前测试失败,代价在后续扩展或排查线上问题时才显现。作者主张把可维护性放进交付流程:仓库级规范、清晰的架构边界、有意义的测试与静态分析,并审查重复、复杂度、架构漂移和模式不一致。

7/20周一
  1. Johnny Butler · Agentic Engineering38

    AI 智能体的能力是真的,但工程纪律要自己补

    当前 AI 智能体演示普遍在无限 token 预算、全新或精选代码库、无合规与运维压力的条件下运行,展示的是能力上限而非真实交付环境。AWS 副总裁 Marc Brooker 指出,智能体的机会受限于缺陷率,开发者调研中已有团队称其 AI 工具预算不可持续。作者建议只给智能体与验证能力和预算相匹配的自主权,用标准、检查项和可追踪的支出逐步放宽。

7/17周五
7/15周三
  1. Johnny Butler · Agentic Engineering60

    Agent 写出的 Pull Request 比人类更好

    作者评审了一个 Agent 提交的 Pull Request,认为它又快又好,原因不在模型有多聪明,而在于质量门槛被写进了循环内部。这个 PR 在请求人工介入前就说明了改动了什么、刻意没动什么、该重点审查哪里、遵循了哪些规范,并附上了已运行的验证证据。作者由此提出,给 Agent 一个明确的完成定义和必须自证的标准,它就会为通过标准而优化,速度不是靠降低门槛换来的。

7/13周一
7/11周六
  1. Habr · Kova13v80

    用证据契约约束 Claude Code 的测试结论:一套 QA Skill 包

    一位 QA 工程师把半年在 Claude Code 上做 Web 测试的经验整理成开源 Skill 包 paranoid-qa,核心是一份证据契约:Pass/Fail 只能依据截图、请求体、日志等实际产物,未验证写 Not tested,环境受阻写 Blocked,表单必须检查真实提交 payload。

    推荐理由:作者把半年 QA 经验固化成 Claude Code 的测试 Skill 包,并给出可直接复用的证据契约与失败清单。

7/10周五
  1. Johnny Butler · Agentic Engineering49

    绿色通过从来不是你点合并的理由:AI 智能体自动合并 PR 的信任前提

    一些团队开始让 AI 智能体在 CI 全绿后自动合并自己提交的 PR,不再有人工介入。但绿色检查之所以能作为合并信号,靠的是检查运行前人类对意图、测试保护范围和系统风险点的判断,CI 只是确认而非替代这一判断。作者认为自动合并只适合低风险、边界清晰且有历史记录的改动,信任需要靠一次次带证据的改动积累,而不是打开一个开关。

7/8周三
  1. AI Hero · Skills Updates65

    AI Hero skills 仓库发布 v1.1:新增 /wayfinder,重命名 /to-spec 与 /to-tickets

    AI Hero 的 skills 仓库发布 v1.1,把 /to-prd 重命名为 /to-spec,将 /to-plan 和 /to-issues 合并为 /to-tickets,并新增 /wayfinder、/research、/prototype 等 Skill。

    推荐理由:作者把 grilling 到部署的完整 Skill 流程讲清楚,并给出重命名、合并和新增 /wayfinder 的迁移命令,适合想搭 AI 开发工作流的人参考。

6/30周二
  1. Kondasamy Jayaraman · Engineering Blog62

    形式化验证:AI 智能体尚未意识到的证明预言机

    作者认为测试只是抽样,形式化验证才能给出证明或反例,而 AI 智能体正好补上了形式化方法最贵的三块:写规格、解析反例、反复迭代。他给出 Z3、Dafny、TLA+、Alloy、Infer、Certora、Lean/Coq 的适用场景与安装方式,并指出验证器 CLI 可以像普通工具调用一样接入智能体循环,但规格写错、抽象层差异和状态空间爆炸仍是主要成本。

6/27周六
  1. Этихлид48

    从代理网关到本地 Opus:AI 工程面试题深度追问清单

    一份面向 AI 工程岗位的面试题追问清单,覆盖代理网关(如 OpenRouter/LiteLLM)、MCP/CLI、从零手写 Agent、多智能体编码流程、自定义 benchmark 以及本地部署约 27B-Q3_K_M.gguf 模型等方向。作者认为,这些题目的通用版本如今谁都能靠 vibe coding 一晚做出来,已失去简历价值,真正稀缺的是把任务打磨到"理想"状态的能力。

6/26周五
  1. Johnny Butler · Agentic Engineering41

    AI 编程智能体指令里的“Write Clean Code”只是愿望,不是可执行指令

    针对 AI 编程智能体指令文件中常见的“写整洁代码”“用 TDD”“遵循 SOLID”等表述,作者指出这些说法本身没错,但都不是可自我执行的指令。智能体主要复用代码库中已有的模式,在好坏混杂的真实代码库里,这类指令只是表达愿望。作者主张改为展示好与坏的具体样例,并让智能体证明自己实际遵循了哪些模式、在哪里应用、如何验证结果。

6/23周二
  1. Drew Breunig65

    Drew Breunig:问题在于提示词债,手调提示词就无法做到模型无关

    Drew Breunig 提出提示词债概念,认为用自然语言手写提示词来定义系统行为会带来三重后果:迭代变慢、团队难以读懂、应用被锁死在单一模型上。他引用 Datadog 报告称其观测到的流量中最常用的模型是 GPT-4o,并举例 Fable 的系统提示词把同一条版权规则重复了六次、Claude Code 让 Opus 七次要求在一次响应中返回多个工具调用。

6/17周三
6/15周一
  1. Jesse Vincent78

    Superpowers 6 发布:构建提速最高 50%、token 花费降低最高 60%

    Superpowers 6 发布,作者称在 Anthropic 评测基准上构建耗时降低 50%、token 花费降低 60%,主要来自合并规范符合性与代码质量两个评审 agent、预先生成评审用的 diff 包让评审者少跑 git,以及调整编排器对任务所需 agent 类型的指引。

    推荐理由:作者用自建评测套件量化了 Superpowers 6 在构建耗时和 token 花费上的改进,并公开了实验记录与失败结论。

5/22周五
5/19周二
  1. Johnny Butler · Agentic Engineering34

    我绝不会为了智能体速度放弃二十年的交付实践

    面对 AI 编程智能体带来的提速压力,作者认为更快的代码生成不等于更快的软件交付,意图、验收标准、风险边界、验证、证据与评审等交付纪律不可让步。智能体只有在既有工作流内运作才能参与其中,工作越交给智能体,可评审性就越重要。这是 Software Dark Factory 背后的核心理念:智能体应强化而非取代经过验证的交付实践。

5/18周一
5/16周六
  1. Johnny Butler · Agentic Engineering22

    在信任自动合并 PR 之前,团队需要先补齐什么

    越来越多工程团队在讨论让 AI 智能体自动合并 PR,但真正的信任问题不在模型本身,而在于变更意图是否明确可审、验收标准是否事先定义、风险边界是否划定、验证是否真正执行、智能体权限是否受限,以及是否有可审查的决策记录。缺少这些,自动合并只是让决策变快,而非交付变快。Software Dark Factory 正尝试把意图、标准、约束、验证和权限边界内建到工作流中,让治理先于速度。

5/13周三
5/11周一
5/9周六
5/5周二
  1. Drew Breunig62

    Agentic Coding 的 10 条经验

    Drew Breunig 整理出 agentic coding 的 10 条经验,面向刚上手 Codex、Claude Code、Pi 等智能体的人。他主张代码变便宜后应通过实现来学习、频繁重建,把投入放在端到端测试、记录意图和保持 spec 同步上,并自动化简单工作、把精力留给设计、性能、安全等难的部分。他强调代码便宜但维护、支持和安全并不便宜,智能体也会放大开发者已有的经验与品味。

4/30周四
4/27周一
4/13周一
3/24周二
3/20周五
  1. Terminal-Bench · News34

    Terminal-Bench 如何设计好的基准任务

    Terminal-Bench 发布任务设计指南,提出好的基准任务应具备对抗性、难度和可读性:指令像给资深工程师那样清晰直接,测试只验证结果而非实现细节,允许替代解法并防止 reward hacking。难度应来自问题本身,而非苛刻的输出格式或隐藏假设。作者建议亲自运行任务、检查容器、执行 oracle 并观察真实智能体轨迹,失败运行尤其能揭示任务是否真正困难。

3/13周五
  1. Ryan Lopopolo74

    智能体时代的生产函数变了:实现不再稀缺,验证才是

    作者认为,软件组织一直把人的实现时间当作稀缺投入,智能体打破了这个假设,因此策略必须可执行、验证必须随实现规模扩展。他以在大型 TypeScript 代码库开启 ESLint 的 no-await-in-loop 规则为例,发现 600 处违规,过去这需要昂贵的迁移,现在一个 PR 就能完成修复并补齐测试覆盖。

    推荐理由:作者以开启 ESLint 规则、迁移 600 处违规的亲身实践,说明智能体时代实现成本下降后,约束与验证为何成为新的稀缺环节。