用可视化工具观察 MoE 模型的专家路由
作者做了一个可视化 MoE 专家路由的小工具 moe-viz.martinalderson.com,可选择不同提示词观看生成动画,查看每层每个 token 激活了哪些专家,上方显示生成时的路由,下方累积成热力图。
作者做了一个可视化 MoE 专家路由的小工具 moe-viz.martinalderson.com,可选择不同提示词观看生成动画,查看每层每个 token 激活了哪些专家,上方显示生成时的路由,下方累积成热力图。
圣路易斯华盛顿大学与威斯康星大学麦迪逊分校的研究者提出 PIGuard,一个用于检测提示词注入的轻量防护模型,并配套发布 NotInject 评测数据集。NotInject 包含 339 条带触发词的良性样本,用于衡量防护模型的过度防御问题,结果显示现有 SOTA 模型准确率降至接近随机猜测的 60%。
Geoffrey Huntley 认为开源模型正被用作国家间的经济武器:中国厂商免费或以约 5 美元/月开放前沿开源模型,而美国向头部实验室投入数万亿美元,本地模型目前仅落后前沿实验室两到四个月。他建议预算有限的学生使用这些开源模型,企业则应按本地推理可用的思路构建业务,并提醒信任与断供风险同样适用于前沿实验室。
作者用 Qwen 3.5 系列开源多模态模型做 PDF OCR,先用 PyMuPDF 把每页按 100dpi 导出为图片,再交给模型识别,实测 Qwen3.5-9B 是效果与速度的平衡点,更小的 0.8B 到 2B 模型在复杂文档上容易跑偏去总结内容。
推荐理由:作者实测了 Qwen 3.5 各尺寸模型做 PDF OCR 的效果,给出本地与 OpenRouter 两条可复用路径和成本数据。
Ryan Lopopolo 于 2025 年 11 月 3 日归档了 Artichoke Ruby,并在当月归档了 @artichoke 组织下的大部分仓库。这个用 Rust 重写 mruby 的实验项目历时六年,曾实现纯 Rust 的合规 String 和模块化 VM 架构,但作者因时间精力转向工作与家庭、且缺乏用户基础而不再继续开发。