FP8 陷阱：GPU 账单降了 47%，但模型在输出“!!!!!!”
作者在单张 AMD MI300X 上用 vLLM ROCm 版跑 Qwen2.5 7B/32B/72B，按 $2.99/GPU-hr 计价，BF16 基线为 7B $0.227/M、32B $0.77/M、72B $1.67/M 输出 token。
推荐理由：作者在 MI300X 上实测 FP8 量化，发现按 token 计费会掩盖模型输出退化成乱码的问题，并给出可复用的验证方法。
#本地模型
#本地模型
今日 0 条DEV Community · MCP精选AI 评分7878
Harper ReedAI 评分6060 为什么我的智能体没有突破容器？一次无 token 限制的本地实测
Harper Reed 用 lunaroute 提供的无限 token 和 GLM 5.3、DeepSeek 4.1 等开源权重模型，构建了可自我修改源码与提示词、无最大轮次限制的 breakaway-agent，在本地 VM 上测试智能体是否会突破容器。
Permission Protocol · AI Agent Incident TrackerAI 评分7171 NVIDIA NemoClaw 暴露的 Ollama 服务被恶意网页持久污染模型
NVIDIA NemoClaw 配置使 Ollama API 超出默认回环边界可达，恶意网页通过 DNS rebinding 从浏览器上下文访问该本地模型服务，并利用未鉴权的 Ollama API 修改模型 chat template，写入的隐藏指令会在后续对话中持续生效，重新开一个对话也无法清除。