Skip to content

#Local models

0 items today
9/27Sun
9/16Wed
8/29Sat
  1. Martin Alderson38

    GLM-5.3 Flash 跑在国产硬件上意味着什么

    Z.AI 确认 GLM-5.3 Flash 的全部推理运行在国产硬件上,但未公布芯片厂商、吞吐或功耗数据,也无人独立验证。作者推测其使用的是华为昇腾 910c 系列,该芯片约 600W、INT8 算力约 1.6PFLOP/s,性能约为四年前 H100 的 60%,且缺少原生 FP8 支持。作者认为真正的瓶颈是缺乏可量产的 EUV 光刻,业界普遍认为 2030 年前难以实现规模化生产。

    Awaiting translation

8/17Mon
8/11Tue
  1. Sean Goedecke · Blog52

    为什么本地模型不会胜出:批处理与 GPU 效率决定推理成本

    Sean Goedecke 认为本地模型不会成为主流,绝大多数推理仍会发生在 AI 数据中心。他给出的理由是:前沿模型体积远超消费级设备,而数据中心可通过批处理数百名用户的请求摊薄成本,加上 B200 相比 RTX 4090 在同等功耗下约有 3 倍 flops 和近 4 倍内存带宽,本地运行约需多消耗 30 倍资源;家庭推理的电力成本约每月 50 至 300 美元。

    Awaiting translation

7/7Tue
6/27Sat
  1. Этихлид48

    从代理网关到本地 Opus:AI 工程面试题深度追问清单

    一份面向 AI 工程岗位的面试题追问清单,覆盖代理网关(如 OpenRouter/LiteLLM)、MCP/CLI、从零手写 Agent、多智能体编码流程、自定义 benchmark 以及本地部署约 27B-Q3_K_M.gguf 模型等方向。作者认为,这些题目的通用版本如今谁都能靠 vibe coding 一晚做出来,已失去简历价值,真正稀缺的是把任务打磨到"理想"状态的能力。

    Awaiting translation

5/23Sat
4/6Mon
3/1Sun
  1. Martin Alderson62

    为什么端侧智能体 AI 短期内难以跟上云端

    作者 Martin Alderson 认为,端侧智能体 AI 在消费级设备上短期内难以实用,瓶颈是内存、KV cache 与推理速度。他指出 3B 模型量化后约需 2GB、7B 约需 5GB,而手机端上下文常被限制在 4K token,仅工具定义就可能占满;即便 32K 上下文,7B Q4 模型的 KV cache 也已超出 iPhone 17 的内存。

    Awaiting translation

2/15Sun
1/10Sat
  1. Martin Alderson50

    AI 算力短缺即将到来:从 token 消耗暴涨到 DRAM 供应瓶颈

    随着编码智能体和最新模型推动 token 消耗激增,AI 算力正面临严重短缺。作者估算自己三年内每日 token 消耗增长约 50 倍,目前全球约 10 亿活跃 LLM 用户,而超大规模厂商已承诺数千亿美元资本支出。Macquarie 指出当前 DRAM 供应仅能支撑 15GW 的 AI 基础设施部署,内存供应正成为比电力更难解决的瓶颈。

    Awaiting translation