Квантизация FP8 ломает вывод Qwen2.5 и создаёт ловушку со счётом
Что произошло
2026-10-06 в DEV Community вышла статья про MCP, где автор описал замеры Qwen2.5 7B/32B/72B на одной AMD MI300X с vLLM ROCm: при цене $2.99 за GPU-час стоимость вывода в базовом варианте BF16 составила $0.227/M для 7B, $0.77/M для 32B и $1.67/M для 72B токенов. По словам автора, после перехода на FP8 счёт за GPU упал на 47%, но модель начала выдавать странные вещи вроде «!!!!!!» — вот и ловушка выбора между ценой и качеством. Пока в публикации есть только эти цифры по стоимости и описание аномалий на одной машине, без подробностей воспроизведения и официальных комментариев.
Создано ИИ на основе публикаций · Обновлено 10 часов назад
Хронология публикаций
Следите за публикациями, чтобы увидеть разные стороны события.
- DEV Community · MCPИзбранное редакциейЛовушка FP8: счёт за GPU упал на 47%, а модель выдаёт «!!!!!!»
Автор запустил Qwen2.5 7B/32B/72B на одной AMD MI300X через vLLM для ROCm по цене $2.99 за GPU-час; базовый уровень BF16 — $0.227 за миллион выходных токенов для 7B, $0.77 для 32B и $1.67 для 72B.
Динамика интереса к событию
Текущий интерес 7·Пик в сопоставимом диапазоне 9（6 окт., 15:00）·Изменение за 24 часа в сопоставимом диапазоне –
График сравнивает одних и тех же участников при непрерывном полном наблюдении, поэтому охват может быть уже, чем у текущего индекса. Наведите указатель или нажмите на график для просмотра почасовых данных; используйте стрелки влево и вправо для навигации.