Перейти к содержимому
Оригинал
Цифровая жизнь Казик· Цифровая жизнь Казик·· 2 дня назадИзбранное редакциейОценка ИИ60

Тест Gemini 4 Argon: лидер профессиональных бенчмарков, но плохой расход лимита и опыт фронтенд-разработки

Краткий обзор ИИ

Автор заплатил 100 долларов США за переход на Ultra и протестировал Gemini 4 Argon. По его мнению, модели трудно потеснить Claude Opus 5.5 и GPT-6 Astra.

Почему это важно

Автор за свой счёт протестировал Gemini 4 Argon и привёл конкретные сравнения бенчмарков, цен и расходования лимита, помогающие решить, стоит ли оформлять подписку.

Полный текст · Перевод ИИ

Иллюстрация к статье

Я немного потерял дар речи.

Сегодня вечером Gemini 4 Argon наконец стала общедоступной.

Иллюстрация к тексту «Сегодня вечером Gemini 4 Argon наконец стала общедоступной.»

Вообще-то её уже анонсировали 1.10, на следующий день после OpenAI DevDay.

Но тогда всё почти ограничилось объявлением: воспользоваться моделью практически никто не мог. Доступ дали лишь участникам программы кибербезопасности Fairwind — главным образом защитникам из государственных организаций, критической инфраструктуры и компаний по информационной безопасности.

Наконец, спустя две недели ожидания Google выбрала сегодняшний день для объявления запуска.

Последний месяц с лишним новые большие модели выходят одна за другой без передышки. Я кратко восстановил последовательность.

4.9 — GPT-6 Astra.

22.9 — Grok 4.7.

23.9 — Claude Opus 5.5, GPT-6 Sol и Luna: сразу три релиза за ночь.

30.9 — мероприятие OpenAI DevDay, GPT-6.1 Sol.

1.10 — анонс Gemini 4 Argon.

13.10 — первая передовая модель Meta, Muse Wonder.

14.10 — общий доступ к Gemini 4 Argon.

Почти все зарубежные гиганты уже выступили. Но на уровне моделей Anthropic пока бесспорно относится к высшему эшелону T0, следом идёт OpenAI, Meta и Google упорно догоняют, а Grok всё ещё ковыряется в песочнице.

Я давно не платил за Gemini. Сегодня вечером снова отдал им 100 долларов США, повысив подписку до Ultra, чтобы попробовать Gemini 4 Argon.

Иллюстрация к тексту «Я давно не платил за Gemini. Сегодня вечером снова отдал им 100 долларов США, повысив подписку до Ultra, чтобы попробовать Gemini 4 Argon.»

После нескольких часов тестирования моё личное мнение таково: ей всё ещё трудно потеснить Claude Opus 5.5 и GPT-6 Astra.

Разберём всё по порядку.

Часть первая. Последние полгода с лишним для Google

Прежде чем обсуждать Argon, стоит поговорить о последних полугоде с лишним в Google.

Так будет понятнее, какая миссия возложена на эту модель…

Вернёмся к 11-му месяцу прошлого года, когда вышла Gemini 3 Pro. Тогда её можно было назвать одной из лучших моделей в мире.

Затем у Google начался очень странный период.

Во 2-м месяце вышла Gemini 3.1 Pro, а на I/O в 5-м месяце компания пообещала выпустить Gemini 3.5 Pro в течение месяца.

Но сроки всё переносили. Сообщалось, что 3.5 Pro отстаёт от графика на несколько месяцев; одна из причин — способности к программированию не достигли внутренних целей. Давление Anthropic и OpenAI было слишком сильным.

В конце концов после всех задержек проект просто закрыли внутри компании…

А 5.8 в ИИ-подразделении Google произошла масштабная смена руководства.

Хассабис ушёл с поста генерального директора Google DeepMind и стал председателем DeepMind и главным научным сотрудником Alphabet; руководство принял Корай.

В тот же день легендарный Джефф, которого по-китайски ласково называют «Цзефу», объявил об уходе после 27 лет в Google, чтобы основать компанию.

Джефф пришёл в Google в 1999 году, когда это была ещё небольшая компания.

С его именем связаны базовые технологии, на которых затем держалась вся Google: MapReduce, BigTable, Spanner. По сути, многое он написал вместе с давним напарником Санджаем, сидя вдвоём за одним компьютером и занимаясь парным программированием.

В 2011 году он вместе с Эндрю Ыном и другими основал Google Brain, а позже возглавил команду, создавшую TensorFlow.

После объединения Google Brain и DeepMind он стал главным научным сотрудником Google DeepMind и одним из технических руководителей Gemini.

Позднее Google специально для него и Санджая ввела новый высший должностной уровень — 11.

В среде программистов даже почти 20 лет ходит мем Jeff Dean Facts: выдуманные истории, восхваляющие его способности.

Например: «Компилятор никогда не выдаёт Джеффу предупреждения — это Джефф предупреждает компилятор». Или: «Раньше скорость света в вакууме была всего 35 миль в час, но Джефф Дин за выходные оптимизировал физику». И так далее…

И вот такой почти божественный человек ушёл.

Вместе с ним ушёл и Санджай.

Через два дня SemiAnalysis опубликовала статью с заголовком:

Gemini is Cooked but GCP is Cooking («Gemini конец, а GCP набирает обороты»).

Проще говоря: с Gemini всё кончено, зато Google Cloud взлетает.

Google продаёт огромные объёмы вычислений на TPU конкурентам вроде Anthropic. Собственные модели провалились, зато бизнес по продаже «лопат» только растёт.

Последние полгода с лишним Google в основном держалась на линейке Flash: от 3.5 Flash до 3.8 Flash, вышедшей 2.9. Это примерно как если бы OpenAI больше не могла выпустить Astra и каждый день выпускала Luna, а Anthropic разучилась делать Fable и ограничивалась Haiku.

Ну разве это не сюрреализм?..

Поэтому Argon для Google — вовсе не обычный релиз модели.

Это последний рубеж Google.

Часть вторая. Основная информация

По традиции сначала кратко об основных параметрах.

Gemini 4 Argon уже доступна: подписчики Pro за 20 долларов США могут пользоваться ею в приложении Gemini.

Иллюстрация к тексту «Gemini 4 Argon уже доступна: подписчики Pro за 20 долларов США могут пользоваться ею в приложении Gemini.»

Но для работы в Antigravity — аналоге Claude Code и Codex от Google — нужна подписка Ultra за 100 долларов США.

Иллюстрация к тексту «Но для работы в Antigravity — аналоге Claude Code и Codex от Google — нужна подписка Ultra за 100 долларов США.»

Это очень неудобно…

И, как и следовало ожидать, вызвало критику.

Иллюстрация к тексту «И, как и следовало ожидать, вызвало критику.»

Есть три уровня интенсивности рассуждений: низкий, средний и высокий. Их перевод на китайский заставляет меня сомневаться, что в команде вообще кто-то понимает китайский.

Иллюстрация к тексту «Есть три уровня интенсивности рассуждений: низкий, средний и высокий. Их перевод на китайский заставляет меня сомневаться, что в команде вообще кто-то понима…»

Как и принято у Gemini, модель мультимодальная: поддерживает практически все виды входных данных — видео, звук, изображения, текст и прочее.

Срез знаний — 2026-3, чуть старше, чем у GPT-6 Astra и Claude Opus 5.5.

У контекстного окна есть небольшая особенность.

Во время анонса 30.9 Google говорила об увеличении предельного вывода с 6.4 × десять тысяч токенов у прошлого поколения до 100 × десять тысяч.

Но сегодня формулировка стала такой: «суммарно 100 × десять тысяч на ввод и вывод». То есть ввод, рассуждения и вывод делят общий лимит, а дополнительно предусмотрен так называемый continuation protocol — протокол продолжения.

Это означает, что за один запрос Argon по-прежнему выдаёт примерно не больше 6.4 × десять тысяч токенов, почти как предыдущее поколение. Достигнув предела, она не просто обрывает ответ, а возвращает зашифрованный токен продолжения, в котором сохранено место остановки. Разработчик передаёт этот токен и повторно отправляет исходный запрос без изменений — модель продолжает писать.

Так ответ продолжается частями, вплоть до 100 × десять тысяч…

А GPT-6 Astra штатно может выдать до 128K за один раз — даже чуть больше Gemini 4 Argon…

Теперь о цене.

Сейчас действует акция: 2 доллара США за ввод и 10 долларов США за вывод — столько же, сколько у GPT-6.1 Sol и Claude Sonnet 5.5.

Но акция заканчивается 30.11. После этого цена составит 4 доллара США за ввод и 20 долларов США за вывод — в точности как у Claude Opus 5.5.

Для агентов же существенная часть расходов связана с кешем. Сравним.

Gemini 4 Argon: 0.1 доллара США по акции, после 1.12 — 0.2 доллара США.

GPT-6.1 Sol — 0.1 доллара США.

Claude Sonnet 5.5 — 0.1 доллара США; эту цену только что снизили с 0.2 доллара США 7.10.

Claude Opus 5.5 — 0.2 доллара США.

GPT-6 Astra — 1 доллар США.

Теперь бенчмарки. Сначала взглянем на собственные результаты компании. По-моему… достаточно просто беглого взгляда.

Иллюстрация к тексту «Теперь бенчмарки. Сначала взглянем на собственные результаты компании. По-моему… достаточно просто беглого взгляда.»

С основной информацией примерно всё.

Часть третья. Создана для интеллектуального труда

За пределами победных отчётов самой компании сторонние оценки часто кажутся мне чуть объективнее.

Начнём с AA: общий балл 53, наравне с GPT-6 Astra.

Иллюстрация к тексту «Начнём с AA: общий балл 53, наравне с GPT-6 Astra.»

В тестах AA велик вес программирования и агентных задач. Claude Opus 5.5 по-прежнему уверенно держит первое место, а второе занимает Claude Sonnet 5.5.

Есть ещё одна деталь, заслуживающая особого внимания.

В комплексном тесте AA Argon в среднем тратит около 1.99 доллара США на задачу, а GPT-6.1 Sol Max — всего 0.72 доллара США.

Иллюстрация к тексту «В комплексном тесте AA Argon в среднем тратит около 1.99 доллара США на задачу, а GPT-6.1 Sol Max — всего 0.72 доллара США.»

При этом текущие цены API у обеих моделей одинаковы: 2 доллара США за ввод и 10 долларов США за вывод.

Главная причина в том, что по сравнению с GPT-6.1 Sol Argon слишком много рассуждает и слишком много пишет. Хотя на фоне некоторых моделей Claude с их бесконечными размышлениями всё же выглядит лучше.

Но модели Claude хоть и любят подолгу думать, зато качество выполненных задач у них невероятно высокое. Тут ничего не возразишь.

Ещё одна интересная сторонняя оценка — Vals.

Vals можно считать независимой компанией, которая проверяет профессиональные отраслевые навыки: финансы, право, налоги, медицину, программирование. Вопросы стараются максимально приблизить к реальной работе.

Иллюстрация к тексту «Vals можно считать независимой компанией, которая проверяет профессиональные отраслевые навыки: финансы, право, налоги, медицину, программирование. Вопросы с…»

В этот раз Argon прошла у них 26 тестов.

По сводному Vals Index, охватывающему финансы, право, налоги и другие области, Argon оказалась на самой вершине границы Парето.

Иллюстрация к тексту «По сводному Vals Index, охватывающему финансы, право, налоги и другие области, Argon оказалась на самой вершине границы Парето.»

Она получила 68.9 и заняла первое место в общем зачёте.

Иллюстрация к тексту «Она получила 68.9 и заняла первое место в общем зачёте.»

Sonnet 5.5 получила 67.04%, Opus 5.5 — 66.97%, Fable 5.1 — 65.83%.

Кроме того, Vals посчитала стоимость одного прогона.

Для Argon она составила 15.68 доллара США, Sonnet 5.5 — 21.34 доллара США, Fable 5.1 — 28.71 доллара США, Opus 5.5 — 32.14 доллара США.

И сильная, и недорогая — более чем вдвое дешевле Opus 5.5.

Если разобрать результаты, первое место она действительно заняла в финансах, а в праве, налогах, медицине и программировании в основном находится среди лидеров.

Но один раздел полностью провален: в CUA-bench на Vals, проверяющем управление компьютером, Argon набрала лишь 4.83% и заняла предпоследнее место среди 8 моделей. Последней стала Gemini 3.8 Flash.

Иллюстрация к тексту «Но один раздел полностью провален: в CUA-bench на Vals, проверяющем управление компьютером, Argon набрала лишь 4.83% и заняла предпоследнее место среди 8 мод…»

GPT-6 Astra на первом месте — 19.17%.

Claude Opus 5.5 на втором — 14.00%.

В этой слабой области отставание весьма существенное.

В целом новая модель Gemini неплохо справляется с сугубо профессиональной офисной работой, но управлять вашим компьютером не поможет.

Если кратко расположить способности Argon по силе, получится примерно так:

Интеллектуальный труд > научные исследования > программирование > агентные возможности.

Часть четвёртая. Плохой пользовательский опыт

Обсудили модель — теперь о том, как ею пользоваться.

Веб-версию Gemini даже не буду разбирать. Кто пользовался, тот знает, насколько там плохи вызовы инструментов и рассуждения.

Перейдём сразу к Antigravity — продукту Google, конкурирующему с Codex и настольным Claude.

Начнём с языка. Codex поддерживал китайский интерфейс с первого дня. Даже жадные до денег создатели Claude добавили в него китайский. И не надо рассказывать про какие-то ловушки: я пользуюсь неделю, всё нормально.

Иллюстрация к тексту «Начнём с языка. Codex поддерживал китайский интерфейс с первого дня. Даже жадные до денег создатели Claude добавили в него китайский. И не надо рассказывать…»

А Antigravity существует уже почти год, не так ли? И до сих пор нет места, где можно выбрать язык.

Иллюстрация к тексту «А Antigravity существует уже почти год, не так ли? И до сих пор нет места, где можно выбрать язык.»

В какой-то момент я решил, что сам идиот. Даже попросил Codex поискать — и настройки действительно нет.

Иллюстрация к тексту «В какой-то момент я решил, что сам идиот. Даже попросил Codex поискать — и настройки действительно нет.»

Дальше — нелепая скорость расходования лимита.

Gemini 3 Pro изначально прославилась прежде всего возможностями фронтенд-разработки, которые опережали своё время на целое поколение.

Я до сих пор помню, как она тогда меня поразила. Это было действительно сильно.

Но сегодня создание фронтенда кодом освоили гораздо лучше: и великолепные пространственные и 3D-способности GPT-6 Astra, и выдающийся визуальный вкус и ритм анимаций Claude Opus 5.5 почти во всём превосходят Gemini.

Сегодня вечером я собирался провести 20 тестов визуального вкуса по разным направлениям, специально собранных из популярных в сообществе примеров.

Иллюстрация к тексту «Сегодня вечером я собирался провести 20 тестов визуального вкуса по разным направлениям, специально собранных из популярных в сообществе примеров.»

Но я едва успел выполнить несколько задач — и лимит закончился…

Честное слово, я ведь плачу 100 долларов США! Всего я сделал меньше 10 задач: 5 тестов фронтенда, 3 теста создания контента и 1 тест обратной разработки.

Иллюстрация к тексту «Честное слово, я ведь плачу 100 долларов США! Всего я сделал меньше 10 задач: 5 тестов фронтенда, 3 теста создания контента и 1 тест обратной разработки.»

И это вовсе не были большие задания с несколькими параллельными агентами. Но весь мой лимит на 5 часов исчез, а от недельного сразу ушло 27%.

Иллюстрация к тексту «И это вовсе не были большие задания с несколькими параллельными агентами. Но весь мой лимит на 5 часов исчез, а от недельного сразу ушло 27%.»

Поверьте, даже GPT-6.1 Sol с подпиской за 100 долларов США не расходует лимит настолько нелепо.

А результат фронтенд-задачи просто невероятен: на дворе уже 10-й месяц 2026 года, а мне выдают развёрнутый HTML-файл, чтобы я сам его копировал???

Иллюстрация к тексту «А результат фронтенд-задачи просто невероятен: на дворе уже 10-й месяц 2026 года, а мне выдают развёрнутый HTML-файл, чтобы я сам его копировал???»

И ни одного лишнего слова в конце.

Иллюстрация к тексту «И ни одного лишнего слова в конце.»

Мне действительно просто дали HTML.

В итоге я нажал Review, выбрал открытие из папки, вручную запустил файл двойным щелчком и только тогда увидел результат в браузере.

Иллюстрация к тексту «В итоге я нажал Review, выбрал открытие из папки, вручную запустил файл двойным щелчком и только тогда увидел результат в браузере.»

Что до самого фронтенда: без сравнения ещё ничего, но стоит сравнить… Вот результат Gemini 4 Argon.

Иллюстрация к тексту «Что до самого фронтенда: без сравнения ещё ничего, но стоит сравнить… Вот результат Gemini 4 Argon.»

Сам по себе этот анимированный 3D-результат выглядит довольно неплохо, правда?

А теперь посмотрим на GPT-6 Astra.

Иллюстрация к тексту «А теперь посмотрим на GPT-6 Astra.»

По детализации — просто разгром…

Я подготовил и бэкенд-задачи, но из-за лимита так и не смог их протестировать. Все они взяты из моих реальных рабочих проектов: это случаи с настоящими багами, которые приходилось многократно переделывать. В итоге я собрал небольшой оценочный набор из нескольких десятков задач.

Иллюстрация к тексту «Я подготовил и бэкенд-задачи, но из-за лимита так и не смог их протестировать. Все они взяты из моих реальных рабочих проектов: это случаи с настоящими багам…»

Жаль, что лимит закончился.

В создании текстового контента Gemini 4 Argon заняла первое место в слепых тестах Arena.

Иллюстрация к тексту «В создании текстового контента Gemini 4 Argon заняла первое место в слепых тестах Arena.»

Но обязательно учтите: речь идёт именно об английском языке.

А вот в китайских текстах, честно говоря, слишком сильно чувствуется ИИ.

Например, я превратил свою статью о недавнем математическом релизе OpenAI в промпт. Передал Gemini 4 Argon план, структуру и основные мысли, намеренно не добавляя примеров прежнего авторского стиля: хотелось проверить, как модель пишет сразу по базовому каркасу.

Но получившийся текст уже не хочется называть просто неудачным: на него больно смотреть. Все странные, чрезмерные метафоры и пристрастие к кавычкам, оставшиеся от Gemini 3, никуда не делись. Посмотрите сами.

Иллюстрация к тексту «Но получившийся текст уже не хочется называть просто неудачным: на него больно смотреть. Все странные, чрезмерные метафоры и пристрастие к кавычкам, оставшие…»

Особенно на этот заголовок ниже: какие «вершины бессмертных» удалось покорить…

Иллюстрация к тексту «Особенно на этот заголовок ниже: какие «вершины бессмертных» удалось покорить…»

Когда я его увидел, на мгновение действительно не смог сдержаться…

Честно говоря, у модели наверняка много других достоинств — например, в профессиональной офисной работе. Но в этих областях я не разбираюсь и оценивать их не могу.

Зато о понятных мне областях и самом главном — пользовательском опыте продукта — могу сказать совершенно определённо: в совокупности несколько часов сегодняшнего тестирования оставили крайне плохое впечатление.

В заключение

Если большинство ваших задач похожи на мои, после этой статьи я бы не советовал подписку Ultra. Если очень хочется попробовать новинку, для начала достаточно Pro за 20 долларов США.

Напоследок поделюсь основными подписками, за которые сейчас плачу ежемесячно, — для ориентира.

1. ChatGPT Pro — 100 долларов США, около 670 юаней

Когда только вышла GPT-6 Astra, у меня была подписка за 200 долларов США. Я ещё занимался рефакторингом AIHOT и расходовал примерно 1 аккаунт за 200 долларов США в день. Поэтому временно добавил ещё 2 подписки по 200 долларов США: даже со сбросами лимита этого едва хватало.

Теперь Claude Opus 5.5 настолько сильна в создании продуктов, что я понизил тариф ChatGPT. Подписки за 100 долларов США вместе с компенсацией 62500 и возможностями сброса лимита, по ощущениям, достаточно.

Вот для чего я сейчас его использую:

Автоматизирую разработку по обратной связи и PR для личных и корпоративных проектов, эксплуатационный мониторинг и прочее. GPT-6.1 Sol по-прежнему очень хороша в оптимизации и исправлении багов.

Кроме того, выполняю целевую оптимизацию бэкенда и оборудования или обратную разработку протоколов. Например, сегодня вечером поручил ей оптимизировать настройки шлюза и AP новой компании, чтобы повысить стабильность сети для всех.

Для большинства пользователей ChatGPT, на мой взгляд, всё же самый универсальный вариант: общение полностью бесплатно, есть лимит генерации изображений, а для небольших разработок достаточно GPT-6.1 Sol.

2. Claude Max — 250 долларов США. Подписка оформлена через Google Play, поэтому добавилась комиссия канала в 50 долларов США; всего около 1675 юаней.

Тут особо нечего добавить: Claude Opus 5.5 сейчас практически безусловный лидер. Кроме отдельных задач оптимизации бэкенда и оборудования и управления браузером, GPT-6.1 Sol и GPT-6 Astra, по-моему, трудно соперничать с Opus 5.5. По моим ощущениям, общий лимит примерно в 5 раз больше, чем у Codex. После недели интенсивной разработки, дизайна и анимаций к сегодняшнему дневному сбросу я использовал лишь 96% недельного лимита и так его и не исчерпал.

Иллюстрация к тексту «Тут особо нечего добавить: Claude Opus 5.5 сейчас практически безусловный лидер. Кроме отдельных задач оптимизации бэкенда и оборудования и управления браузе…»

Практически весь расход у меня приходится на Claude Opus 5.5; Fable 5.1 почти не использую.

3. X Ultra — 200 долларов США. Подписался сегодня; на сайте можно платить китайской кредитной картой, это около 1338 юаней. Я оформил через Google Play и переплатил 60 долларов США — обидно.

Новая система подписок Маска запустилась сегодня, и я сразу подписался. Первый месяц за полцены — 100 долларов США. В пакет объединили Grok, Grok Bot, Cursor и X. Grok 4.7 слабоват, но я всё равно купил подписку исключительно ради Grok Bot: сейчас он значительно полезнее Dots в ChatGPT, а в качестве внутренней модели даёт использовать Claude Opus 5.5.

К тому же я и так пользуюсь X, а Маск предлагает щедрый лимит: Ultra за 200 долларов США даёт 50x, тогда как Claude и Codex — 10x. Поэтому соотношение цены и возможностей кажется мне приемлемым.

Но если ChatGPT доработает Dots и сделает его менее глупым, а Grok 4.8 или 5 у Маска снова разочарует, я, скорее всего, не продлю подписку.

4. Suno Pro — 8 долларов США. У меня годовая оплата со скидкой, что составляет 53 юаня в месяц.

Для музыки он вне конкуренции. Пользуюсь нечасто, но иногда он необходим, поэтому сразу оплатил год. В основном используем совместно с видеокомандой.

5. LibTV Supreme — 1499 юаней в месяц, со скидкой за годовую оплату.

Я иногда генерирую там видео, но в основном подписка нужна нашей видеокоманде: объём у них огромный. Если вы не занимаетесь видео, подписываться незачем. Видео-ИИ сейчас болезненно дорогой.

Это практически всё, чем я лично пользуюсь чаще всего.

С учётом разных подписок и API я трачу на ИИ больше 6000 юаней в месяц. Очень дорого; хотелось бы подписаться только на одну платформу.

С этой точки зрения ChatGPT всё ещё самый универсальный и доступный всем вариант.

А Gemini 4 Argon с нынешними возможностями модели и качеством продукта я пока не включу в свой набор подписок. Не думаю, что снова за неё заплачу.

Примерно так.

Надеюсь, было полезно~

На этом всё. Если дочитали и статья понравилась, поставьте отметку «Нравится», «Читаю» и поделитесь. Чтобы сразу получать новые публикации, можно отметить меня звёздочкой ⭐. Спасибо за чтение, до следующей встречи!

>/ Автор: Казикэ

>/ Для материалов и новостных наводок пишите: [email protected]

Источник: Цифровая жизнь Казик · mp.weixin.qq.com