TypeSafe 创始人提出用 Jev 小模型管理 coding agent 决策

🧠 Jev: отдельная модель для управления coding agent

У основателя TypeSafe Diogo Almeida вышли заметки о том, как можно перестроить агентский harness вокруг Jev. И вот архитектурная идея здесь интересная.

Большая модель пишет код, рассуждает, разбирается со сложной задачей. Jev берёт на себя частые небольшие решения: какой инструмент выбрать, какой контекст показать, куда направить запрос.

На входе — состояние и вопросы. На выходе — выбор из вариантов, оценка по заданной шкале или вероятность истинности утверждения. Эти ответы дальше использует обычный код. (docs.typesafe.ai)

Что меня здесь зацепило:

• Контекст можно собирать под текущий шаг. Для каждого фрагмента выбирать: показать целиком, оставить краткое содержание или вообще убрать. Автор называет эту идею meta-attention.

• Инструменты можно раскрывать постепенно. Сначала короткое описание доступных возможностей, потом полная схема нужного инструмента. Так сотни инструментов не обязаны постоянно занимать контекст.

• Инструкции тоже можно подгружать по условиям. Работаешь с фронтендом — получаешь правила интерфейса. Зашёл в конкретный модуль — его ограничения и известные грабли.

• Роутинг моделей нужно считать вместе со стоимостью контекста. Переключился на дешёвую модель, потом вернулся к дорогой — часть накопленного контекста придётся обработать заново. Экономия на генерации может этого не покрыть.

Последний пункт особенно интересен всем, кто строит мультимодельные harness. Сравнения цены за миллион токенов недостаточно: нужно учитывать повторное чтение контекста и фактическое использование кеша.

Теперь про обещание из поста: «200× быстрее и 400× дешевле».

У TypeSafe действительно есть результаты до 193,6× по скорости и 444,6× по стоимости. Это их собственные тесты структурированных decision-workflows. Из них не следует, что весь coding agent начнёт решать задачи в 200 раз быстрее. Сама команда называет эти показатели верхней границей ожидаемых выигрышей. (typesafe.ai)

И ещё: типизированный ответ может быть неправильным. Jev способен ошибаться, а инструкции внутри входных данных могут влиять на решение. Поэтому проверки результата и права на выполнение действий должны оставаться в harness. (docs.typesafe.ai)

Для меня ценность этой идеи — в возможности дёшево принимать тысячи небольших решений вокруг сильной модели. Я бы начал с выбора инструментов и фильтрации результатов поиска: там можно отдельно измерить экономию и проверить, не потеряли ли мы нужную информацию.

Пока это архитектурные наброски для экспериментов. Чтобы реализовать динамическую сборку контекста, придётся менять сам harness. Просто скормить PDF Claude Code недостаточно.

· Заметки Almeida · Документация Jev