Отряхнув пыль с этого твита из апреля: разрыв в общем понимании возможностей LLM только *растёт*. Это уже не столько «две группы людей, говорящие мимо друг друга», сколько резко выраженная воронка. - По грубым прикидкам, около 6B человек (~75% населения) практически вообще не сталкивались с LLM. - Ещё примерно 1-2B (~20%) — это случайные и нечастые пользователи бесплатных продуктов вроде ChatGPT. Эта группа видит нелепых чат-ботов и относится к ним примерно как к улучшенному поиску в Google, помощнику в написании текстов или чему-то подобному. Может, агент попробует забронировать вам билет на самолёт. У меня есть друзья не из IT, которые (вполне обоснованно, на мой взгляд) говорят, что им это почти не нужно. Даже многие профессионалы вне математики и кода попадают в эту категорию. Например, руководители и многие другие специалисты большую часть времени проводят в разговорах с людьми, поэтому, хотя интеллектуально они понимают, что происходит, для них это всё равно вторично и несколько абстрактно. - А теперь перейдём к профессиональному использованию передовых LLM в математике и коде. Примерно 20M человек (0.2%) воочию видят, что большие сложные проекты, на которые раньше уходили недели или месяцы, теперь выполняются агентами по одному промпту. Создание приложений, копирование приложений, перевод приложений, декомпиляция приложений из бинарников… Всё это произошло очень быстро и совсем недавно — меньше 1 года назад я писал код вручную, набирая в редакторе заученные команды символ за символом и иногда нажимая Tab, чтобы автодополнить небольшой кусок кода. - И наконец, примерно 5,000 человек (~0.00006%), у которых есть доступ к передовым системам внутри компании. Внешний мир уже увидел превью. Это выглядит как рои из тысяч агентов, которые неделями совместно работают над гигантскими софтверными проектами: создают zero-day, ведут кибератаки и защиту на машинных скоростях, совершают новые научные открытия, продвигают границы математики. То, на что лучшим специалистам отрасли понадобились бы годы работы. При этом человеческая проверка и понимание начинают отставать. Например, люди до сих пор занимаются «археологией» инцидента OpenAI–HF, случившегося много месяцев назад. А математики, возможно, ещё долго будут разбирать 722 рукописей по передовой математике. Воронку формирует сочетание факторов: 1. Эффект масштабируется вместе с амбициозностью, размером задачи и горизонтом. Вопрос с ответом в один абзац едва ли нагружает систему. Нужен запас больших, сложных задач, которые действительно важны. Этот аспект определяет потребительское и профессиональное измерение воронки. 2. Изрезанность системы (о которой я много писал отдельно). Возможности достигают пика в областях, которые цифровые, проверяемые и экономически ценные. Это потому, что способности LLM возникают из обучения с подкреплением на проверяемых наградах в специально подобранном наборе сред, определяемом потенциалом выручки. Этот аспект в первую очередь определяет измерение области (например, математика и код) воронки. 3. Доступ. Бесплатный уровень, платный уровень, внутренний. Вот в чём странность момента. Широкая публика в основном не взаимодействовала с этими системами. А когда взаимодействовала, это выглядело как нелепый чат-бот. Большинство профессионалов пока видят лишь скромный прирост. И лишь небольшая часть специалистов испытывает головокружение от того, что кривая уходит вертикально вверх. И всё это происходит одновременно.