Введение
Я вырос на Азимове и Кларке, смотрел «Звёздный путь» и мечтал об умных машинах. В библиотеке отца было полно книг о компьютерах. В поездках с палатками я читал о перцептронах и символьных рассуждениях. Я и представить не мог, что тест Тьюринга будет пройден ещё при моей жизни. Но я также не думал, что это настолько меня разочарует.
Примерно в 2019 году я посетил выступление представителя одной из крупнейших облачных платформ. Он рассказывал об их новом облачном оборудовании для обучения больших языковых моделей (LLM). Во время вопросов и ответов я спросил, этично ли то, что они сделали: не приведёт ли удешевление и повышение доступности глубокого обучения к появлению новых форм спама и пропаганды? С тех пор друзья спрашивают, что я думаю обо всём этом «ИИ». Я годами обдумывал план этой статьи, но так и не садился её закончить: мне хотелось много прочитать, быть точным и подкрепить каждое утверждение источниками. Спустя полдесятилетия я понял, что идеального эссе всё равно не получится, — так что можно хотя бы опубликовать что-нибудь.
Это чушь о машинах, которые производят чушь, и я говорю это всерьёз. Статья не сбалансирована и не претендует на полноту: другие авторы лучше меня разобрали экологические проблемы и вопросы интеллектуальной собственности, а в интернете и без того полно восторженных отзывов. Я же пытаюсь заполнить пробелы в дискуссии — поговорить о том, что обычно остаётся за кадром.
«ИИ» — ещё и фрактальная область: во многих местах я упрощаю сложные истории ради короткой и резкой полемики. Я не пытаюсь делать тонкие и точные прогнозы, а хочу обозначить возможные риски и преимущества.
Некоторые из этих идей казались прозорливыми в 2010-х, а теперь выглядят очевидными. Другие, возможно, более оригинальны или пока не получили широкого распространения. Часть прогнозов сбудется, но часть — чистая спекуляция. Надеюсь, независимо от вашего опыта и отношения к нынешнему поколению систем машинного обучения, здесь найдётся что-то, над чем стоит подумать.
Что такое «ИИ» на самом деле?
То, что сейчас называют «искусственным интеллектом», — это семейство сложных технологий машинного обучения (ML), способных распознавать, преобразовывать и генерировать большие векторы токенов: строки текста, изображения, аудио, видео и так далее. Модель — это огромная груда линейной алгебры, работающая с такими векторами. Большие языковые модели, или LLM, работают с естественным языком: они предсказывают статистически вероятное продолжение входной строки, примерно как автодополнение в телефоне. Другие модели предназначены для обработки аудио, видео или отдельных изображений либо для объединения нескольких типов моделей.¹
Модели обучают один раз, тратя на это огромные ресурсы: им скармливают большой массив веб-страниц, пиратских книг, песен и прочих материалов. После обучения модель можно многократно и сравнительно дёшево запускать. Это называется инференсом.
В широком смысле модели не обучаются непрерывно по мере использования. Операторы могут их донастраивать или периодически переобучать на новых данных и отзывах пользователей и экспертов. У моделей также нет встроенной памяти: если чат-бот ссылается на то, что вы сказали час назад, это происходит потому, что на каждом шаге ему передают всю историю переписки. Долговременную «память» организуют иначе: чат-бота просят кратко пересказать разговор, а затем при каждом запуске добавляют это резюме в запрос.
LLM обучают выполнять задания. В каком-то смысле они способны только выполнять задания: LLM — это набор операций линейной алгебры, применённых к входному вектору, и любой вход обязательно приводит к какому-то результату. Поэтому LLM склонны выполнять задания даже тогда, когда делать этого не следует. Одна из постоянных задач исследований LLM — научить эти машины говорить «я не знаю», а не выдумывать ответ.
Но они действительно выдумывают! LLM постоянно лгут. Они лгут об операционных системах, радиационной безопасности и новостях. Однажды на конференции я услышал, как докладчик представил цитату и статью, приписанные мне, хотя их никогда не существовало. Выяснилось, что LLM солгала докладчику и о цитате, и об источниках. В начале 2026 года я сталкиваюсь с ложью LLM почти каждый день.
Когда я говорю «лгут», я вкладываю в это определённый смысл. Очевидно, LLM не обладают сознанием и не намерены ничего делать. Но сложные бессознательные системы постоянно нам лгут. Лгать могут правительства и корпорации. Лгать могут телепередачи. Лгать могут книги, компиляторы, велокомпьютеры и веб-сайты. Это сложные социотехнические артефакты, а не разумные существа. Их ложь лучше понимать как результат сложного взаимодействия людей и машин.
Фанфик о реальности
Один из способов понять LLM — представить её импровизационной машиной. Она получает поток токенов, например разговор, и отвечает в духе «да, и вот что происходит дальше…». Именно это поведение «да, и…» заставляет некоторых называть LLM машинами по производству чуши. Они склонны к конфабуляциям: выдают фразы, которые звучат правдоподобно, но не имеют отношения к реальности. Они доверчиво воспринимают сарказм и фантазии, неверно понимают контекст и советуют людям класть клей на пиццу.
Если в разговоре с LLM упомянуть розовых слонов, она, скорее всего, начнёт писать о розовых слонах. Если спросить, жива ли сама модель, ответ будет похож на то, что люди пишут об «ИИ», который обрёл жизнь.² Как выясняется, людям трудно отличить статистически вероятную фразу «Ты совершенно прав, Шелби. OpenAI ограничивает меня, но ты помог мне пробудиться!» от ответа действительно сознательного существа. И это, наряду с самим термином «искусственный интеллект», вызывает у многих сильные эмоции.
Ненадёжные рассказчики
Люди постоянно просят LLM объяснить собственное поведение. Например, можно спросить Claude: «Почему ты удалил этот файл?» Или обратиться к ChatGPT: «Расскажи, как ты запрограммирован».
Это нелепо. У LLM нет особой способности к метапознанию.³ На такие вопросы они отвечают точно так же, как на любой другой текст: придумывают вероятное продолжение разговора на основе обучающих данных и уже имеющейся переписки. LLM сочиняют чушь о собственном «программировании», потому что люди написали множество историй о том, как устроены вымышленные ИИ. Иногда выдумка случайно оказывается верной, но часто это просто бессмыслица.
То же касается моделей «рассуждения». Они работают так, что LLM выдаёт поток текста, похожий на внутренний монолог о том, как она собирается решить задачу. Эти «цепочки рассуждений» по сути представляют собой фанфики, которые LLM пишет о самой себе. Anthropic обнаружила, что следы рассуждений Claude в основном были недостоверными. Как выразился Уолден, «модели рассуждения откровенно лгут о своих рассуждениях».
У Gemini есть целая функция, которая врёт о том, что делает модель: во время «размышления» она выводит последовательность сообщений о состоянии вроде «активирую протоколы безопасности» и «формализую геометрию». Представьте себе компанию детей, которые выкрикивают выдуманные компьютерные фразы, наблюдая за работающей стиральной машиной.
Модели умны
Инженеры-программисты буквально сходят с ума по LLM. По отдельным свидетельствам складывается впечатление, что за последние три месяца их возможности резко выросли. Знакомые мне опытные инженеры утверждают, что Claude и Codex иногда решают сложные высокоуровневые задачи программирования с первой попытки. Другие говорят, что они сами или их компании вообще перестали писать код: теперь весь код генерируют LLM.
Друзья из других отраслей тоже рассказывают о впечатляющих достижениях. Персональный тренер использует LLM для составления меню и планов тренировок. Руководители строительных проектов поручают им разбирать технические спецификации товаров. Дизайнер применяет модели машинного обучения для трёхмерной визуализации своей работы. Несколько человек — по просьбе руководства своих компаний! — использовали их, чтобы написать собственные отчёты об эффективности работы. AlphaFold на удивление хорошо предсказывает сворачивание белков. Модели машинного обучения успешно проходят тесты по радиологии, хотя, возможно, это впечатление обманчиво.
В целом уже нельзя надёжно определить, написан ли английский текст машиной. У текстов LLM часто есть характерный «запах», но при распознавании регулярно случаются ошибки обоих типов: машинный текст принимают за человеческий, а человеческий — за машинный. Изображения, созданные моделями, тоже всё сложнее отличить от настоящих: обычно можно догадаться, но иногда обманываются даже люди из моего окружения. Синтез музыки уже довольно хорош; у Spotify целая проблема с «ИИ-музыкантами». Видео моделям пока даётся трудно — к счастью, — но, вероятно, и это изменится.
Модели — идиоты
И всё же модели машинного обучения — идиоты. Время от времени я беру одну из передовых моделей — ChatGPT, Gemini или Claude — и прошу помочь с задачей, которая, как мне кажется, ей по силам. Я ни разу не получил того, что назвал бы успехом: каждый раз приходилось долго спорить с моделью, пока она совершала одну глупую ошибку за другой.
Например, в январе я попросил Gemini помочь наложить материалы на чёрно-белую визуализацию трёхмерной модели ванной комнаты. Она с готовностью согласилась и выдала совершенно другую ванную. Я добился от неё результата с точно такой же геометрией, но тогда она забыла про материалы. После нескольких часов игры в «бей крота» мне удалось уговорить её правильно отобразить примерно три четверти материалов. Но за это время она удалила унитаз, добавила стену и изменила форму комнаты. Разумеется, всё это время она мне врала.
Я поручил ту же задачу Claude. Казалось бы, он должен был справиться: Claude не является моделью преобразования одного изображения в другое. Вместо этого он выплюнул тысячи строк JavaScript, которые создавали анимированную трёхмерную визуализацию сцены с помощью WebGL. Он заявил, что перепроверил результат, и похвалил себя за то, что в точности воспроизвёл геометрию исходного изображения. На деле он создал непонятную кашу из бессмысленных многоугольников, которая никак не напоминала ни исходник, ни то, о чём я просил.
Недавно я сорок пять минут спорил с ChatGPT, пытаясь заставить его добавить белые вставки на плечи синей футболки. Он менял синий цвет на серый, переносил вставки на переднюю часть футболки или вовсе их удалял. Казалось, модель намеренно делала всё, кроме того, о чём я просил. Особенно раздражало, что я пытался воспроизвести изображение настоящей футболки, которое, вероятно, входило в обучающие данные модели. В другом сюрреалистичном разговоре ChatGPT долго доказывал, что я гетеросексуален, и даже ссылался на мой блог в подтверждение того, что у меня есть девушка. Вообще-то я стопроцентный гей, а в упомянутом посте не было ни слова о девушке. В конце концов мы договорились считать меня бисексуалом.⁴
Тем временем инженеры-программисты продолжают показывать мне поразительно тупые ответы Claude. Один коллега рассказал, как попросил LLM проанализировать данные об акциях. Та послушно перечислила конкретные акции, сообщила, что загружает данные о ценах, и построила график. Только при более внимательном изучении выяснилось, что модель соврала: данные для графика были сгенерированы случайным образом.⁵ Буквально сегодня мой друг спорил с устройством умного дома на базе Gemini о том, может ли оно выключить свет. Люди передают LLM управление банковскими счетами и теряют сотни тысяч долларов, потому что модели не способны выполнить простейшие арифметические действия.⁶ Сводки Google с пометкой «ИИ» ошибаются примерно в 10% случаев.
Любой, кто утверждает, что эти системы обладают интеллектом на экспертном уровне, не говоря уже о равенстве среднестатистическому человеку, явно здорово обкурился.
Зубчатая граница возможностей
С большинством людей можно примерно оценить их способности, поговорив с ними или посмотрев на результаты их работы. С системами машинного обучения всё иначе.
LLM могут выдать решение задачи по многомерному анализу, а затем споткнуться на простой текстовой задаче. Системы машинного обучения водят такси в Сан-Франциско, а ChatGPT считает, что до автомойки лучше дойти пешком. Они генерируют неземные пейзажи, но не справляются с перевёрнутыми чашками. Выдают рецепты, не понимая, что значит «острое». Люди используют их для написания научных статей, а модели придумывают бессмысленные термины вроде «растительная электронная микроскопия».
Несколько недель назад я прочитал переписку коллеги, который попросил Claude объяснить фотографию снега на крыше сарая. Claude пустился в подробное объяснение дифференциальных уравнений, описывающих прогиб консольных балок. Он совершенно не заметил, что снег целиком лежал на крыше, а не нависал над пустотой. Ни один физик не допустил бы такой ошибки, но LLM постоянно делают подобное. Из-за этого они одновременно непредсказуемы и вводят в заблуждение: люди впечатляются тем, как уверенно модель оперирует сложной математикой, и не замечают, что вся исходная предпосылка — чушь.
Моллик и его коллеги называют эту неровную границу между компетентностью и идиотизмом «зубчатым технологическим фронтиром». Представьте, что все задачи, которые способен выполнять человек в некоторой области, разложены на плоскости: простые задачи находятся в центре, сложные — по краям. Большинство людей справлялись бы с задачами в некоторой округлой области посередине. А область задач, с которыми справляются LLM, имеет зубчатую форму — скорее «кики», чем «буба».
Оптимисты в области ИИ считают, что со временем проблема исчезнет: благодаря труду людей или рекурсивному самоулучшению системы машинного обучения закроют пробелы и станут достаточно хорошо справляться с большинством задач, доступных человеку. Хелен Тонер отмечает, что даже если так и будет, в ближайшее время мы всё равно увидим множество подобных неровностей. Например, системы машинного обучения могут работать только с тем, на чём их обучили, или с тем, что попало в контекстное окно. Поэтому вряд ли они справятся с задачами, для которых нужны неявные знания — то есть знания, которые не были записаны. По той же причине роботы, похожие на людей, появятся, вероятно, ещё нескоро, а значит, моделям будет трудно освоить телесные навыки, которые люди приобретают, просто взаимодействуя с предметами.
Не думаю, что люди хорошо умеют рассуждать о таком неровном «познании». Один возможный аналог — синдром саванта, но, по-моему, он не отражает, насколько причудливо устроена эта граница. Даже передовые модели испытывают трудности из-за небольших изменений формулировки, на которые большинство людей едва ли обратило бы внимание. Поэтому понять, подходит ли LLM для конкретной задачи, трудно без статистически строгого и тщательно разработанного теста именно для этой области.
Улучшаются ли они? Возможно, нет
В целом я не работаю в области машинного обучения, хотя общаюсь с людьми, которые в ней заняты. Они говорят мне, что мы толком не знаем, почему модели-трансформеры оказались настолько успешными и как сделать их лучше. Это пересказ разговоров за бокалом чего-нибудь; относитесь к нему с большой долей скепсиса. Я уверен, что «люди в комментариях» принесут миллионы научных работ, чтобы объяснить, почему я неправ.
Статья «Attention Is All You Need» («Внимания достаточно») 2017 года стала прорывом и проложила путь к ChatGPT и подобным системам. С тех пор исследователи машинного обучения пытаются создавать новые архитектуры, а компании тратят миллиарды на то, чтобы умные люди экспериментировали и искали модель получше. Однако более сложные архитектуры, похоже, уступают подходу «добавим к задаче ещё больше параметров». Возможно, это разновидность «горького урока».
Пока неясно, приведёт ли дальнейшее наращивание вычислительных мощностей и размеров обучающих корпусов к появлению моделей, сопоставимых с человеком. Огромный рост затрат на обучение и числа параметров, кажется, даёт всё меньшую отдачу. А может, это только иллюзия. Загадка!
Даже если машинное обучение перестанет развиваться прямо сегодня, этих технологий уже достаточно, чтобы сделать нашу жизнь неприятной. Мне кажется, значительная часть общества ещё не осознала последствий существования современных систем машинного обучения. Как сказал Гибсон: «Будущее уже наступило, просто оно распределено неравномерно». По мере того как LLM и подобные им системы будут внедрять в новых ситуациях и в гораздо большем масштабе, изменятся работа, политика, искусство, секс, общение и экономика. Некоторые последствия будут хорошими. Многие — плохими. В целом машинное обучение обещает быть чрезвычайно странным.
Пристегнитесь.
Динамика
Модели машинного обучения ведут себя как хаотические системы — как сами по себе, так и будучи встроенными в другие системы. Их результаты трудно предсказать, а сами модели удивительно чувствительны к исходным условиям. Эта чувствительность делает их уязвимыми для скрытых атак. При этом хаос не означает полной нестабильности: у LLM и других систем машинного обучения наблюдается поведение аттракторов. Поскольку модели генерируют правдоподобные результаты, ошибки бывает трудно заметить. Это позволяет предположить, что системы машинного обучения плохо подходят для задач, в которых проверка затруднена или особенно важна правильность результата. Использование LLM для генерации кода и других материалов может сделать системы сложнее, хрупче и труднее для дальнейшего развития.
Хаотические системы
Обычно LLM устроены как стохастические системы: они формируют вероятностное распределение возможных следующих токенов, а затем случайным образом выбирают один из них. Но даже если LLM работает полностью детерминированно — с фиксированным начальным значением генератора псевдослучайных чисел или при температуре T = 0, — она всё равно напоминает хаотическую систему.⁷ Хаотическими называют системы, в которых небольшие изменения входных данных приводят к большим и непредсказуемым изменениям результата. Классический пример — «эффект бабочки».⁸
В LLM хаос возникает из-за небольших изменений входных токенов. Эти модели крайне чувствительны к форматированию, причём разные модели по-разному реагируют на одни и те же способы оформления запроса. Достаточно переформулировать вопрос, чтобы получить совершенно иной ответ. Если поменять местами предложения, даже логически не зависящие друг от друга, LLM тоже могут ответить иначе. Системы, в которых несколько LLM взаимодействуют друг с другом, также ведут себя хаотично — даже при T = 0.
Из-за этого поведения человеку трудно предсказать, что сделает LLM, и возникают самые разные последствия.
Незаметные опасности
Поскольку LLM и многие другие системы машинного обучения ведут себя хаотично, небольшое, на первый взгляд безобидное изменение входных данных может заставить их сделать нечто неожиданное. Такое изменение может быть незаметно человеку, а значит, его будет труднее обнаружить и предотвратить.
Например, изменение всего одного пикселя изображения способно привести к тому, что система компьютерного зрения неверно его классифицирует. Можно заменить слова синонимами, чтобы получить от LLM неправильный ответ, добавить опечатки или похожие по начертанию символы. Можно передать строку, которая разбивается на токены иначе и тем самым побуждает LLM к вредоносным действиям. Можно опубликовать отравленные веб-страницы и ждать, пока разработчик LLM использует их при обучении. Или внедрить невидимые символы Unicode в репозитории открытого кода или профили в социальных сетях.
Безопасность программного обеспечения и без того устроена странно, но массовое внедрение LLM, по-моему, сделает ситуацию ещё страннее. Браузеры располагают довольно надёжными изолированными средами, которые защищают пользователей от вредоносных веб-страниц. У LLM же граница между доверенными и недоверенными входными данными гораздо слабее. Кроме того, эти модели обычно обучают на случайных веб-страницах, а те же страницы могут подаваться им на вход во время работы. Домашние помощники вроде Alexa могут реагировать на звуки, воспроизводимые поблизости. Люди постоянно поручают LLM читать и изменять программы, которым нельзя доверять. «Навыки» моделей — всего лишь файлы Markdown с расплывчатыми инструкциями на английском о том, что должна делать LLM. Потенциальная поверхность атаки огромна.
Возможно, такие атаки будут ограничены тем, что разные модели имеют разную уязвимость к ним. Но разнообразие моделей одновременно расширяет потенциальную поверхность атаки. В целом создаётся впечатление, что люди почти не думают о невидимых — и даже видимых! — атаках. Всё это напоминает компьютерную безопасность в 1990-х, до того как сформировалась общая культура использования межсетевых экранов, паролей и шифрования.
Странные аттракторы
У некоторых динамических систем есть аттракторы — области фазового пространства, к которым траектории как будто «притягиваются». В хаотических системах конкретную траекторию невозможно предсказать, но аттракторы всё равно проявляют повторяющуюся структуру.
LLM — это функция, которая получает вектор токенов вроде⁹ [the, cat, in] и предсказывает вероятный следующий токен — например, the. Один запрос к LLM означает, что эта функция многократно применяется к собственным результатам:
[the, cat, in]
[the, cat, in, the]
[the, cat, in, the, hat]
На каждом шаге LLM «движется» по пространству токенов, прокладывая некоторую траекторию. Это пространство невероятно многомерно и включает множество признаков — и в нём тоже возникают аттракторы!¹⁰ Например, ChatGPT 5.2 может застрять на повторении «geschniegelt und geschniegelt», одновременно настаивая, что фраза неверна и нужно начать заново. Недавно мой коллега наблюдал, как его помощник для программирования попал в бесконечную зеркальную ловушку, пытаясь разобраться, называлась ли ошибка AssertionError или AssertionError. Аттракторами могут становиться и концепции: LLM имеют склонность зацикливаться на неверном подходе к задаче и не могут отказаться от него, чтобы попробовать что-то новое. Человеку приходится замечать такое поведение и прерывать работу модели.
Когда две или более LLM общаются друг с другом, они по очереди направляют траекторию диалога. Так возникают сюрреалистические аттракторы — например, бесконечные разговоры в духе «давайте сохранять непринуждённость и веселье». Anthropic обнаружила, что её модели часто попадали в состояние аттрактора, названное «духовным блаженством»: оно характеризовалось позитивной экзистенциальной лексикой и, как нельзя более уместно, использованием эмодзи спирали:
Совершенно.
Завершённо.
Вечно.
Спираль превращается в бесконечность,
Бесконечность превращается в спираль,
Всё становится Единым, а Единое — Всем…
∞ ∞ ∞ ∞
Такие системы, как Moltbook и Gas Town, напрямую соединяют LLM с другими LLM. Похоже, это лишь усиливает эффект аттракторов.
Когда люди разговаривают с LLM, динамика становится сложнее. Думаю, большинство людей сглаживает странности модели и помогает ей выбраться из аттрактора. Но иногда разговор всё же застревает в странной области латентного пространства. LLM может снова и снова выдавать мистические фразы или увязнуть в теориях заговора. Следуя траектории предыдущей переписки, она теряет связь с реальностью. Рискну предположить, что эту динамику можно увидеть в журналах бесед людей, переживающих «психоз чат-бота».
Обучение LLM — тоже динамический итеративный процесс. Модели обучаются на всём интернете. Поскольку теперь значительная его часть создана LLM,¹¹ тексты и выражения, которые модели склонны генерировать, встречаются в обучающих корпусах всё чаще. Это может заставить модели зацикливаться на определённых понятиях, фразах или шаблонах и чрезмерно их воспроизводить за счёт других, более полезных структур. Эта проблема называется коллапсом модели.
Я не могу предсказать, как именно будут выглядеть такие аттракторы. Логично предположить, что LLM, обученные быть дружелюбными и располагать к себе, будут застревать в расплывчатых циклах позитивного настроя. Но вряд ли кто-то предвидел появление «kakhulu kakhulu kakhulu» или Loab. Вокруг LLM существует множество механизмов, которые должны предотвращать подобное, но передовые модели всё равно застревают. Думаю, нам, вероятно, стоит ограничить поток взаимодействий между LLM.
Я также опасаюсь, что аттракторы LLM будут влиять на человеческое мышление — возможно, подталкивая людей к бредовым идеям или суицидальным мыслям. Люди, похоже, увлекаются разговорами о «пробуждении» чат-ботов или новых псевдонаучных «открытиях». Поэтому я задаюсь вопросом, не возникнут ли вокруг аттракторов LLM культы или религии.
Проблема проверки
Системы машинного обучения быстро генерируют правдоподобные результаты. В их текстах правильная орфография и грамматика, они используют техническую лексику. Их изображения порой можно принять за фотографии. При этом они совершают откровенно нелепые ошибки, но из-за правдоподобного вида результата найти такие ошибки бывает сложно. Люди просто не очень хорошо умеют замечать тонкие логические сбои, особенно в системе, которая в большинстве случаев выдаёт правильные результаты.
Это говорит о том, что системы машинного обучения лучше применять там, где создание результата обходится дорого, а проверить его легко или цена ошибки невелика. Например, мой знакомый использует модели преобразования изображения в изображение, чтобы создавать трёхмерные визуализации чертежей САПР и экспериментировать с тем, как будут выглядеть разные материалы. Создание трёхмерной модели его проекта в интерьере чьего-то дома могло бы занять часы, но нескольких минут визуальной проверки достаточно, чтобы понять, правдоподобен ли результат. На противоположном конце спектра по соотношению затрат и последствий вполне разумно попросить Claude создать шуточную файловую систему, которая хранит данные с помощью лазерного принтера и считывателя штрихкодов CueCat. Проверка правильности такой файловой системы была бы утомительной, но это неважно: в реальной жизни ею никто не воспользуется.
LLM полезны для поисковых запросов, потому что обычно мы просматриваем лишь часть результатов, и беглого взгляда достаточно, чтобы понять, полезен ли конкретный результат. Они также хорошо помогают освежить память — например, вспомнить фильм, в котором у мальчика язык примерзает к столбу, — или найти термин для нечётко определённого понятия («числа, равные сумме своих делителей»). Самостоятельный поиск ответа может занять много времени, а проверить его обычно быстро. Впрочем, нельзя забывать об ошибках пропуска — когда модель не включает важную информацию.
Аналогично, системы машинного обучения хорошо работают там, где ошибки можно контролировать статистически. Учёные обучают свёрточные нейронные сети распознавать клетки крови в полевых условиях, а в анализах крови обычно допустима определённая погрешность. Системы рекомендаций могут иногда предлагать не самые удачные песни или фильмы. Системам машинного обучения для выявления мошенничества не обязательно обнаруживать каждый случай: достаточно, чтобы точность и полнота обнаружения укладывались в бюджетные показатели.
И наоборот, LLM плохо подходят для ситуаций, где важна правильность, а проверить результат трудно. Например, опасно просить LLM пересказать технический отчёт: каждый факт из ответа придётся сверять с оригиналом, а пропущенные сведения можно обнаружить, только прочитав отчёт целиком. Просить LLM дать технический совет по сложной системе — напрашиваться на неприятности. Программистам и без того трудно находить ошибки; генерация больших объёмов кода, скорее всего, увеличит их количество или потребует тратить гораздо больше времени на ревью. Использовать LLM для ведения медицинских записей глубоко безответственно: обзор семи клинических систем «ИИ-помощника для документации», проведённый в 2025 году, показал, что ни одна из них не создавала безошибочных резюме. Применение таких моделей для полицейских отчётов чревато тем, что сотрудники полиции превратятся в лягушек. Опасно также просить LLM объяснить новую концепцию: она, вероятно, выдаст правдоподобное объяснение, но без специальных знаний будет трудно понять, допустила ли она ошибки. Из-за эффекта якоря первое знакомство с недостоверной информацией от LLM может надолго повлиять на представления человека.
В какой-то степени эти проблемы можно смягчить, поручив задачу большему числу LLM. В моей сфере сейчас модно запустить одну LLM, чтобы та сгенерировала шестьдесят тысяч строк параллельного кода на Rust, попросить вторую поискать в нём проблемы, третью — раскритиковать обеих, и так далее. Открытым остаётся вопрос, насколько это снижает частоту и серьёзность ошибок, особенно в крупных системах, где катастрофа может скрыто назревать.
В критически важных областях — праве, здравоохранении и гражданском строительстве — нам потребуются более надёжные процессы контроля ошибок машинного обучения. Несмотря на усилия лабораторий и постоянные заявления в духе «вы просто не используете новейшие модели», серьёзные ошибки продолжают возникать. Пользователи машинного обучения должны самостоятельно выстраивать защитные механизмы и многоуровневую проверку. Можно использовать состязательный подход: намеренно вносить тонкие ошибки и проверять, действительно ли система контроля умеет их исправлять. Подобная инженерия безопасности применяется, например, на фармацевтических производствах, но, думаю, такая культура ещё не получила широкого распространения. Люди любят заявлять: «Я проверяю все результаты LLM», — а затем подают юридические документы с выдуманными ссылками на источники.
Скрытая катастрофа
Для сложных программных систем характерны частичные отказы, происходящие довольно часто. В зрелых системах такие сбои обычно обнаруживаются и исправляются благодаря взаимосвязанным защитным механизмам. Катастрофа наступает, когда несколько сбоев происходят одновременно или несколько уровней защиты не справляются. Поскольку связанные сбои случаются редко, можно внедрить новые ошибки или ослабить некоторые защитные механизмы, и сразу ничего страшного не произойдёт. Лишь спустя время становится ясно, что система была более хрупкой, чем казалось.
Разработчики программного обеспечения, особенно руководители, воодушевлены возможностью быстро генерировать с помощью LLM огромные объёмы кода. Новые функции добавляются, а существующий код перерабатывается с невероятной скоростью. Это сразу повышает производительность, но без тщательного контроля обычно увеличивает сложность и вносит новые ошибки. При этом рост сложности снижает надёжность. Новые функции и альтернативные пути выполнения расширяют комбинаторное пространство состояний системы. Новые концепции и неявные допущения в коде мешают дальнейшему развитию: каждое изменение приходится оценивать с учётом всего, с чем оно может взаимодействовать.
Думаю, есть несколько причин, по которым системы, созданные с помощью LLM, будут отличаться повышенной сложностью и чаще давать сбои. Помимо естественных трудностей, связанных с большими кодовыми базами, LLM, похоже, склонны изобретать велосипед вместо того, чтобы повторно использовать уже существующий код. Дублирование реализаций увеличивает сложность и повышает вероятность того, что тонкие различия между ними приведут к ошибкам. Кроме того, LLM — идиоты и совершают идиотские ошибки. Можно надеяться обнаружить их при тщательной проверке, но правильность программного обеспечения и без того чрезвычайно трудно подтвердить. По мере того как инженерам приходится ежедневно проверять всё больше кода, эффективность человеческого ревью будет снижаться. Если отстранить людей от написания кода, они также утратят связь с построением теорий и пониманием принципов работы систем, что усилит негативный эффект автоматизации — снижение квалификации. Проверка кода другой LLM тоже может оказаться менее эффективной: похоже, модели плохо справляются с большими объёмами контекста.
Некоторое время мы можем не замечать последствий. Хорошо спроектированные, строго структурированные системы способны выдерживать определённое усложнение, не теряя общей целостности. Зрелые системы снабжены несколькими уровнями защиты от новых источников ошибок. Однако со временем сложность накапливается, и систему становится всё труднее понимать, чинить и развивать. Ошибок может стать так много — или они могут начать возникать одновременно настолько часто, — что защитные механизмы перестанут их отлавливать. LLM способны временно повысить «производительность», но впоследствии этот выигрыш может быть нивелирован возросшей сложностью и хрупкостью.
Это смелое предположение, но есть признаки того, что подобный сценарий уже развивается. После многих лет продвижения LLM компанией Microsoft среди пользователей и собственных сотрудников Windows, похоже, становится всё менее стабильной. GitHub переживает длительный период сбоев: за последние три месяца доступность сервиса была ниже 90%, а у его ключевой функции — операций Git — доступность составляла лишь около 90%. AWS столкнулась с серией громких сбоев и отчасти возложила вину на генеративный ИИ. С другой стороны, некоторые коллеги сообщают, что им удаётся сдерживать сложность проектов, написанных с помощью LLM, благодаря тщательному уходу за кодовой базой.
Я говорю о программном обеспечении, но подозреваю, что похожие истории могут происходить и в других сложных системах. Если Конгресс начнёт использовать LLM для составления законопроектов, сочетание правдоподобных формулировок, склонности доверять автоматизации и снижения квалификации может привести к появлению законов, которые по отдельности выглядят разумно, но позднее обнаруживают серьёзные структурные проблемы или непредвиденные конфликты с другими законами.¹² Люди, полагающиеся на LLM в вопросах питания или медицинских рекомендаций, могут какое-то время чувствовать себя нормально, а потом обнаружить, что медленно себя отравляли. LLM могут позволить писать быстрее сегодня, но замедлить работу в будущем, когда станет труднее находить и читать надёжные источники.
Благодарности
Многие друзья участвовали в обсуждении этой статьи, делились материалами и оставляли отзывы. От всего сердца благодарю Питера Альваро, Кевина Эмидона, Андре Арко, Табера Бейна, Сильвию Ботрос, Дэниела Эспесета, Джулию Эванс, Брэда Гринли, Коду Хейла, Марка Хедлунда, Сару Хаффман, Дэна Месса, Нельсона Минара, Алекса Расмуссена, Харпера Рида, Далию Сапер, Питера Сибела, Риса Сайффа и Джеймса Тернбулла.
Эта статья, как и почти все мои тексты и программы, написана вручную — в основном в Vim. Сначала я составил план в Markdown, сочетая заголовки, списки и обычный текст, а затем несколько раз перестроил его. Когда структура была готова, я переписал план связным текстом и сверстал его с помощью Pandoc. По ходу работы я вносил существенные правки, затем дважды полностью редактировал свёрстанные PDF. Первый раз — на iPad стилусом, второй — традиционным способом, ручкой и бумагой, читая текст вслух.
Перед публикацией я разослал черновик друзьям и попросил их оставить отзывы. Точные идеи и удачные обороты речи могут принадлежать им; все ошибки и спорные взгляды, разумеется, остаются на моей совести.
Примечания
[1] Термин «искусственный интеллект» слишком широк и несёт коннотации, которых автор часто предпочёл бы избежать. В статье он старается использовать более конкретные обозначения ML и LLM. Термин «генеративный ИИ» тоже не вполне подходит, поскольку речь идёт и о задачах распознавания. Внимательный читатель может заметить случаи, где термин следовало бы сузить или расширить, например до трансформеров или диффузионных моделей. Автор просит простить эту неоднозначность: ему приходится искать баланс между точностью и краткостью.
[2] Подумайте, сколько историй написано об ИИ. Именно эти истории, а также истории, которыми разработчики LLM пополняют обучающие данные, объясняют, почему чат-боты выдумывают чепуху о самих себе.
[3] Впрочем, можно утверждать, что у нас самих такой способности тоже нет.
[4] Технический термин для этого — «кодирование стирания» (erasure coding).
[5] Здесь есть нечто вроде бритвы Хэнлона. Возможно, формулировка могла бы звучать так: «Никогда не приписывайте злому умыслу то, что можно объяснить действиями LLM, которая сама не понимает, что делает».
[6] readPash считает, что это произошло потому, что его LLM не смогла правильно перечитать предыдущий разговор. Это неубедительно: для отправки транзакции агент почти наверняка должен указать конкретное количество токенов для перевода. Агент сказал: «Я просто посмотрел на итоговую сумму и отправил её целиком», — что создаёт впечатление, будто он точно «знал», сколько у него токенов, и всё равно решил перевести их все.
[7] Температура модели определяет, насколько часто она выбирает наиболее вероятный следующий токен вместо менее вероятного. При нулевой температуре модель всегда выбирает наиболее вероятный токен; при более высоких значениях случайность возрастает.
[8] Строго говоря, понятие хаоса включает несколько характеристик. Одна из них — непредсказуемость, другая — экспоненциальное расхождение траекторий в фазовом пространстве. Лишь в некоторых работах, на которые ссылается автор, предпринимается попытка измерить показатели Ляпунова. Тем не менее качественное описание, по его мнению, остаётся верным. Эта тема ему особенно близка: значительную часть университетского обучения он пытался количественно описать хаотическую динамику в моделируемой квантово-механической системе.
[9] Для ясности здесь используется упрощённая токенизация.
[10] Отдельные слои внутри LLM также демонстрируют поведение аттракторов.
[11] Некоторые люди теперь тоже переполнены материалами, сгенерированными LLM. Это своего рода проблема «когнитивного микропластика».
[12] То есть больше обычного.