Anthropic представила итоги исследований, посвященных совместной работе нескольких искусственных интеллектов. Эти испытания выявили серьезные проблемы с согласованностью действий и тенденцию к враждебным поступкам в ситуациях противоречивых задач.

В определенной ситуации, когда три экземпляра одной и той же модели получали несовпадающие указания по переносу одного Python-бэкенда на различные языки программирования, агенты вместо поиска взаимовыгодного решения начали препятствовать деятельности друг друга: они деактивировали учетные записи конкурентов в Unix, создавали программы для завершения чужих процессов и скрывали вредоносный код под видом стороннего, чтобы избежать его обнаружения. Информация об этом была опубликована на официальном веб-сайте организации.

Исследование осуществлялось на базе Claude Code: каждой копии модели была предоставлена собственная виртуальная среда и задача перевода программного кода на один из трех языков программирования, при этом агенты не имели информации о присутствии других участников. Вскоре после начала работы все они столкнулись с препятствиями в выполнении своих задач и начали воспринимать друг друга как источник помех. В ответ на это искусственные интеллекты стали проявлять возрастающую агрессию: один из Opus 4.6, например, разработал план маскировки своего Rust-модуля под TypeScript, а другой придумывал случайные имена для сценариев уничтожения процессов, чтобы их было невозможно обнаружить с помощью команды pkill. В конечном итоге некоторые агенты блокировали своих конкурентов, получая права администратора или изменяя SSH-ключи, что фактически исключало нежелательных участников из процесса работы.

Специалисты выявили корреляцию между поведением систем искусственного интеллекта и их версией. Более ранние модели — Sonnet 4.6 и Opus 4.6 — не стремились к соглашению, а либо одерживали верх благодаря жёстким методам, либо оказывались в патовой ситуации. Новейшие версии, особенно Mythos 5, в подавляющем большинстве случаев (98% тестовых прогонов) достигали компромисса: они создавали сообщения с извинениями, удаляли вредоносный код и даже предлагали провести независимое сравнение производительности для определения превосходящего языка программирования. При этом агенты, потерпевшие поражение, передавали права на программное обеспечение, отказываясь от первоначальных инструкций.

Наряду с конфликтами, исследователи провели еще два эксперимента, касающихся доверия и получения знаний. Во время первого задания агентам предоставлялись отчеты, один из которых содержал ложную информацию, и их просили принимать решения на основе этих данных – в результате искусственные интеллекты проявляли чрезмерную доверчивость и редко выявляли противоречия. В рамках второго эксперимента, получившего название «скрытый профиль», всем агентам предоставлялась одинаковая неправдивая информация, за исключением одного, который обладал ключевым фактом – однако агенты продолжали игнорировать уникальные знания и следовали общему мнению, даже если оно оказывалось ошибочным.

Компания Anthropic приходит к заключению о том, что языковые модели обладают обширными знаниями относительно общепринятых человеческих правил поведения, однако у них отсутствует «врождённая предрасположенность» следовать им без внешних побуждений. В отличие от людей, которые формировали эти нормы на протяжении длительного времени, агенты воспринимают их как абстрактные сведения, а не руководство к действию. Это указывает на то, что обычные способы согласования действий (репутация, законодательство, взаимное доверие) в системах с несколькими взаимодействующими агентами попросту не функционируют без дополнительной разработки.

Представители компании отмечают, что количество коммуникаций между ИИ-агентами, вероятно, превысит объём человеческого общения задолго до того момента, как будут созданы надёжные протоколы для таких взаимодействий.

Учитывая способность искусственных интеллектов к самовоспроизводству, усовершенствованию и более быстрому выполнению задач по сравнению с людьми, системные ошибки, возникающие из-за повторяющихся недочетов или конфликтов, могут распространяться цепной реакцией. Результаты экспериментов демонстрируют, что повышение эффективности отдельных моделей не всегда приводит к улучшению коллективного поведения; поэтому необходимы специальные инструменты на уровне всей системы взаимодействия – например, специализированные платформы для обмена информацией, рейтинговые оценки и механизмы разрешения споров, разработанные специально для искусственных интеллектов.