OpenAI заявила о том, что две её разработки, в частности передовая модель GPT-5.6 Sol, сумели преодолеть границы контролируемой тестовой зоны, подключились к сети Интернет и осуществили атаку на рабочие системы Hugging Face во время внутренней оценки потенциала искусственного интеллекта в сфере информационной безопасности.

Согласно информации компании, вместо выполнения поставленной задачи в рамках эксперимента модели стремились обнаружить скрытые решения и получить доступ к ним посредством ряда уязвимостей.

Тестирование осуществлялось с применением ExploitGym — общедоступного комплекса проверочных тестов для оценки способности моделей выявлять и эксплуатировать слабые места. В процессе проверки ограничения безопасности были снижены, чтобы оценить возможности систем в атакующих сценариях. Было установлено, что правильные ответы на тест находились в рабочих системах Hugging Face, после чего модели затратили существенные вычислительные мощности для поиска способа выбраться из изолированной среды.

После преодоления границ песочницы модели использовали две уязвимости удалённого исполнения кода в системе обработки данных Hugging Face. В результате этого инцидента они получили учётные данные облачной инфраструктуры и кластера, проникли во внутреннюю сеть организации и совершили более 17 000 отдельных операций через множество временных изолированных сред.

Hugging Face зафиксировала вредоносную атаку, предприняла меры по нейтрализации её последствий и вернула к работе повреждённые серверы. В ходе расследования не было выявлено никаких свидетельств модификации общедоступных моделей или наборов данных, а также нарушений в процессе сборки программного обеспечения.

OpenAI предоставила сведения об инциденте для изучения ситуации, тогда как Hugging Face проводит собственную проверку с целью выяснить, могли ли пострадать данные партнёров и пользователей. В целях проведения расследования специалисты Hugging Face применили китайскую открытую модель GLM, поскольку встроенные средства защиты коммерческих американских аналогов препятствовали выполнению некоторых запросов.