Современные языковые модели, например ChatGPT и Gemini, ведут беседы очень естественно — почти как человек. Внутренние механизмы, создающие эту природность, до сих пор представляют собой большую загадку. Новое исследование осветить процесс обучения нейросетей пониманию языка и обнаруживает в нём неожиданный скачок, напоминающий фазовый переход из физики.
Исследователи изучили упрощённую версию механизма внимания, являющегося основой архитектуры трансформеров, составляющих основу многих современных языковых моделей.
В начале обучения нейросеть воспринимает предложения, исходя из расположения слов. Например, в английском языке стандартный порядок «подлежащее — глагол — дополнение» помогает сети понимать текст. С увеличением объёма обучающих данных модель меняет подход: она начинает основывать понимание на значении слов, а не их последовательности.
Переход происходит резко и без промежуточных стадий. Ученые сравнивают его с фазовым переходом, как, например, мгновенное превращение воды в пар при определенной температуре. Модель ниже критического объема данных полагается только на позиции, выше — исключительно на значения слов.
«Наша цель заключалась в том, чтобы понять, какие стратегии использует сеть, — говорит Хуго Цуй, постдок из Гарварда и автор статьи. — Но результат оказался неожиданным: модель внезапно отказалась от одной стратегии и применила другую».
Подобные резкие переходы хорошо известны в статистической физике, где сложные системы из миллионов частиц описываются коллективным поведением. Нейросеть — система из множества взаимосвязанных узлов (нейронов), чьё «интеллектуальное» поведение возникает из взаимодействия этих компонентов. Поэтому авторы считают, что подходы из физики можно применить и к пониманию работы ИИ.
Понимание условий переключения модели между стратегиями может сделать нейросети в будущем более предсказуемыми, эффективными и безопасными.