Недавние исследования обнаружили значительную проблему в функционировании искусственного интеллекта: оказалось, что многие модели, в том числе известные чат-боты, при генерации ответов используют информацию из научных публикаций, которые были официально аннулированы или признаны недействительными. Это явление затрагивает такие сферы, как медицина, биология и другие научные дисциплины, где отозванные работы продолжают использоваться ИИ для создания рекомендаций и предоставления разъяснений.
Специалисты из Университета Теннесси (США) провели испытания, используя 21 отозванную публикацию в области медицинской визуализации, и выяснили, что современные версии ChatGPT (например, GPT-4o) в некоторых случаях цитируют эти недействительные источники, при этом не всегда уведомляя об их недействительности. Другое исследование выявило, что при проверке свыше 200 отклоненных и ненадежных работ многие ИИ-модели не указывали на их статус, а иногда даже подтверждали спорные утверждения. Важно отметить, что большинство подобных исследований проводилось с использованием версий моделей, имеющих ограниченный объем знаний и не подключенных к интернету.
Учёные акцентируют внимание на необходимости включения систем идентификации отозванных публикаций и добавления соответствующей информации из научных ресурсов в алгоритмы машинного обучения и поиска. Отдельные организации уже приступили к обновлению баз данных своих моделей с целью сокращения использования ненадёжных материалов, однако вопрос продолжает оставаться значимым.
Профессор Юань Фу из Иллинойского университета подчеркивает: «Важность выявления отозванных публикаций трудно переоценить, особенно в тех сферах, где решения принимаются на основе данных, обработанных искусственным интеллектом, например, в медицине и технологиях. Необходимо информировать и специалистов, и обычных людей, чтобы избежать необоснованного доверия к генеративным моделям». Представители OpenAI и другие ведущие разработчики пока не предоставили подробных комментариев, однако в научном сообществе призывают к совместной работе и внедрению более открытых и поддающихся проверке методов обработки научной информации.
Данная ситуация вызывает обоснованную тревогу, поскольку искусственный интеллект всё чаще применяется для проведения научных обзоров, поддержки исследовательской деятельности и разработки научных гипотез. Риск получения устаревших или неточных данных может снизить доверие к подобным системам и спровоцировать распространение ошибок в научной и практической сферах.