Сотрудники Юго-Западного исследовательского института в Соединенных Штатах Америки (SwRI) осуществили масштабнейшее на текущий момент сопоставление баз данных лунных кратеров, сформированных при помощи технологий машинного обучения. В результате было установлено, что многие из них значительно завышают показатели своей надёжности. После оценки соответствия общепринятым научным стандартам, эффективность некоторых программных решений оказалась более чем в десять раз меньше заявленных цифр.

Списки ударных образований служат одним из ключевых средств для изучения планет и спутников. На основе их числа, размеров и расположения специалисты оценивают возраст лунной поверхности и других небесных тел. Учитывая, что небольшие космические объекты регулярно сталкиваются с планетами, более старые участки имеют возможность накопить большее количество кратеров. Любые неточности в подобной базе данных напрямую сказываются на определении возраста поверхностей и восстановлении геологического прошлого.

Предполагалось, что автоматизированное распознавание лунных образований при помощи искусственного интеллекта позволит сократить годы трудозатрат и обработать массивы информации, которые не под силу человеку. Тем не менее, исследователи решили удостовериться в том, насколько существующие алгоритмы соответствуют требованиям для применения в научных исследованиях. Для этого они провели сравнение восьми крупнейших каталогов Луны, созданных автоматическими методами, с эталонной базой данных, которую ведущий автор работы Стюарт Роббинс формировал вручную на протяжении нескольких лет.

Исследование продемонстрировало, что итог во многом определяется тем, какие объекты следует классифицировать как достоверно идентифицированные кратеры.

Для проведения достоверных научных изысканий недостаточно простого выявления «округлой формы» – требуется установить точные координаты и размеры объекта. Значительное число методов признавали кратеры успешно найденными, даже если они были сдвинуты от истинного местоположения, воспроизведены повторно или имели несоответствующий масштаб. Применение менее требовательных критериев оценки практически не оказывало влияния на общий результат.

Как утверждают разработчики, подобные расхождения способны существенно повлиять на интерпретацию научных данных. К примеру, случайное дублирование части кратеров может привести к иллюзии значительно большей древности поверхности по сравнению с её фактическим возрастом.

В результате дополнительного анализа выяснилось, что некоторые базы данных демонстрируют хорошую эффективность только для определенного диапазона размеров кратеров, однако их точность резко падает при исследовании объектов большего или меньшего размера. Следовательно, общий показатель эффективности может маскировать серьезные ограничения модели.

Исследователи акцентируют внимание на том, что данная работа не ставит под вопрос потенциал искусственного интеллекта в планетологии. Она указывает на необходимость разработки унифицированных стандартов оценки, понятных критериев проверки и независимой аттестации результатов. По мнению специалистов, только после такой процедуры ИИ сможет стать надежным инструментом для создания научных каталогов, применяемых при изучении Луны, Марса и других небесных тел Солнечной системы.