IBM и Европейское космическое агентство разработали TerraMind — ИИ-модель для анализа в режиме реального времени данных наблюдения за Землёй. Система, доступная на платформе Hugging Face, объединяет девять типов геопространственной информации: спутниковые снимки, данные о почве, климатические показатели и текстовые описания регионов. Благодаря этому можно прогнозировать изменения климата, риски дефицита воды и другие глобальные параметры с высокой точностью, не прибегая к использованию нескольких специализированных моделей.
TerraMind базируется на TerraMesh — массиве более чем в 500 миллиардов токенов данных, собранных из девяти миллионов пространственно-временных образцов. Модель построена на симметричном кодировщике-декодере с трансформерами, что позволяет обрабатывать пиксельные, токенизированные и последовательные данные. Несмотря на объем обучающей информации, система потребляет на порядок меньше вычислительных ресурсов благодаря оптимизации под каждую модальность. Например, при оценке дефицита воды модель анализирует температуру, осадки, растительность и сельскохозяйственную деятельность одновременно, формируя полную картину для конкретного региона.
«TerraMind выходит за границы стандартной обработки изображений, — заявил Хуан Бернабе-Морено, руководитель IBM Research в Великобритании. — Модель обнаруживает скрытые связи между данными, которые раньше нуждались в ручном сопоставлении». Тестирование на платформе ESA PANGEA показало эффективность: в задачах классификации почв, экологического мониторинга и обнаружения изменений система опереди ла 12 соперников минимум на 8%.
Успех обусловлен техникой Thinking-in-Modalities (TiM), разработанной IBM. Эта техника схожа с методом Chain-of-Thought в языковых моделях, но адаптирована для работы с многомодальными данными. TiM генерирует синтетические обучающие наборы, которые дополняют исходную информацию. Например, если модель анализирует водные объекты, она может самостоятельно создавать детальные карты почвенного покрова, повышая точность прогноза, как отметил соавтор метода Йоханнес Якубик.
TerraMind используется как для долгосрочных задач, например планирования инфраструктуры и управления биоразнообразием, так и для оперативных сценариев, таких как мониторинг пожаров или наводнений. ESA объявила о планах выпустить оптимизированные версии модели для реагирования на стихийные бедствия в ближайшее время.
Симонетта Чели, директор программ наблюдения Земли ESA, отметила: «Раньше приходилось использовать множество инструментов. Теперь TerraMind объединяет сведения спутников, климатические модели и геопространственную информацию, предоставляя учёным и бизнесу единый источник данных». Команды ведут работу по интеграции TerraMind в глобальные климатические проекты с целью преобразования исходных данных в ценные знания для действий по защите планеты.