SoilNet: A Multimodal Multitask Model for Hierarchical Classification of Soil Horizons

## КОНТЕКСТ И ПРОБЛЕМАТИКА Классификация горизонтов почвы является важной задачей в эмпирических науках, так как она играет ключевую роль в мониторинге состояния почвы, что влияет на сельскохозяйственную продуктивность, безопасность продовольствия, стабильность экосистем и устойчивость к изменению климата. Однако этот процесс представляет собой сложную задачу, требующую учета мультимодальных данных, таких как изображения и геотемпоральные метаданные, а также сложной иерархической структуры горизонтов почвы. Традиционные методы классификации горизонтов часто сталкиваются с проблемами, связанными с большим количеством возможных лейблов, дисбаллансом данных и нелинейными взаимосвязями между горизонтами. Недавние достижения в области фаундэйшен-моделей показали выдающиеся результаты во многих областях, но эти модели еще не были эффективно применены к задачам, требующим учета сложной иерархической структуры данных, как это требуется для классификации горизонтов почвы. Таким образом, необходимо разработать модель, которая может эффективно обрабатывать мультимодальные входные данные, обрабатывать иерархические структуры лейблов и обеспечить высокую точность классификации. ## ПРЕДЛОЖЕННЫЙ МЕТОД В этой работе авторы представляют $\textit{SoilNet}$, мультимодальную мультизадачную модель, предназначенную для классификации горизонтов почвы. Модель состоит из нескольких модулей, каждый из которых выполняет определенную функцию. В первую очередь, модель использует изображения и геотемпоральные метаданные для предсказания глубинных маркеров, которые помогают разделить почвенный профиль на кандидаты на горизонты. Каждый сегмент получает набор морфологических черт, специфичных для горизонта. Далее, для каждого сегмента предсказывается лейбл горизонта, используя вектор мультимодальных фич, полученных из изображений и метаданных. Одним из ключевых элементов модели является использование графового представления лейблов для учета сложной иерархической структуры горизонтов. Это позволяет модели эффективно обрабатывать большое количество возможных лейблов, а также учитывать их нелинейные взаимосвязи. ## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ Авторы провели эксперименты на реальном датасете почвенных профилей, чтобы оценить эффективность $\textit{SoilNet}$. Для этого использовались данные, включающие изображения почвы и геотемпоральные метаданные. Модель демонстрирует высокую точность классификации, превосходя существующие подходы, особенно в случаях с большим количеством лейблов и дисбаллансом данных. Результаты показывают, что интеграция изображений и метаданных, а также использование графового представления лейблов значительно улучшают качество классификации. Модель показала стабильные результаты даже в сложных сценариях, где требуется учет многих взаимосвязанных горизонтов. ## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ $\textit{SoilNet}$ имеет широкое применение в сельскохозяйственной и экологической науке. Точная классификация горизонтов почвы помогает в мониторинге состояния почвы, что важно для повышения сельскохозяйственной продуктивности, обеспечения безопасности продовольствия и поддержания экосистемной стабильности. Кроме того, модель может быть использована для мониторинга изменений в почве в зависимости от условий климата, что делает ее инструментом для климатической резильентности. ## ВЫВОДЫ И ПЕРСПЕКТИВЫ В этой работе была представлена $\textit{SoilNet}$, модель, эффективно решающая задачу классификации горизонтов почвы с помощью мультимодальных входных данных и графового представления лейблов. Будущие исследования могут фокусироваться на дальнейшем улучшении модели, включая использование более крупных датасетов и расширение модели для учета еще более сложных иерархических структур.