HSA-Net: Hierarchical and Structure-Aware Framework for Efficient and Scalable Molecular Language Modeling

## Контекст Molecular representation learning является основополагающей задачей для решения таких прикладных задач, как молекулярная капшн и предсказание молекулярных свойств. Несмотря на то, что Graph Neural Networks (GNN) стали одним из главных инструментов для этих задач, они сталкиваются со сложностями, в том числе проблемой over-smoothing, когда глубокие слои GNN приводят к схематизации функций узлов. Эта проблема особенно актуальна при работе с глубокими GNN-моделями. Несмотря на введение методов проекции функций с помощью cross-attention, они не всегда эффективно работают в глубоких слоях. Это побудило авторов исследовать альтернативные подходы, включая Граф-Mamba, но даже он не может успешно справиться с взаимодействием глобальных и локальных структур. Другими словами, существует глобально-локальное взаимодействие, которое необходимо учитывать. Мотивируясь этим, авторы предлагают HSA-Net — метод, который решает эту проблему. ## Метод HSA-Net является инновационным фреймворком, основанным на двух модулях. Во-первых, **Hierarchical Adaptive Projector (HAP)** обеспечивает динамическую проекцию функций узлов, используя cross-attention для глубоких слоев и Graph-Mamba для локальных характеристик. Во-вторых, **Source-Aware Fusion (SAF)** включает в себя механизм выбора экспертов, который адаптивно объединяет проекции и учитывает характеристики этих проекций. Это позволяет HSA-Net эффективно объединять глобальные и локальные сведения, которые необходимы для точного и структурированного представления молекул. ## Результаты Данные для экспериментов были получены из различных баз данных, таких как ZINC и QM9. На этих данных HSA-Net показал лучшие результаты по сравнению с состояниями искусства (SOTA) в задачах моделирования языка молекул. Точность предсказания молекулярных свойств и капшнов на порядок была выше. Эти результаты доказывают, что HSA-Net не только улучшает общую точность, но и способствует менее однородному представлению молекул, что важно для сложных задач моделирования. ## Значимость HSA-Net может быть применен в различных областях, включая моделирование молекул, синтез молекул и другие аспекты химического проектирования. Основные преимущества в том, что он устраняет проблемы, связанные с глобально-локальным взаимодействием, и обеспечивает более точное представление молекул. Это может существенно повысить эффективность в таких областях, как молекулярный синтез или предсказание свойств. Будущие исследования могут ориентироваться на расширение HSA-Net для более широкого класса задач, включая биологические системы и стимулированные молекулярные симуляции. ## Выводы HSA-Net устанавливает но