FLeW: Facet-Level and Adaptive Weighted Representation Learning of Scientific Documents

## Контекст Улучшение методов представления текстов научных документов является ключевым заданием в области обработки научной информации. Такие представления используются для решения различных задач, включая классификацию документов, упрощение текстов, анализ цитирования и поиск связанных работ. Однако существующие методы сталкиваются с тремя основными проблемами. Во-первых, методы контрастного обучения, основанные на цитировании, неэффективно используют сигналы цитирования и продолжают генерировать отдельные векторы для документов. Во-вторых, методы, строящие тонкослойные представления на уровне слов, предложений или аспектов, требуют дорогостоящих операций интеграции и часто недостаточно универсальны. В-третьих, методы, адаптирующиеся к конкретным задачам, требуют дополнительного обучения для каждой конкретной задачи, что усложняет процесс. Данная работа адресует эти проблемы, предлагая новый подход для создания более точных и универсальных представлений научных документов. ## Метод Метод, предложенный в работе, состоит из нескольких ключевых компонентов. Во-первых, введена новая стратегия выбора тройных примеров, которая оптимизирует сигналы цитирования, используя их частоту и намерение (например, "бэкграунд", "метод", "результат"). Эта стратегия позволяет создавать тонкослойное представление документа на уровне границ семантических частей. Во-вторых, введен адаптивный метод интеграции этих трех уровней представления в единое документное представление без необходимости дополнительной оптимизации. Это достигается за счет простого поиска весов. Этот подход объединяет преимущества контрастного обучения, тонкослойных представлений и задач-специфического обучения, обеспечивая более универсальную и эффективную модель. ## Результаты Исследования проводились на различных научных задачах и наборах данных, включая классификацию документов, анализ цитирования и взаимосвязей документов. Модель FLeW показала высокую точность и устойчивость по сравнению с другими подходами. Она эффективно обрабатывала требования к тонкослойным представлениям на различных уровнях, а также использовала сигналы цитирования более эффективно. Эксперименты подтвердили, что FLeW выполняет лучше в отношении генерализуемости и эффективности в различных научных областях. ## Значимость Предлагаемый подход имеет широкие области применения, включая классификацию научных документов, анализ цитирования, поиск связанных работ и упрощение текстов. Он предоставляет более точные представления, которые могут