Efficient Zero-Shot Long Document Classification by Reducing Context Through Sentence Ranking

#### Контекст Классификация документов является важной задачей в области обработки естественного языка, которая находит применение в различных сферах, таких как моделирование общественного мнения, мониторинг новостей или анализ документов. Однако существуют реальные проблемы, связанные с классификацией документов продолжительностью более 512 токенов, которые являются ограничением большинства существующих моделей. Трансформер-базированные модели, такие как BERT, проявляют выдачу класса в отношении классических задач текстовой классификации. Однако при работе с документами продолжительностью более 512 токенов, они сталкиваются с ограничениями ввода, высокими вычислительными затратами и снижением точности. Это свидетельствует о необходимости развития методов, оптимизирующих вычислительные ресурсы и улучшающих производительность в соответствии с требованиями классификации документов продолжительностью более 512 токенов. #### Метод Мы предлагаем новую эффективную методологию для классификации документов продолжительностью более 512 токенов с использованием стратегии рейтинга предложений. Метод основывается на трансформер-базированных моделях, которые сначала выполняют рейтинг предложений в документе по их значимости, используя метод TF-IDF. Затем выбираются только наиболее важные предложения, чтобы сократить количество токенов для ввода в модель. Это позволяет сохранить важные части текста, не изменяя структуру модели. Эта методология может быть применена для адаптации моделей, ориентированных на классификацию коротких текстов, к классификации документов продолжительностью более 512 токенов. #### Результаты Результаты экспериментов проводились на датасете MahaNews, содержащем длинные маратские новостные статьи. Мы проверили три стратегии рейтинга предложений: верхние 50%, 75% и 100% предложений. Мы выяснили, что сокращение количества предложений до 50% сохраняет точность классификации на уровне полного документа, при этом снижая время выполнения модели на до 35%. Это показывает, что рейтинг предложений является эффективным методом для эффективного использования ресурсов в классификации документов продолжительностью более 512 токенов. #### Значимость Метод, описанный в нашей работе, имеет широкие применения в различных областях, таких как моделирование общественного мнения, мониторинг новостей и анализ документов. Он позволяет эффективно использовать модели трансформеров для классификации документов продолжительностью более 512 токенов, чтобы улучшить производительность и снизить вычислительные затраты. Этот подход