LLM-as-classifier: Semi-Supervised, Iterative Framework for Hierarchical Text Classification using Large Language Models

## Контекст В последние годы вызвано значительное внимание к использованию бо LLM (Large Language Models) для анализа неструктурированных текстовых данных. Однако, применение этих моделей в качестве надежных и мощных классификаторов в промышленных приложениях сталкивается с рядом технических и методологических проблем. Одной из главных сложностей является то, что стандартные методы оптимизации моделей часто оказываются ресурсоемкими и неэффективными при работе с динамически меняющимися данными, которые характерны для реального мира. Это взаимодействие между гибкостью LLMs и требованиями к производительности и устойчивости классификационных систем в реальных приложениях лежит в основе нашего исследования. Мы создаем подробную стратегию, которая использует мощь LLMs для построения разделенных классификаторов используя небольшие обучающие выборки и итеративные, человеком вовлеченные процессы. ## Метод Мы предлагаем развитый, семи-супервизированный фреймворк, который основывается на нулевом и нескольких-супервизированных возможностях LLMs для построения леса классификаторов. Методология включает в себя несколько ключевых этапов, таких как: 1. **Элицирование доменных знаний** — получение информации для определения ключевых признаков и концепций, необходимых для классификации. 2. **Подготовка и уточнение запросов** — оптимизация запросов для лучшего понимания текстовых данных. 3. **Расширение иерархии классов** — мощные техники для расширения иерархической структуры классификатора. 4. **Многомерная валидация** — методы для проверки качества классификации с различных сторон. 5. **Оценка и снижение последовательностных биасов** — инструменты для выявления и устранения последовательных зависимостей в данных. 6. **Непрерывное мониторинг и адаптация** — протоколы для постоянного контроля и улучшения системы. Этот подход позволяет использовать мощь LLMs в сочетании с человеческим опытом для построения более точных, понятных и устойчивых классификаторов. ## Результаты Мы проводим эксперименты с различными данными, включая реальные из различных индустрий. Мы устанавливаем оптимальные параметры для запросов, создаем иерархические классификаторы и проводим многомерные валидации для оценки качества. Наши результаты показывают, что наш фреймворк позволяет повысить точность классификации и уменьшить частоту ошибок по сравнению с существующими методами. Также мы показываем, как наш подход справляется с последовательными биасами и устойчив к изменению данных в реальном времени. ## Значимость Наш фреймворк имеет огромное значение для индустрии, так как он предоставляет мощный инструмент