Rethinking Domain-Specific LLM Benchmark Construction: A Comprehensiveness-Compactness Approach

## Контекст В последние годы широко используются бо LLM (Large Language Models), которые показывают выдающиеся результаты в общих задачах. Однако известно, что эти модели могут снизить качество выполнения задач в специализированных областях, если не будет предоставлен достаточный объем специализированных данных. Это подчеркивает необходимость в разработке эффективных и эффективных методов для построения бенчмарков, которые способны тестировать достоверно способности более широкого спектра задач для конкретных областей. Несмотря на то, что существуют многочисленные бенчмарки, они часто ориентированы на масштабирование, основываясь на огромных объемах супервизированных данных или подготовке обширных наборов вопросов для обеспечения большого покрытия в области. Однако недостаточное внимание уделяется влиянию выбора корпуса и вопрос-ответ (QA)-наборов на точность и полноту результатов. В данной работе мы исследуем эту проблему и предлагаем новую модель Comp-Comp, ориентированную на достижение оптимального баланса между полнотой и компактностью. ## Метод Мы предлагаем Comp-Comp, уникальный фреймворк построения бенчмарков, который основывается на новом принципе — comprehensiveness-compactness. Этот подход имеет два основных аспекта: (1) **comprehensiveness** — гарантировать, что бенчмарк охватывает все существующие семантические структуры в области, и (2) **compactness** — уменьшить значительно объем данных бенчмарка, оставив только самые важные и сигнализирующие моменты. Мы используем итеративный подход: вначале — сборка и редукция корпуса, затем — построение и оптимизацию QA-набора. Методом прототипной разработки построена модель, нацеленная на достижение критериев качества в специализированной области. Для этого в качестве случайного кейса мы использовали академическую область, научно-исследовательскую деятельность в знаменитом университете. ## Результаты Мы провели эксперименты на основе данных от XUBench, который мы построили с помощью Comp-Comp. Мы сравнили эффективность нашего подхода с использованием нескольких метрик, включая точность, полноту, F1-меру и покрытие. Результаты показали, что Comp-Comp не только улучшил точность и полноту, но и уменьшил объем данных, необходимых для достижения оптимальных результатов в сравнении с традиционными подходами. Например, наша модель показала значительное улучшение в точности в 15% и полноту в 20% в сравнении с бенчмарком, построенным на основе масштабирования. ## Значимость Мы утверждаем, что наш подход может быть применен к различным сферам, включая медицину, юриспруденцию и другие области, где специализированные модели являются критичными. Особенно