Cut Costs, Not Accuracy: LLM-Powered Data Processing with Guarantees

#################### ## Контекст #################### Современные большие текстовые данные (large text datasets) требуют эффективного и точного обработки, что делает их обработку на высоком уровне качества очень затратной. Большие лингвистические модели (LLMs) стали популярными для обработки таких данных, но существуют различные модели с разными значениями стоимости и качества. На практике модели с высоким качеством (например, GPT-4) могут вызвать слишком высокие затраты, поэтому модели с более низким качеством (например, GPT-4-Mini) могут использоваться вместо них. Однако это приводит к тому, что точность может снизиться, что неприемлемо во многих ситуациях. Для решения этой проблемы необходимо создать систему, которая будет эффективно комбинировать модели с разным качеством, чтобы обеспечить высокую точность при минимальных затратах. #################### ## Метод #################### Предлагаемый подход, который называется BARGAIN, использует адаптивную стратегию выбора записей, которая определяет, какие записи следует обрабатывать с помощью дорогостоящей модели, а какие -- с помощью дешевой. Стратегия основывается на характеристиках данных и задачи, а также на недавних статистических инструментах, которые обеспечивают точные оценки показателей качества. Базовая идея заключается в том, чтобы использовать дорогую модель для записей, где вероятность ошибки высока, и использовать дешевую модель для записей, где ошибка менее вероятна. Таким образом, можно сократить затраты без существенного снижения точности. #################### ## Результаты #################### Для исследования были использованы 8 реальных датасеты, на которых проводились эксперименты с различными вариантами BARGAIN. Результаты показали, что метод существенно сокращает затраты на обработку данных, среднее сокращение составило до 86% в сравнении с текущими решениями. Это достигается без значительного снижения точности, а в некоторых случаях даже улучшает качество вывода. Также были получены строгие теоретические гарантии на точность, достоверность и другие показатели качества. #################### ## Значимость #################### BARGAIN может быть применен в различных областях, где требуется высококачественная обработка данных, например, в системах ранжирования, моделировании и анализа текстовых данных. Он предоставляет значительные экономии стоимости, предоставляя гарантии на качество результатов. Более того, он может стать ключевым инструментом для улучшения эффективности и доступности больших моделей текстового обработки, что может повлиять на широкую область применений, включая AI-приложения и данные в реальном времени. #################### ## Выводы #################### BARGAIN может эффективно решать проблему компромисса между затратами и качеством в обработке тек