Scaling Up Active Testing to Large Language Models

## Контекст Active testing является эффективным подходом для тестирования моделей с минимальным потреблением меток, основываясь на стратегическом выборе данных для тестирования. Однако существуют проблемы, связанные с высокими вычислительными затратами, которые ограничивают производительность этого подхода при работе с большими моделями, такими как большие языковые модели (LLM). Наша мотивация заключается в развитии алгоритмов, позволяющих успешно применять active testing к LLMs, обеспечивая снижение затрат на вычисления и улучшение точности полученных результатов. Это позволит повысить эффективность тестирования и упростить процесс оценки больших моделей. ## Метод Мы предлагаем новую методологию, которая использует in-context learning для эффективного построения суррогатной модели, которая не требует обновления в процессе тестирования. Эта модель может быть меньшего размера, чем целевая LLM, что экономит вычислительные ресурсы. Более того, наш подход позволяет принимать решения о сборе данных без вычислений предсказаний целевой модели, а также включает в себя оценку ошибок в реальном времени, чтобы поддерживать высокую точность тестирования. Эти методы объединены в инновационную архитектуру, которая эффективно снижает затраты на вычисления и повышает точность тестирования LLMs. ## Результаты Мы проводили эксперименты с LLMs различных размеров, используя наш подход и сравнивая его с существующими стандартными методами тестирования. Наши результаты показали, что мы можем достичь более точных оценок поведения модели, используя значительно меньший объем данных. В частности, нашу технику позволяет уменьшить затраты на вычисления при оценке LLMs, не ухудшая качество результатов. Мы также проверили нашу модель в условиях реального применения и подтвердили её высокую эффективность в реальных сценариях. ## Значимость Наш подход может быть применен в различных областях, где необходимо эффективно тестировать большие модели с минимальными затратами на вычисления. Он предоставляет существенные преимущества по сравнению с традиционными методами, такими как уменьшение времени тестирования, сокращение потребления ресурсов и повышение точности оценки моделей. Это может привести к более эффективной оценке языковых моделей в промышленных приложениях, упрощению процесса разработки новых моделей и повышению экономичности использования ресурсов в области тестирования и оценки моделей. ## Выводы Мы успешно развили методику для успешного scale-а active testing к большим языковым моделям. Наш подход, использующий in-context learning для эффективного построения суррогатных моделей, позволяет снизить вычислительные затраты и улучшить точность те