Clotho: Measuring Task-Specific Pre-Generation Test Adequacy for LLM Inputs

## Контекст В последние годы роль крупных языковых моделей (LLMs) в программном обеспечении неуклонно растет. Они применяются в широком круге задач, включая естественное языковое понимание, программный анализ и генерацию. Однако тестирование LLMs на заданную задачу остается нетривиальной и дорогостоящей задачей. Особенно проблематична проверка качества ввода (input adequacy) для LLMs, которая должна отражать специфику задачи. Традиционные меры доверия или неопределенности часто требуют полного вывода модели, что увеличивает стоимость тестирования. Для улучшения этого процесса необходимо разработать метод, который предварительно оценивал качество ввода относительно задачи, идеально — до начала генерации. ## Метод Мы предлагаем **CLOTHO** — метод оценки качества ввода, ориентированный на конкретную задачу и работающий до начала генерации ответов модели. CLOTHO основывается на **Gaussian Mixture Model (GMM)**, которая адаптивно определяет наиболее информативные случаи для ручного обозначения. Выбор этих случаев осуществляется на основе широкой выборки необъявленных входов для задачи. Алгоритм CLOTHO ведет себя следующим образом: после инициализации на основе выборки, он может оценивать вероятность неудачи для других входов, не требуя полного вывода модели. Это позволяет эффективно структурировать тестирование, оптимизировав набор входов для последующей проверки. ## Результаты Мы провели эксперименты на восьми задачах с использованием трех LLMs с открытыми весами. Метод CLOTHO продемонстрировал высокую точность в предсказании неудач, достигнув ROC-AUC 0.716 при оценке только 5.4% от общего количества входов. Мы также провели сравнение CLOTHO с другими методами оценки неопределенности, показав, что он эффективнее раннего определения неудач. Кроме того, мы продемонстрировали, что классификаторы, обученные на открытых моделях LLMs, эффективно переводятся и на подходящие задачи при использовании проприетарных моделей. ## Значимость CLOTHO может применяться в различных областях, где LLMs применяются для задач, требующих высокого качества ввода. Он позволяет экономить время и ресурсы, делая тестирование более эффективным. Наши результаты показывают, что CLOTHO может значительно увеличить число определяемых неудачных входов, обеспечивая повышенное качество теста. Это делает его привлекательным для использования в контексте тестирования новых LLMs, в том числе в сценариях, где используются закрытые модели. ## Выводы Результаты наших исследований показали, что CLOTHO эффективно оценивает качество ввода до начала генерации, позволяя экономить ресурсы. Мы также доказали, что модели, обученные на открытых моделях LLMs