Benchmark Dataset Generation and Evaluation for Excel Formula Repair with LLMs

## Контекст Использование Excel широко распространено во всех сферах жизнедеятельности, но особенно часто встречается в офисных программах и анализе данных. Несмотря на это, Excel представляет собой сложное инструмент, которое часто вызывает проблемы для новичков. Ошибки в формулах могут привести к непредвиденным результатам или ошибкам в работе программы, которые трудно выявить и исправить. Большинство существующих систем помощи в редактировании формул ограничены в способности обеспечить качественное объяснение и автоматическое исправление этих ошибок. Это создает спрос на разработку методик, которые могли бы облегчить работу с Excel и увеличить его доступность. Наша исследовательская группа решилась справиться с этим вызовом, разработав новую методику генерации данных для обучения и оценки моделей. ## Метод Мы предлагаем новую систему для генерации данных для бенчмарка, которая позволяет синтезировать высококачественные примеры ошибок в формулах Excel. Мы начинаем с маленького набора данных, полученных из онлайн-форумов, и используем технологии глубокого обучения, чтобы расширить его. Наша методика включает в себя несколько этапов: простое создание примеров, проверка их качества с помощью моделей текстового понимания, и выполнение проверок для убеждения в правильности решения. Наша система также позволяет проверить не только синтаксический корректность, но и семантическую верность решения. Благодаря этому, мы получили бенчмарк, содержащий 618 высококачественных примеров различных ошибок, связанных с формулами в Excel. Кроме того, мы разработали контекст-автоматизированную модель для исправления формул, которая использует технологии LLMs для разбора и исправления формул в контексте рабочего листа. ## Результаты Мы провели ряд экспериментов, используя нашу новую модель и другие модели текстовых моделей, такие как GPT-4, Phi-3 и Mistral. Мы провели эксперименты с использованием наших выборок для проверки качества, точности и полноты решений. Модель, которую мы предлагаем, показала лучшие результаты на новом бенчмарке, сравниваясь с другими моделями. Мы также проверили качество наших данных с помощью ручного анализа, что позволило нам понять, какие ошибки и функции встречаются чаще всего в Excel. ## Значимость Наша работа имеет значительные приложения в области обучения и автоматизации процесса исправления ошибок в Excel. Мы предлагаем новый подход к генерации данных для обучения моделей, который может быть применен для разработки аналогичных бенчмарков для других низкоуровневых языков программирования. Мы также выделили преимущества нашей модели в том, что она может использовать