Provable Benefits of In-Tool Learning for Large Language Models

## Контекст В последние годы становится ясно, что языковые модели (LLMs) способны решать широкий спектр задач, включая контекстные задачи речевого понимания и программирования. Однако, несмотря на их мощь и универсальность, эти модели часто сталкиваются с проблемами в области фактического восприятия и переноса своих знаний на разные задачи. Одним из ключевых моментов является ограниченность возможности LLMs запоминать фактические данные, независимо от их размера. Это огранчает их полезность в ситуациях, требующих большого объема дополнительных данных, таких как аннотации, генерация кода, или различные виды моделирования. В этой статье мы рассматриваем возможности использования внешних инструментов (tool-use) вместо внутренней загрузки (in-weight learning) для улучшения производительности моделей, в частности, для решения задач фактического восприятия. ## Метод Подход, рассматриваемый в статье, основан на сравнении возможностей внутреннего запоминания (in-weight learning) и внешних инструментов для обработки фактических данных. Мы используем метод построения архитектур, который позволяет моделям использовать внешние инструменты для доступа к данным во время выполнения. Мы демонстрируем, что для построения модели, которая может работать с любым количеством данных, необходимо использовать внешние инструменты, так как внутренняя память модели ограничена в размере. Мы проводим эксперименты, показывающие, что модели, использующие внешние инструменты, показывают значительно лучшую производительность по сравнению с моделями, ограниченными внутренним запоминанием. Также мы доказываем, что для предобученных моделей (pretrained LLMs) обучение инструментальных способностей (tool-use) более эффективно, чем переучивание модели (fine-tuning) для внутренней загрузки данных. ## Результаты Мы проводим эксперименты с различными вариантами моделей, в том числе с предобученными моделями, и визуализируем результаты на разных тестах фактического восприятия. Мы проверяем возможность моделей на сохранение и использование фактических данных, используя различные конфигурации: только внутренний запоминающий механизм, только внешний инструмент, и комбинация обеих стратегий. Результаты показывают, что модели, использующие внешние инструменты, не только показывают значительно лучшую производительность, но и могут обрабатывать больше данных, не ограничиваясь конкретным размером внутренней памяти. Также мы показываем, что обучение инструментальных способностей (tool-use) для предобученных моделей дает значительный прирост в производительности и гибкости по сравнению с переучиванием модели (fine-tuning) для