Another Turn, Better Output? A Turn-Wise Analysis of Iterative LLM Prompting

#### Контекст Large language models (LLMs) стали неотъемлемой частью многократных итераций в различных процессах, таких как генерация кода, решение математических задач и идейное творчество. Тем не менее, существуют ограничения в понимании того, как итерации влияют на качество выходных данных и как оптимально ими пользоваться. Недостаток отразиться на развитии систем, которые должны интеллектуально манипулировать терминами, сложными темами и техническими данными. Цель этого исследования — создать фреймворк, позволяющий измерить, когда итеративный процесс улучшает результаты, а когда же сопряжен с риском ухудшения. #### Метод Методология построения этого исследования базируется на разработке конкретного экспериментального протокола. Он включает в себя 12-тачные диалоги с LLM, применяя различные виды предложений — от неопределенных «улучшить» до целенаправленных, конкретных подсказок. Для каждого таска проводятся сложные вычисления для измерения качества продукта в зависимости от типа задачи. Используются три ключевых семейства метрик: измерение семантического движения в течение всего диалога, анализ изменений с шага к шагу, а также измерение изменения размера выходных данных. Этот подход позволяет измерить и сравнить поведение моделей в различных сценариях. #### Результаты На основе 12-тачных диалогов с LLM получены результаты, показавшие, что полученные выгоды от итерации зависят от конкретной области применения. В области идейного творчества и кодирования итерации приводят к существенным улучшениям ранних шагов, но поздние итерации могут привести к разгоранию погрешности и изменению целей. В области математических задач итерации, особенно те, которые интерпретируются как разъяснение, позволяют достичь повышения качества не только в получаемых результатах, но и в логике, которая используется в решении задачи. Отдельно отмечены доменные характеристики: идеи подвергаются более значительным изменениям с каждым шагом, код — только мелкие изменения, даже когда итерации продолжаются, а в математике стабильность решения может быть подрывана совершенно новым взглядом в последних шагах. #### Значимость Результаты имеют значительное значение для развития LLM в области многошаговых работ. Они позволяют измерить и сравнивать выгоды от итераций между моделями и задачами. Это значит, что итерации могут быть контролируемыми и стратегически использованы в различных сферах. Также, результаты помогают определять моменты, когда нужно переориентироваться или изменить стратегию. Это может быть полезно для развития новых моделей, которые будут учитывать эти наблюдения в своих работах. #### Выводы Ис