Symbolic Graphics Programming with Large Language Models

## Контекст Программирование символических графических программ (SGPs) — это область, в которой целью является генерировать программы, которые рендерятся в визуальное содержимое. Это задача значимой технической и научной значимости, так как она позволяет оценить власти моделей языка в понимании и выражении визуального контекста. Ранее, большие языковые модели (LLMs) доказали свою эффективность в задачах программного синтеза, но их потенциал в генерации SGPs, которые требуют точного визуального представления, остается мало исследованным. Однако именно это возможность генерировать визуально точные и интерпретируемые программы делает SGPs ценным инструментом для изучения кросс-модального понимания LLMs. Этот аспект был исследован в работе "Symbolic Graphics Programming with Large Language Models", где авторы рассматривают возможности LLMs в генерации SGPs и предлагают методы, улучшающие их качество и точность. ## Метод Методология исследования основывается на создании комплексного бенчмарка, SGP-GenBench, который оценивает три ключевые аспекта: точность в описании объектов, сцен, и связи атрибутов. Были использованы различные модели языка, включая общедоступные и проприетарные, чтобы оценить их эффективность в жизнеобразных условиях. Для улучшения генерации SGPs был предложен метод, объединяющий развитие графических программ с подкреплением методами обучения. Решения включают в себя: - **Формат-валидацию SVG**: гарантирует, что генерируемые программы могут быть правильно рендерины. - **Кросс-модальная оценка**: использование визуальных моделей, таких как SigLIP и DINO, чтобы выравнивать текстовые описания и рендеринг. ## Результаты В ходе экспериментов было установлено, что модели с открытым исходным кодом проявляют значительные ограничения в сравнении с проприетарными моделями. Решение, основанное на RL, позволило повысить качество генерации SVG до уровня, сопоставимого с лидирующими решениями. Особенно выдающимися результатами оказались улучшения в композиции сцен, точности в управлении объектами и контекстной целостности. ## Значимость Результаты демонстрируют, что LLMs могут использоваться для точной генерации SGPs, что имеет большое значение в таких областях как визуальное описание, графическое дизайн и визуализация данных. Также, это открывает пути для исследований в кросс-модальном понимании, так как SGPs могут служить интерпретируемым способом изучения визуальных синтеза LLMs. ## Выводы Выводы авторов гласят, что метод RL с верификацией реверенса значительно повышает качество гене