Cooperative Design Optimization through Natural Language Interaction

2508.16077v1 cs.HC, cs.AI, cs.LG 2025-08-26
Авторы:

Ryogo Niwa, Shigeo Yoshida, Yuki Koyama, Yoshitaka Ushiku

Резюме на русском

---------------------------------------------------- ## Контекст ---------------------------------------------------- Дизайнеры часто сталкиваются с проблемой оптимизации проектов, который требует учета множества зависимых параметров и ограничений. Оптимальная организация дизайн-процесса позволяет повысить качество результатов, но часто требует многократных циклов итеративного тестирования и творческой экспериментации. Этот процесс требует больших затрат времени и усилий, так как дизайнеры должны руководствоваться не только техническими параметрами, но и своим восприятием и потребностями пользователей. Существуют системы, основанные на методах оптимизации, например, Bayesian Optimization, которые могут рекомендовать дизайнеру, какие параметры нужно изменить, чтобы повысить оптимальность решения. Однако эти системы не включают дизайнера в процесс оптимизации и не предоставляют возможность человеческого вмешательства. Это ограничивает возможность дизайнера оценить решение на этапе его формирования, что влияет на его продуктивность и счастье от процесса создания. ## Метод ---------------------------------------------------- Мы предлагаем фреймворк для кооперативного дизайна оптимизации, который интегрирует методы систем-лидирующей оптимизации с технологией Large Language Models (LLMs). Это позволяет обеспечить более естественный интерактивный процесс, где дизайнер может взаимодействовать с системой через естественный язык, а не только получать рекомендации. Методология основывается на следующих этапах: 1. **Интеллектуальная модель оптимизации**: мы используем LLM для понимания естественного языка и формирования оптимальных запросов к системе оптимизации. 2. **Системоориентированная оптимизация**: методы, такие как Bayesian Optimization, определяют оптимальные параметры в высоком измерительном пространстве. 3. **Интерактивная кооперация**: дизайнер может взаимодействовать с системой в течение процесса, внося изменения или получая рекомендации в человеческом языке. 4. **Оценка результатов**: мы проводим эксперименты, чтобы сравнить нашу методику с другими подходами по оптимальности, удобству и эффективности. ## Результаты ---------------------------------------------------- Эксперименты проводились на реальных данных и визуальных задачах дизайна. Мы сравнили нашу методику с системой-лидером и ручным дизайном. Наши результаты показали, что: - **Пользовательский вмешательство**: наш фреймворк дает более высокую степень управления, чем система-лидера, позволяя дизайнеру точнее адаптировать решение под свои потребности. - **Показатели оптимизации**: метод нашего фреймворка показал повышенную эффективность в сравнении с ручным дизайном и сочетал более низкий уровень затрат усилий в сравнении с существующим кооперативным методом.

Abstract

Designing successful interactions requires identifying optimal design parameters. To do so, designers often conduct iterative user testing and exploratory trial-and-error. This involves balancing multiple objectives in a high-dimensional space, making the process time-consuming and cognitively demanding. System-led optimization methods, such as those based on Bayesian optimization, can determine for designers which parameters to test next. However, they offer limited opportunities for designers to intervene in the optimization process, negatively impacting the designer's experience. We propose a design optimization framework that enables natural language interactions between designers and the optimization system, facilitating cooperative design optimization. This is achieved by integrating system-led optimization methods with Large Language Models (LLMs), allowing designers to intervene in the optimization process and better understand the system's reasoning. Experimental results show that our method provides higher user agency than a system-led method and shows promising optimization performance compared to manual design. It also matches the performance of an existing cooperative method with lower cognitive load.

Ссылки и действия