Cooperative Design Optimization through Natural Language Interaction
2508.16077v1
cs.HC, cs.AI, cs.LG
2025-08-26
Авторы:
Ryogo Niwa, Shigeo Yoshida, Yuki Koyama, Yoshitaka Ushiku
Резюме на русском
----------------------------------------------------
## Контекст
----------------------------------------------------
Дизайнеры часто сталкиваются с проблемой оптимизации проектов, который требует учета множества зависимых параметров и ограничений. Оптимальная организация дизайн-процесса позволяет повысить качество результатов, но часто требует многократных циклов итеративного тестирования и творческой экспериментации. Этот процесс требует больших затрат времени и усилий, так как дизайнеры должны руководствоваться не только техническими параметрами, но и своим восприятием и потребностями пользователей.
Существуют системы, основанные на методах оптимизации, например, Bayesian Optimization, которые могут рекомендовать дизайнеру, какие параметры нужно изменить, чтобы повысить оптимальность решения. Однако эти системы не включают дизайнера в процесс оптимизации и не предоставляют возможность человеческого вмешательства. Это ограничивает возможность дизайнера оценить решение на этапе его формирования, что влияет на его продуктивность и счастье от процесса создания.
## Метод
----------------------------------------------------
Мы предлагаем фреймворк для кооперативного дизайна оптимизации, который интегрирует методы систем-лидирующей оптимизации с технологией Large Language Models (LLMs). Это позволяет обеспечить более естественный интерактивный процесс, где дизайнер может взаимодействовать с системой через естественный язык, а не только получать рекомендации.
Методология основывается на следующих этапах:
1. **Интеллектуальная модель оптимизации**: мы используем LLM для понимания естественного языка и формирования оптимальных запросов к системе оптимизации.
2. **Системоориентированная оптимизация**: методы, такие как Bayesian Optimization, определяют оптимальные параметры в высоком измерительном пространстве.
3. **Интерактивная кооперация**: дизайнер может взаимодействовать с системой в течение процесса, внося изменения или получая рекомендации в человеческом языке.
4. **Оценка результатов**: мы проводим эксперименты, чтобы сравнить нашу методику с другими подходами по оптимальности, удобству и эффективности.
## Результаты
----------------------------------------------------
Эксперименты проводились на реальных данных и визуальных задачах дизайна. Мы сравнили нашу методику с системой-лидером и ручным дизайном. Наши результаты показали, что:
- **Пользовательский вмешательство**: наш фреймворк дает более высокую степень управления, чем система-лидера, позволяя дизайнеру точнее адаптировать решение под свои потребности.
- **Показатели оптимизации**: метод нашего фреймворка показал повышенную эффективность в сравнении с ручным дизайном и сочетал более низкий уровень затрат усилий в сравнении с существующим кооперативным методом.
Abstract
Designing successful interactions requires identifying optimal design
parameters. To do so, designers often conduct iterative user testing and
exploratory trial-and-error. This involves balancing multiple objectives in a
high-dimensional space, making the process time-consuming and cognitively
demanding. System-led optimization methods, such as those based on Bayesian
optimization, can determine for designers which parameters to test next.
However, they offer limited opportunities for designers to intervene in the
optimization process, negatively impacting the designer's experience. We
propose a design optimization framework that enables natural language
interactions between designers and the optimization system, facilitating
cooperative design optimization. This is achieved by integrating system-led
optimization methods with Large Language Models (LLMs), allowing designers to
intervene in the optimization process and better understand the system's
reasoning. Experimental results show that our method provides higher user
agency than a system-led method and shows promising optimization performance
compared to manual design. It also matches the performance of an existing
cooperative method with lower cognitive load.
Ссылки и действия
Дополнительные ресурсы: