Prompt-to-Product: Generative Assembly via Bimanual Manipulation

## Контекст Создание продуктов, состоящих из модулей или составных частей, является сложной задачей, требующей значительного времени и экспертных знаний. Она включает две главные стадии: проектирование модульного дизайна и реальное сборение продукта. На данный момент эти процессы требуют тщательного планирования и ручной работы, что ограничивает их доступность для широкой аудитории. Кроме того, существует недостаток систем, которые могли бы автоматически преобразовывать пользовательские идеи в физически существующие модульные продукты. Идея Prompt-to-Product заключается в том, чтобы адресовать эту проблему, обеспечив возможность автоматического преобразования пользовательских естественных запросов в полностью физически выполнимые модульные модели. Эта система адресует проблему доступности и упрощает процесс создания модульных продуктов, предоставляя новый подход к модульному проектированию и сборке. ## Метод Prompt-to-Product представляет собой автоматизированную цепочку процессов, начиная с разбора естественных языковых запросов и заканчивая физическим сборением продукта. Она состоит из нескольких ключевых этапов: 1. **Парсинг естественного языка**: Используется специальный лексический анализатор для извлечения требований к дизайну и модулям. 2. **Генерирование моделей**: Алгоритмы генеративного дизайна создают модульные модели, соответствующие запросу пользователя. 3. **Оптимизация**: Методы оптимизации гарантируют, что модели будут физически сборяемыми и удовлетворять требованиям. 4. **Реализация сборки**: Бимануальная роботизированная система выполняет реальный сборный процесс, используя LEGO-блоки в качестве модулей. Эта система автоматизирует не только дизайн, но и реальное сборение, чтобы сделать процесс более эффективным и доступным. ## Результаты В рамках экспериментов были проведены несколько испытаний для проверки эффективности Prompt-to-Product. Был разработан набор тестовых сценариев, содержащий различные модульные продукты, необходимые для сборки в соответствии с пользовательскими запросами. Результаты показали, что система успешно генерирует модели, которые не только физически сборяемы, но также соответствуют требованиям пользователей. Было проведено пользовательское исследование, в котором участники использовали Prompt-to-Product для создания моделей. Результаты показали, что пользователи смогли эффективно использовать систему, снижая время и усилия, необходимые для сборки модульных продуктов. Это демонстрирует высокую эффективность Prompt-to-Product в снижении барьеров для создания модульных продуктов. ## Значимость