Lang2Lift: A Framework for Language-Guided Pallet Detection and Pose Estimation Integrated in Autonomous Outdoor Forklift Operation

## Контекст Логистический и строительный секторы сталкиваются с трудностями в автоматизации работ, связанных с обработкой поддонов, особенно в условиях внешней среды. Эти трудности включают в себя нестандартные размеры и качество поддонов, хаотичные окружающие условия и нехватку трудовых ресурсов. Такие условия способствуют высоким рискам для безопасности и низкой эффективности. Целью данной работы является разработка системы, позволяющей облегчить задачи по поддоновой грузоподъемности, используя естественный язык для определения и распознавания поддонов, а также их положения в пространстве. ## Метод Lang2Lift — это рам hayworkkфреймворк, который объединяет несколько современных технологий. Используется Florence-2 и SAM-2 для осуществления языкового связывания с разделением сцены, а FoundationPose для точного распознавания положения поддона в многоподдонных сценах. Результаты распознавания используются для построения маршрутов для автономного движения форклифта. Основной мотивацией является создание решения, которое может быть интегрировано в существующие системы логистики и строительства, обеспечивая безопасность и эффективность в работе. ## Результаты Работа проводилась на базе автономного форклифта ADAPT. На реальных данных была получена точность распознавания поддонов 0.76 mIoU. Эксперименты показали высокую устойчивость системы к различным условиям освещения и размерам поддонов. Анализ ошибок и времени работы подтвердил хорошую скорость реакции и устойчивость системы к различным обстоятельствам. Результаты демонстрируются в видео формате. ## Значимость Lang2Lift может быть применено в различных сферах, включая логистику, строительство и производство. Он облегчает работу операторов, повышает безопасность и эффективность работы. Также он может быть использован для решения проблемы нехватки трудовых ресурсов и улучшения производительности в условиях сложных окружающих условий. ## Выводы Разработанный фреймворк Lang2Lift продемонстрировал свою эффективность в автоматизации работы с поддонами в условиях внешней среды. Он может стать ключевым элементом в интеграции естественного языка в системы автоматизации. Будущие исследования будут сконцентрированы на увеличении точности распознавания и расширении области применения системы.