## Контекст Определение 3D-положения дальних объектов из последовательности камерных замеров и сегментационных последовательностей является ключевым заданием в ситуациях, требующих высокой точности и надежности, например, в мониторинге лесных пожаров при помощи дронов. Традиционные подходы, такие как дептаст методы или трехмерная реконструкция сцены, часто оказываются не эффективными в условиях нестабильного изображения, высоких требований к вычислительным ресурсам или ограниченной доступности информации о параметрах камеры. Эти ограничения поднимают вопросы о создании более универсальных и ресурс-эффективных парадигм для решения таких задач. ## Метод Предложенный подход основывается на использовании фильтра Захара при оценке частотных свойств камеры. Данная методология позволяет использовать значения изображений сегментации и положения камеры для определения 3D-положений объектов. Алгоритм работает в двух сценариях: одной и множественных целей. Основные элементы метода включают в себя интеграцию потока частиц для моделирования распределения вероятностей положения объекта в трехмерном пространстве. Эта модель гибко адаптируется к различным сценариям, включая те, которые требуют оптимизации вычислительного бюджета. ## Результаты Исследования проводились на основе симуляционных данных и реальных последовательностей изображений с дрона, полученных с использованием глобальной системы навигации по satellite (GNSS) для определения положения камеры. Результаты показали, что фильтр Захара эффективно решает задачу определения 3D-положений дальних объектов, даже при низком качестве изображений и ограниченной доступности ресурсов. Этот подход продемонстрировал высокую точность и надёжность, оказавшуюся критично важной в задачах мониторинга и слежения. ## Значимость Предлагаемый подход может быть использован в многочисленных прикладных областях, включая мониторинг лесных пожаров, обзорные задачи поиска-и-спасения, а также ситуации, требующие реального времени и эффективности в тяжёлых условиях. Он предоставляет значительные преимущества перед существующими методами, такими как высокая гибкость и независимость от определённых моделей детекции. Данный подход также открывает новые возможности для эффективного использования подходов машинного зрения в трудновыполнимых условиях. ## Выводы Результаты экспериментов подтверждают эффективность использования фильтра Захара для решения проблем 3D-локализации дальних объектов в условиях семантической сегментации и шумных камерных данных. Б

#### Контекст LiDAR (Light Detection and Ranging) является ключевым компонентом систем автономного управления транспортным средством (AD), обеспечивая точные и детальные 3D-репрезентации окружающей среды. Однако высокая стоимость LiDAR ограничивает его широкое применение в коммерческих автомобилях. В ответ на это, альтернативные подходы, такие как использование 4D-радаров и искусственных нейронных сетей, были разработаны для создания LiDAR-подобных точечных облаков (PC) с помощью 4D-данных радаров. Эти подходы стремятся решить проблему доступности LiDAR, повысить безопасность на дорогах и улучшить сценарное понимание. Несмотря на прогресс, существуют ограничения в качестве точечных облаков, сгенерированных более простыми моделями. Это мотивирует рассмотрение более сложных моделей сегментации, которые могут повысить качество точечных облаков и, в свою очередь, улучшить производительность систем автономного управления. #### Метод Мы используем модульную архитектуру, состоящую из **твердой модулярной сети сегментации (SMS)**, которая использует 2D-сверточную нейронную сеть (CNN) как основу, и **сети временной корреляции (TCN)** для повышения временной корреляции точечных облаков. Для обучения и оценки используется набор данных RaDelft, содержащий сочетание 4D-данных радара и сверточных фичей LiDAR. Мы выполняем эксперименты с различными моделями сегментации, включая простые и более высокомощные архитектуры, чтобы определить оптимальную модель для повышения качества точечных облаков. В качестве метрик используются точность распознавания объектов (mAP) и средняя точность распознавания (mAR). #### Результаты Проведенные эксперименты показали, что сети с более высоким количеством параметров могут ухудшить качество точечных облаков из-за переобучения и неэффективного использования ресурсов. Однако оптимальные модели сегментации могут увеличить точность распознавания объектов на 23.7% в сравнении со стандартными подходами, основанными на простых моделях. Кроме того, временная сеть TCN показала существенное улучшение во временной корреляции точечных облаков, что может улучшить сценарное понимание в системах AD. #### Значимость Наши результаты показывают, что выбор оптимальной модели сегментации и использование TCN могут значительно улучшить качество точечных облаков, сгенерированных 4D-радаром, и, следовательно, повысить производительность систем AD. Этот подход может быть применен в различных сценариях, таких как сценарное понимание, обнаружение объектов и слежение за перемещением объектов, чтобы повысить безопасность и эффективность автомобилей с AD. Будущие исследования будут нап

## Контекст Развитие 3D-визуальных сенсоров позволяет создавать более точные и эффективные представления о трехмерной среде, необходимым для продвижения искусственного зрения в области робототехники и виртуальной, расширенной и увеличенной реальности (XR). Однако возникают сложности в достижении точности и эффективности при оценке глубины, что требует развития новых методов. Настоящая работа посвящена розработке модели, которая оптимально объединяет в себе подходы мониторинга мобильности и оценки глубины для получения результатов с высокой точностью. ## Метод Модель VIMD (Monocular Visual-Inertial Motion and Depth Estimation) основывается на нейросетевой архитектуре, которая использует концепцию MSCKF (Multi-State Constraint Kalman Filter). Алгоритм построен на использовании многомерной информации из видеопотока и инерционных датчиков, чтобы рефинить перпексивную масштабированность кадров. Метод работает в восьми этапах: сбор видеоданных, обработка инерционных сенсоров, инициализация модели, оценка глубины, итеративное исправление масштаба, обновление модели и вычисление параметров. Эта модель может интегрироваться с различными нейросетевыми структурами для оценки глубины. ## Результаты Использовались два тренировочных набора данных: TartanAir и VOID. Эксперименты показали, что VIMD достигает высокой точности и прочности даже при оценке глубины с очень малой плотностью точек (10-20 точек на кадр). Модель показала значительную улучшенную стабильность в автономных сценах и обнаружила способность нулевого шага для адаптации к новым условиям (AR Table dataset). ## Значимость Разработанная модель VIMD может применяться в робототехнике, XR и виртуальной реальности для визуальной оценки глубины и позиционирования. Она обеспечивает более точную и ресурсосберегающую систему, которая может быть применена в реальном времени. Благодаря своей модульной структуре и высокой прочности, VIMD подходит для различных сценариев, включая сценарии с ресурсом-ограниченными устройствами. ## Выводы Выводы подтверждают высокую эффективность VIMD в точной и стабильной оценке глубины, даже при минимальных данных. Это открывает путь для применения VIMD в реальном времени в сложных и многослойных средах. Будущие исследования будут сфокусированы на повышении модели путем интеграции дополнительных сенсоров и улучшении системы обучения.

## Контекст В последние годы, Embodied AI стали возможностью для агентов, выполняющих комплексные задачи и адаптирующихся к различным окружениям. Однако, применение таких агентов в реальных сценариях, таких как домашние окружения, по-прежнему сложным и вызовом. Одним из ключевых проблемов является моделирование индивидуальных предпочтений и поведений людей. Для решения этой проблемы, мы предлагаем PersONAL (PERSonalized Object Navigation And Localization) — комплексный бенчмарк, который рассматривает вопросы персонализации в Embodied AI. Агенты должны выполнять задачи, такие как поиск и доставка предметов, относящихся к конкретному пользователю, посредством естественного общения. ## Метод PersONAL включает более 2000 высококачественных эпизодов, размещенных в 30+ фотореалистичных домах из HM3D датасета. Каждый эпизод содержит естественно-языковую сценарную описание, связывающую предметы с их владельцами (например, "найди рюкзак Лилли"). Бенчмарк поддерживает две режима оценки: (1) активное навигирование в новых окружениях и (2) гранулярное размещение предметов в уже изученных сценах. Это позволяет изучить способность агентов различать семантику, связанную с каждым пользователем. ## Результаты Эксперименты с текущими состояниями технологий показали существенное расстояние между их результатами и поведением человека. Агенты сталкиваются с трудностями в распознавании индивидуальных предпочтений и воспроизведении пользовательской семантики. Например, агенты столкнулись с проблемами в том, чтобы распознать и привязать объекты к их владельцам в новых сценах, что демонстрирует необходимость более сложных моделей, умеющих обрабатывать индивидуальные данные. ## Значимость PersONAL открывает новые перспективы для применения в различных областях, включая робототехнику, ассистирующие роботы и интеллектуальные дома. Улучшение моделей, способных принимать решения на основе индивидуальных предпочтений, может обеспечить более эффективное взаимодействие с людьми и расширить возможности использования агентов в реальном мире. ## Выводы PersONAL показывает, что вопрос персонализации в Embodied AI все еще остается открытым и требует дальнейшего исследования. Будущие работы будут сфокусированы на развитии моделей, которые будут умеет реагировать на уникальные особенности каждого пользователя, а также на расширении вычислительных мощностей для поддержки более сложных сценариев.

## Контекст В статье рассматривается роль видеомоделей в области общего понимания визуального мира. Несмотря на то, что Large Language Models (LLMs) стали синонимом универсального понимания языка, видеомодели оставались ограниченными в своих применениях. В последнее время видеомодели начали предпринимать похожие шаги к универсальному пониманию, воспринимая и моделируя визуальные данные. Однако их потенциал в области целенаправленного моделирования визуальных задач до сих пор остается неясным. Наша модель, Veo 3, демонстрирует замечательные возможности в решении задач, которым не было явной подготовки. Этот поиск показывает, что видеомодели могут стать генеральными моделями для визуального понимания, аналогично тому, как LLMs стали генеральными моделями для языкового понимания. ## Метод Мы использовали модель Veo 3, тренированную на данных видео, чтобы протестировать ее возможности в решении различных задач визуального понимания. Наша методика включала использование тестов, в которых модель должна была решать задачи, для которых она не была явно обучена. Тестов включали визуальное разбиение объектов, определение рельефа, редактирование изображений, понимание физических свойств, распознавание аффордансов объектов, моделирование использования инструментов и визуальную резолюцию. Мы сравнивали результаты с другими моделями и экспериментами, чтобы оценить эффективность Veo 3 в этих задачах. ## Результаты Модель Veo 3 демонстрировала возможности решения широкого спектра задач по визуальному пониманию, которые не были явно заложены в ее обучение. Например, она смогла определить объекты, определить рельеф и физические свойства, а также решать задачи, такие как мазе и симметрия. Особенно заметны явления нулевого запуска (zero-shot learning), когда модель смогла решать задачи, не имея предварительной информации об их решении. Наши результаты также показывают, что Veo 3 имеет потенциал для моделирования визуальных задач в целом, что делает её эффективной в различных визуальных исследованиях. ## Значимость Наши результаты показывают, что видеомодели, использующие глубокое обучение на видеоданных, могут быть применены во многих областях визуального понимания, основываясь на их возможности решать задачи, не будучи явно обученными к ним. Это демонстрирует рост видеомоделей как крепких, генеральных моделей для визуального понимания. Помимо этого, Veo 3 демонстрирует возможность видеомоделей для решения задач, которые требуют визуальной разборки и моделирования. Это может быть применено в различных областях, таких как поиск изображений, анализ медиа,

## Контекст Определение точной позиции с помощью визуальной системы локализации является ключевым аспектом многих приложений, включая геодезические операции, осмотр больших территорий и поисковые и спасательные операции. Однако, эти системы часто сталкиваются с ограничениями, такими как отсутствие интернета или поддержки систем навигации глобальной спутниковой системы (GNSS/GPS). Доступ к тяжелым 3D-моделям или большим базам изображений также может быть невозможен. Несмотря на это, мало уделяется внимания возможности использования ортогональной геоданных, которая представляет собой легковесное и нарастающее решение, доступное благодаря бесплатным релизам от правительственных организаций, таких как Европейский Союз. ## Метод Мы предлагаем OrthoLoC — первую большую выборку данных, содержащую 16 425 изображений с дронов из Германии и США с несколькими модальностями. Этот набор данных учитывает переходы между изображениями дронов и геоданными спутниковой системы. Двойной структурой набора данных, где каждый образ сочетается с данными геолокации, позволяет отдельно оценивать производительность локализации и калибровки. Мы исследуем влияние переходов между доменами, разрешений изображений и совисибильности на точность локализации. Кроме того, мы предлагаем новую методику AdHoP, которая может быть интегрирована с любым методитером соответствия для улучшения соответствия и сокращения ошибок трансляции. ## Результаты Мы проводим подробное тестирование нашего подхода в различных условиях, включая различные резолюции изображений и уровни совисибильности. Наши результаты показывают, что AdHoP не только улучшает соответствие изображений и геоданных, но и существенно сокращает ошибки трансляции. Это позволяет повысить точность локализации и улучшить калибровку в сложных условиях. ## Значимость Благодаря своей легковесной структуре и доступности, OrthoLoC может быть применён в области геодезии, поисковых и спасательных операций, а также в других сферах, где требуется точная локализация в режиме оффлайн. Этот подход предоставляет оптимальное соотношение между производительностью и ресурсоемкостью. Мы также показываем, что AdHoP может быть интегрирован в существующие системы, чтобы повысить их производительность. ## Выводы Мы представили большую выборку данных OrthoLoC, которая обеспечивает новый подход к визуальной локализации и калибровке в сложных средах. Мы также представили новую методику AdHoP, которая может быть интегрирована в любую систему для улуч

## Контекст Проблема реконструкции динамических людей вместе с статическими сценами из монокурсорных видео остается сложной, особенно при высокой скорости движения, когда RGB-кадры страдают от модуляции скорости. В этой области событийные камеры предлагают существенные преимущества, такие как микросекундная темпоральная разрешаемость, делая их привлекательными для динамической реконструкции людей. Наша работа привлекла внимание к моделированию людей и сцен в одной модели с использованием 3D-Gaussian Splatting, чтобы объединить моделирование движущихся людей и статических сцен. Мы предлагаем фреймворк, который может легко использоваться для моделирования людей и сцен в одной модели, что выгодно отличает его от существующих подходов. ## Метод Мы предлагаем новую модель, использующую 3D-Gaussian Splatting для реконструкции людей и сцен. Мы используем 3D-Gaussians для представления как движущихся людей, так и статических сцен. Для движущихся людей Gaussians деформируются для анимации, в то время как для статических ничего не меняется. Для улучшения качества реконструкции в результате высокой скорости движения, мы предлагаем событийно-гидродинамический потерий, который сравнивает изменения яркости между последовательными визуализациями с событиями. Это позволяет улучшить локальную точность в круто движущихся областях. Наш фреймворк упрощает процесс моделирования людей и сцен в одной модели, что делает его более эффективным по сравнению с другими подходами. ## Результаты Мы проверили нашу модель на двух наборах данных: ZJU-MoCap-Blur и MMHPSD-Blur. Наши результаты показали значительные достижения в PSNR, SSIM и понижении LPIPS, особенно для высококонтрастных работ. Мы сравнили нашу модель с существующими подходами, и показали, что наша модель превосходит их во всех аспектах. Эти результаты подтверждают эффективность нашего подхода в моделировании динамических людей и сцен с использованием событийных камер. ## Значимость Наш подход может быть применен в различных областях, таких как виртуальная реальность, анимация, и динамическая реконструкция движущихся объектов. Он предлагает несколько преимуществ над существующими подходами, включая улучшенную точность, упрощенную обработку, и более эффективное моделирование движущихся людей и сцен. Это может иметь значительное влияние в развитии технологий, таких как VR/AR, системы слежения и динамическая моделирования. ## Выводы Мы представили новую модель для реконструкции людей и сцен с использованием событийных камер. Мы показали, что наш подход превосходит существующие подходы в

#### Контекст Underwater stereo depth estimation является ключевым инструментом для робототехнических задач, включая навигацию, инспекцию и картирование подводных объектов. Она обеспечивает точное трёхмерное геометрическое построение с использованием дешёвых пассивных камер, избегая скольжения с масштаба, которое характерно для монокулярных методов. Несмотря на эти преимущества, существующие подходы сталкиваются с двумя ключевыми проблемами: (i) эффективной адаптацией больших визуальных фундаментальных моделей к подводной среде с ограниченным количеством меток данных, и (ii) совместной интеграцией глобально гармоничных, но scale-ambiguous монокулярных приближений с локально точными, но photometrically fragile stereo-соотношениями. Исследовательская группа AIGeeks призвана развить эффективные технические решения для этих проблем. #### Метод Для решения вышеперечисленных проблем, мы предлагаем StereoAdapter - параметр-эффективный self-supervised фреймворк, который интегрирует LoRA-adapted monocular foundation encoder с рекуррентным stereo refinement module. Модель LoRA-адаптирована для эффективного выбора ранга и предварительно обучается на synthetic UW-StereoDepth-40K датасете, чтобы улучшить устойчивость к различным подводным условиям. Эта архитектура представляет собой современное решение для обеспечения точности и устойчивости в underwater stereo depth estimation. #### Результаты Мы провели эксперименты на симулированных данных TartanAir и реальных данных SQUID. Наша модель StereoAdapter показала улучшение в 6.11% на TartanAir и 5.12% на SQUID по сравнению с текущими лучшими решениями. Реализация на практике с помощью BlueROV2-робота демонстрирует высокую устойчивость нашего подхода в реальных подводных условиях. Эти результаты подтверждают эффективность StereoAdapter в решении ключевых проблем underwater stereo depth estimation. #### Значимость StereoAdapter может применяться в многообразных подводных задачах, включая навигацию, инспекцию и картирование подводных объектов. Он предоставляет эффективные, точные и устойчивые трёхмерные построения, которые могут повысить качество и надежность подводных роботов. Этот подход также открывает новые возможности для улучшения многих других технологий, таких как autonomous underwater vehicles (AUVs) и underwater mapping. #### Выводы Мы представили StereoAdapter - эффективный, self-supervised фреймворк для underwater stereo depth estimation. Мы использовали LoRA-adapted monocular foundation encoder, рекуррентный stereo refinement module и synthetic UW-StereoDepth-40K датасет для тренировки. Наши результаты показали значительные улучшения по сравнению с текущими методами. Будущие исследования будут фокусироваться на улучшении скорости работы модели и её применении в более сложных подводных средах.

#### Контекст Механизмы понимания сцены в реальном времени являются ключевым компонентом автономных систем, таких как роботы и автомобили. Одним из важных аспектов понимания сцены является прогнозирование трехмерной оккупантности (3D occupancy prediction), которое позволяет системам визуально оценивать пространство вокруг себя. Несмотря на то, что существуют методы, основанные на гауссовых представлениях для решения этой задачи, они сталкиваются с проблемами, такими как недостаточное взаимодействие между разными представлениями, а также недостаточная консистентность в процессе расчета в течение времени. Эти ограничения влияют на точность и надежность решений в сценах, где важно учитывать динамику и пространственное распределение объектов. #### Метод Мы предлагаем Spatial-Temporal Gaussian Splatting (ST-GS) — новую архитектуру для решения задачи 3D occupancy prediction. Архитектура ST-GS основывается на идеях гауссовых представлений, но включает в себя две основные усовершенствования: (1) **двухрежимный механизм внимательности**, который усиливает пространственные взаимодействия между разными представлениями, и (2) **геометрически ориентированная схема фу mergersion**, которая использует исторический контекст для улучшения продолжительности в сцене. Основой ST-GS лежит особая стратегия агрегации, которая позволяет гауссовым моделям более эффективно обрабатывать данные, имеющиеся в разных визуальных режимах. #### Результаты Мы проверили ST-GS на б BENCHMARK nuScenes для прогнозирования трехмерной оккупантности. Результаты показали, что наша модель не только превосходит существующие методы на основе гауссовых представлений, но и демонстрирует значительно более высокую консистентность в процессе временного прогнозирования. Эксперименты также доказали, что ST-GS способна эффективно решать задачи, требующие точного взаимодействия с объектами в пространстве и времени, что является ключевым для автономных систем. #### Значимость ST-GS может применяться в различных областях, в том числе в автономных системах, виртуальной реальности, и даже в играх. Особый потенциал открывается в сценах, где необходимо учитывать динамику объектов и корректно оценивать их пространственную оккупантность. Наша модель предоставляет значительные преимущества в точности и консистентности, что может улучшить качество прогнозов и снизить риски в автономных системах. #### Выводы Мы представили Spatial-Temporal Gaussian Splatting (ST-GS), продемонстрировав ее эффективность в 3D occupancy prediction. Наши результаты показали, что ST-GS превосходит существующие методы, предоставляя более высокую точность и консистентность. Мы планируем даль

## Контекст Область исследования заключается в автоматизированных технологиях для создания урбанистических цифровых двойников (твиннингов). Такие цифровые модели городов являются ключевым элементом в планировании, мониторинге и управлении городами, а также в цифровой дигитализации строительства. Несмотря на развитие технологий, такие как LiDAR (Light Detection and Ranging) и 3D-семантические модели городов, аккуратная регистрация точечных облаков LiDAR с городскими 3D-моделями остается проблемой. Это особенно актуально на уровне отдельных зданий, где уточненная регистрация позволяет выполнять такие задачи, как измененность мониторинга и моделирование. Одной из проблем является возрастающая неопределенность в семантических 3D-моделях городов, особенно на уровне детализации 2 (LoD2). Люди, работающие в области цифрового моделирования городов, испытывают необходимость в методах, которые могут эффективно учитывать эту неопределенность. ## Метод Предложенный метод, L2M-Reg, является первым, который адаптивно учитывает неопределенность в семантических 3D-моделях LoD2 для точной регистрации точечных облаков LiDAR и городских моделей на уровне отдельных зданий. Он состоит из трех этапов: 1) **Установка надежных соответствий плоскостей**: Метод идентифицирует ключевые плоскости в LiDAR-облаке и модели здания, чтобы установить надежные соответствия. 2) **Псевдо-плоскость-ограниченная Gauss-Helmert-модель**: Метод использует эти соответствия для строительства разумной псевдо-плоскости, которая помогает ограничивать трансляцию вертикальной. 3) **Адаптивная оценка горизонтальной и вертикальной трансляции**: Метод выполняет адаптивную регрессию для точной регистрации облака LiDAR с моделью здания, с учетом неопределенности в модели. Эта архитектура гарантирует что L2M-Reg может справиться с неопределенностью в модели, а также обеспечить точность и эффективность регистрации. ## Результаты Завершились эксперименты на трех реальных датасетах, показав важность адаптивного подхода L2M-Reg. Метод показал более высокую точность и более низкий потребление ресурсов по сравнению с предыдущими ICP-based и plane-based методами. Эксперименты показали, что L2M-Reg существенно улучшает точность регистрации, особенно в ситуациях, когда модель здания имеет высокую неопределенность. Например, на одном из датасетов, L2M-Reg достиг точности в 98.5%, что гораздо выше, чем предыдущие решения. Эти результаты демонстрируют мощность метода в решении проблемы регистрации на уровне зданий, когда неопределенность является ключевым