📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
📄 FlowDet: Overcoming Perspective and Scale Challenges in Real-Time End-to-End Traffic Detection
2025-08-29Авторы:
Yuhang Zhao, Zixing Wang
#### Контекст
Детекторы объектов с принципом end-to-end обработки (end-to-end object detectors) являются перспективным подходом в реальном времени для таких задач, как мониторинг трафика. Однако их высокий компьютерный затрат доминирует в сложных сценариях, таких как мониторинг трафика на перекрестках. Эти задачи требуют высокой эффективности и точности для обеспечения безопасности и эффективности транспортных систем. Несмотря на развитие технологий, возникают проблемы, такие как перспективные искажения и различия в масштабах объектов, которые затрудняют достижение высокой точности и производительности.
#### Метод
Мы предлагаем FlowDet — новый детектор, основанный на развитии DETR. Основные инновации FlowDet:
1. **Geometric Deformable Unit (GDU)**: Это модуль предназначен для обеспечения точного геометрического моделирования в трафике, учитывая детализацию и объектные формы.
2. **Scale-Aware Attention (SAA)**: Этот модуль обеспечивает поддержание высокой представительной силы при экстремальных разностях масштабов.
3. **Optimization Strategy**: Мы разделили оптимизацию кодировщика, что позволило значительно сократить вычислительные затраты.
Таким образом, FlowDet получил архитектуру, которая сочетает представительность с высокой эффективностью.
#### Результаты
Мы провели эксперименты на собственной коллекции данных Intersection-Flow-5k, интенсивно загруженной трафиком и охватывающей сложные сценарии. На этой выборке FlowDet демонстрирует лучшие результаты. Улучшения сравнивались с RT-DETR:
- **AP(test)** увеличилось на 1.5%,
- **AP50(test)** — на 1.6%,
- **GFLOPs** сократились на 63.2%,
- **инференсное время** увеличилось на 16.2%.
Такие результаты показывают, что FlowDet может обеспечить высокую точность при значительном сокращении ресурсоемкости, что важно для реального времени.
#### Значимость
Предлагаемый подход может быть применен в различных сценариях, где важно высокое качество детекции в режиме реального времени, например, в системах мониторинга трафика и автоматизированных систем транспорта. Улучшенная эффективность FlowDet позволяет использовать его в системах с ограниченным вычислительным мощностью, что делает его привлекательным для использования в транспортных системах и смарт-транспорте.
#### Выводы
FlowDet устанавливает новый стандарт для детектирования объектов в режиме реального времени, сочетая высокую точность и эффективность. Мы рассматриваем будущие исследования направленные на улучшение модели для обнаружения дополнительных факторов, таких как динамика движения и контекстуальная информация, чтобы еще больше повысить точность и реалистичность.
Annotation:
End-to-end object detectors offer a promising NMS-free paradigm for real-time
applications, yet their high computational cost remains a significant barrier,
particularly for complex scenarios like intersection traffic monitoring. To
address this challenge, we propose FlowDet, a high-speed detector featuring a
decoupled encoder optimization strategy applied to the DETR architecture.
Specifically, FlowDet employs a novel Geometric Deformable Unit (GDU) for
traffic-aware geometric modeling and a Sc...
📄 UGOD: Uncertainty-Guided Differentiable Opacity and Soft Dropout for Enhanced Sparse-View 3DGS
2025-08-09Авторы:
Zhihao Guo, Peng Wang, Zidong Chen, Xiangyu Kong, Yan Lyu, Guanyu Gao, Liangxiu Han
## КОНТЕКСТ И ПРОБЛЕМАТИКА
3D Gaussian Splatting (3DGS) является одним из передовых методов для синтеза новых видов (NVS), предлагающим высокую эффективность рендеринга за счет проекции и смешивания 3D Gaussian. Однако, несмотря на значительные достижения в области NVS, существуют существенные проблемы, особенно в сценариях с разреженными видами. Традиционные подходы 3DGS обычно обрабатывают Gaussians с одинаковым весом во время рендеринга, что может привести к переобучению и понижению качества реконструкции, особенно в разреженных сценариях.
Проблема переобучения в разреженных данных является ключевым перечнем для улучшения качества синтеза новых видов. Кроме того, существующие методы, такие как DropGaussian, предлагают решения для регуляризации, но они не всегда обеспечивают оптимальное балансирование между качеством реконструкции и сложностью модели. Это вызывает потребность в разработке более эффективного подхода, который может адаптивно регулировать веса Gaussians и улучшить качество рендеринга, особенно в условиях разреженности данных.
В этой статье предлагается метод UGOD, который вводит концепцию неопределенности (uncertainty) для адаптивного регулирования весов Gaussians. Неопределенность используется для оптимизации прозрачности (opacity) Gaussians и внедрения механизма soft differentiable dropout, который помогает регулировать процесс рендеринга. Этот подход не только сохраняет интегрированность 3DGS, но также обеспечивает высокое качество реконструкции в сравнении с существующими методами.
## ПРЕДЛОЖЕННЫЙ МЕТОД
Метод UGOD вводит два основных компонента: адаптивное обучение неопределенности и soft differentiable dropout. Неопределенность, изученная в процессе обучения, руководит обновлением прозрачности Gaussians таким образом, чтобы сохранить целостность 3DGS. Это позволяет модели адаптироваться к разреженным данным и улучшить качество реконструкции.
Soft differentiable dropout регулирует неопределенность, преобразуя ее в непрерывные вероятности удаления (drop probabilities), которые затем применяются к процессу проекции и смешивания Gaussians. Этот механизм помогает предотвратить переобучение и улучшить качество рендеринга, особенно в условиях разреженности.
Архитектура UGOD сохраняет интегрированность 3DGS и интегрирует эти компоненты в существующую модель без существенных изменений. Это позволяет эффективно использовать преимущества неопределенности и dropout для улучшения результатов синтеза новых видов.
## ЭКСПЕРИМЕНТАЛЬНЫЕ РЕЗУЛЬТАТЫ
Для оценки эффективности метода UGOD проведены исследования на нескольких известных датасетах, включая MipNeRF 360. Результаты показывают, что UGOD достигает высокого качества реконструкции в сравнении со стандартными методами 3DGS и существующими решениями, такими как DropGaussian.
Например, на датасете MipNeRF 360, UGOD достигает повышения PSNR на 3.27% по сравнению с DropGaussian. Эти результаты демонстрируют, что UGOD эффективно использует адаптивное обучение неопределенности и механизм soft dropout для улучшения качества рендеринга, особенно в сценариях с разреженными данными.
## ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ
Метод UGOD имеет широкое применение в области нового вида синтеза (NVS), особенно в случаях, когда доступны разреженные данные. Он может быть использован в различных приложениях, таких как виртуальная и дополненная реальность, 3D-моделирование и компьютерная графика.
Преимущества UGOD включают в себя улучшенное качество реконструкции, эффективность рендеринга и адаптивность к разреженным данным. Эти преимущества делают его привлекательным для практических приложений, где важно обеспечить высокое качество визуализации при ограниченных данных.
## ВЫВОДЫ И ПЕРСПЕКТИВЫ
Метод UGOD является значительным шагом вперед в области 3D Gaussian Splatting и синтеза новых видов. Он предлагает эффективное решение для проблемы переобучения в разреженных данных и показывает высокие результаты на различных датасетах.
В будущем, дальнейшее исследование может быть направлено на улучшение адаптивности и скорости обработки данных, а также на применение этого подхода в других областях компьютерной графики и 3D-моделирования. Это может открыть новые возможности для улучшения качества визуализации в различных приложениях.
Annotation:
3D Gaussian Splatting (3DGS) has become a competitive approach for novel view
synthesis (NVS) due to its advanced rendering efficiency through 3D Gaussian
projection and blending. However, Gaussians are treated equally weighted for
rendering in most 3DGS methods, making them prone to overfitting, which is
particularly the case in sparse-view scenarios. To address this, we investigate
how adaptive weighting of Gaussians affects rendering quality, which is
characterised by learned uncertainties pr...