A holistic perception system of internal and external monitoring for ground autonomous vehicles: AutoTRUST paradigm

## Контекст Применение автономных транспортных средств становится все более актуальным в связи с ростом требований к безопасности, эффективности и удобству транспортных систем. Однако их развитие сталкивается с рядовыми проблемами, включая несостоятельную зрелость систем периферийного видения, ограниченную возможность адаптации к нестандартным ситуациям и нехватку достоверных моделей данных для обучения AI-систем. Эти проблемы приводят к неэффективности внешнего мониторинга, нехватке удобства и безопасности для пассажиров и водителей. Мотивацией для разработки полногабаритной системы мониторинга является необходимость обеспечить безопасность, удобство и эффективность в транспортных системах, учитывая требования современных самоуправляемых транспортных средств. ## Метод Разработанная система AutoTRUST представляет собой широкомасштабную архитектуру мониторинга, включающую в себя внутренний и внешний мониторинг. Внутренняя система основывается на мульти-камерном комплексе, который использует глубокое обучение для распознавания лиц и воспроизведения говорения в качестве виртуального помощника. Кроме того, в ней входят смарт-сенсоры для измерения качества воздуха и анализа теплового комфорта. Внешняя система, в свою очередь, задействует LiDAR-сенсорную сеть для обработки 3D-точечных сетей. Методы семантической сегментации и супер-разрешения используются для преобразования низкокачественных данных в высококачественные. Архитектура представляет собой модульную систему с адаптивными алгоритмами, обеспечивающими эффективность и надёжность. ## Результаты Проведенные эксперименты показали, что система AutoTRUST обеспечивает высокую точность распознавания лиц, точность в семантической сегментации и эффективность в преобразовании разрешения точечных сетей. Использовались реальные данные, полученные в ходе экспериментов на реальном электромобиле, предоставленном компанией ALKE. Эксперименты проводились на территории центра Joint Research Centre в Ипсре, Италия. Результаты оценивались с помощью метрик, таких как Precision, Recall и F1-score, показавших высокую эффективность системы в различных условиях окружающей среды. ## Значимость Разработанный подход может быть применён в различных сферах, включая автоматизацию транспортных систем, мониторинг безопасности и удобства внутри автомобилей. Он демонстрирует преимущества в области безопасности, эффективности и комфорта для пользователей. Благодаря модульной структуре и адаптивным алгоритмам, система может быть легко наст