TreeIRL: Safe Urban Driving with Tree Search and Inverse Reinforcement Learning

#### Контекст На протяжении последних десятилетий, автоматизированные системы управления транспортом, такие как autopilots или планировщики для автономного вождения, являются центральной областью исследований в технике и искусственном интеллекте. Однако столкнуться с проблемами, такими как эффективность, безопасность и природность поведения, остается сложным заданием. Эти проблемы возникают в ситуациях, когда алгоритмы должны осуществлять рациональные решения в сложных и часто непредсказуемых условиях, таких как городский транспорт. TreeIRL предлагает решение этой проблемы, объединяя две мощные методологии: Monte Carlo tree search (MCTS) и inverse reinforcement learning (IRL). Это позволяет обеспечить безопасность, прогресс и комфорт вождения, а также естественность поведения в различных ситуациях. #### Метод TreeIRL сочетает в себе MCTS и IRL для выбора наиболее приемлемого плана движения. Алгоритм MCTS осуществляет поиск безопасных кандидатов траекторий движения, а IRL используется для оценки этих траекторий, нацеленной на то, чтобы выбрать самую "человеческую". В процессе работы, MCTS построит дерево возможных действий, а IRL оценит каждую траекторию на основе множества функций оценки. Этот подход позволяет TreeIRL генерировать планы движения, которые близки к человеческим в течение различных ситуаций на дорогах. Архитектура TreeIRL включает в себя не только эти два основных компонента, но и модели расширенного IRL, которые учитывают тонкие особенности поведения водителя. #### Результаты Планировщик TreeIRL был оценен в широком спектре ситуаций на дорогах. Набор экспериментов включал в себя городскую среду с тяжелым трафиком, сценарии с адаптивным управлением скоростью (adaptive cruise control), сценарии с нарушениями полосы (cut-ins) и ситуации с работой светофора. В симуляционных экспериментах, TreeIRL показал лучший результат в безопасности, прогрессе и комфорте. В реальных условиях, он был протестирован на более чем 500 миль в метрополии Лас-Вегаса. Эксперименты показали, что TreeIRL избегает ошибок, которые часто допускаются другими планировщиками, и обеспечивает удовлетворительные результаты в плане human-likeness. #### Значимость Технология TreeIRL может быть применена в различных сценариях, включая вождение в городах, а также в задачах, требующих быстрого и эффективного решения. Одним из основных преимуществ является его безопасность и естественность поведения. Потенциал TreeIRL заключается в том, что он может использоваться в сочетании с другими методами, такими как reinforcement learning и imitation learning, для расширения возможностей в области планирования автономного вождения.