Can the Waymo Open Motion Dataset Support Realistic Behavioral Modeling? A Validation Study with Naturalistic Trajectories

2509.03515v1 cs.RO, cs.AI, cs.LG, cs.SY, eess.SY, stat.AP 2025-09-05
Авторы:

Yanlin Zhang, Sungyong Chung, Nachuan Li, Dana Monzer, Hani S. Mahmassani, Samer H. Hamdar, Alireza Talebpour

Резюме на русском

## Контекст Моделирование поведения автономных транспортных средств (АТС) является ключевым аспектом развития технологий автоматизированного транспорта. Одним из популярных источников данных для этого является Waymo Open Motion Dataset (WOMD). Он включает траектории движения, собранные при операциях Level 4 AV в Phoenix, Arizona. Тем не менее, WOMD имеет ограничения, такие как проприетарная обработка данных, отсутствие оценки ошибок и разбиение траекторий на отдельные клиппы 20 секунд. Эти ограничения поднимают вопросы о точности данных и возможности их использования для реалистичного моделирования поведения АТС. Целью данной работы является определение того, может ли WOMD поддерживать реалистичное моделирование поведения AV, используя сравнительный анализ с использованием данных из реальных операций. ## Метод Для проведения исследования использовалась связка из двух наборов данных: WOMD и собственно сборных данных Level 4 AV в Phoenix, Arizona. Для анализа различных сценариев движения, таких как разгрузка на светофорах, следование за автомобилем и смена полосы движения, были применены различные методы сравнения. Например, для определения расстояний между автомобилями в сценарии разгрузки были использованы видео-анализ и методы линейной интерполяции. Для сценариев следования и смены полосы применялся метод Simulation-Extrapolation (SIMEX) для учета ошибок в данных PHX, а также метод динамической войны времени (Dynamic Time Warping, DTW) для поиска различий в поведении. ## Результаты Анализ показал, что данные из WOMD не полностью соответствуют реальному поведению АТС в условиях города. Например, WOMD недостаточно представляет ситуации с короткими расстояниями между автомобилями и аварийными сценариями. Эти отклонения были выявлены во всех использованных сценариях движения. Например, в сценарии разгрузки, где использовались видео-данные для точного измерения расстояний, PHX данные показали более значительное количество кратковременных расстояний. Аналогично, в сценариях следования и смены полосы, SIMEX и DTW показали, что поведение в PHX значительно отличается от того, что зафиксировано в WOMD. ## Значимость Результаты имеют важное значение для улучшения моделей поведения AV. Недостаточная точность WOMD в представлении реального поведения транспортных средств может привести к неточным моделям, которые не учитывают реальную сложность и риск в условиях городского движения. Эта статья подчеркивает необходимость дополнительных исследований и валидации данных для повышения точности реалистичных моделей. ## Выводы Выводы исследования подтверждают, что WOMD может не полностью охватывать реальность городского транспортного поведения. Необхо

Abstract

The Waymo Open Motion Dataset (WOMD) has become a popular resource for data-driven modeling of autonomous vehicles (AVs) behavior. However, its validity for behavioral analysis remains uncertain due to proprietary post-processing, the absence of error quantification, and the segmentation of trajectories into 20-second clips. This study examines whether WOMD accurately captures the dynamics and interactions observed in real-world AV operations. Leveraging an independently collected naturalistic dataset from Level 4 AV operations in Phoenix, Arizona (PHX), we perform comparative analyses across three representative urban driving scenarios: discharging at signalized intersections, car-following, and lane-changing behaviors. For the discharging analysis, headways are manually extracted from aerial video to ensure negligible measurement error. For the car-following and lane-changing cases, we apply the Simulation-Extrapolation (SIMEX) method to account for empirically estimated error in the PHX data and use Dynamic Time Warping (DTW) distances to quantify behavioral differences. Results across all scenarios consistently show that behavior in PHX falls outside the behavioral envelope of WOMD. Notably, WOMD underrepresents short headways and abrupt decelerations. These findings suggest that behavioral models calibrated solely on WOMD may systematically underestimate the variability, risk, and complexity of naturalistic driving. Caution is therefore warranted when using WOMD for behavior modeling without proper validation against independently collected data.

Ссылки и действия