Contrastive Representations for Temporal Reasoning
2508.13113v1
cs.LG, cs.AI
2025-08-20
Авторы:
Alicja Ziarko, Michal Bortkiewicz, Michal Zawalski, Benjamin Eysenbach, Piotr Milos
Резюме на русском
#### Контекст
В классической искусственной интеллектуальной системе (AI), перцепция опирается на обучение статус-ориентированных представлений, в то время как планирование, или же терпиче себе логическое рассуждение по поводу последовательности действий, обычно реализуется с помощью поиска. Мы изучаем можно ли вовсе добиться такого рассуждения из-за представлений, которые охватывают как визуальный, так и временный составленный строки. Мы показываем, что стандартные методы терпиче себе контрастивного обучения, которые недавно стали популярными, часто не удается ловко обнаружить временную структуру из-за того, что они полагаются на ложные признаки. Для решения этой проблемы, мы предлагаем Combinatorial Representations for Temporal Reasoning (CRTR), метод, который при помощи схемы отрицательного выбора удаляет эти ложные признаки и способствует ловкому рассуждению времени.
#### Метод
CRTR основывается на сочетательной модели представления, которая использует отрицательный выбор для удаления ложных признаков. Также используется контрастивное обучение, но с целью улучшить структуру временного представления. Метод проверяется на разных задачах, в том числе на Sokoban и Rubik's Cube. Особенно для Rubik's Cube, CRTR выдает представления, которые могут общаться с любыми начальными состояниями и позволяют решить головоломку за меньшее количество поисковых шагов, чем BestFS, хотя решения могут быть более длинными.
#### Результаты
Мы проводили эксперименты на двух разных задачах, включая Sokoban и Rubik's Cube. На Rubik's Cube, CRTR смог решить головоломку за меньшее количество шагов по сравнению с BestFS, хотя решения требуют большего количества шагов. Это первый подход, который быстро решает абстрактные головоломки Rubik's Cube с помощью только выученных представлений, не опираясь на внешние поисковые алгоритмы.
#### Значимость
Метод CRTR может использоваться в различных областях, где требуется временное рассуждение, таких как игры, логические задачи и даже в рамках развития роботов. Он предлагает существенные преимущества перед существующими методами, такими как уменьшение поисковых шагов и повышение точности. Это может повлиять на развитие искусственного интеллекта, особенно в области исследований временных систем и логических задач.
#### Выводы
Мы представили новую методологию для временного рассуждения, которая позволяет удалить ложные признаки и улучшить структуру временного представления. Результаты показывают, что CRTR эффективно решает задачи, включая Rubik's Cube. Мы планируем продолжить изучение этого подхода, особенно в контексте более сложных задач, и расширить его применение в различных областях.
Abstract
In classical AI, perception relies on learning state-based representations,
while planning, which can be thought of as temporal reasoning over action
sequences, is typically achieved through search. We study whether such
reasoning can instead emerge from representations that capture both perceptual
and temporal structure. We show that standard temporal contrastive learning,
despite its popularity, often fails to capture temporal structure due to its
reliance on spurious features. To address this, we introduce Combinatorial
Representations for Temporal Reasoning (CRTR), a method that uses a negative
sampling scheme to provably remove these spurious features and facilitate
temporal reasoning. CRTR achieves strong results on domains with complex
temporal structure, such as Sokoban and Rubik's Cube. In particular, for the
Rubik's Cube, CRTR learns representations that generalize across all initial
states and allow it to solve the puzzle using fewer search steps than BestFS,
though with longer solutions. To our knowledge, this is the first method that
efficiently solves arbitrary Cube states using only learned representations,
without relying on an external search algorithm.
Ссылки и действия
Дополнительные ресурсы: