📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 82

Последнее обновление: сегодня
Авторы:

Aoming Liu, Kevin Miller, Venkatesh Saligrama, Kate Saenko, Boqing Gong, Ser-Nam Lim, Bryan A. Plummer

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Temporal Domain Generalization (TDG) aims to generalize across temporal distribution shifts, e.g., lexical change over time. Prior work often addresses this by predicting future model weights. However, full model prediction is prohibitively expensive for even reasonably sized models. Thus, recent methods only predict the classifier layer, limiting generalization by failing to adjust other model components. To address this, we propose Temporal Experts Averaging (TEA), a novel and scalable TDG fra...
ID: 2509.26045v1 cs.LG, cs.CL, cs.CV
Авторы:

John Gkountouras, Ivan Titov

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Recent text-only models demonstrate remarkable mathematical reasoning capabilities. Extending these to visual domains requires vision-language models to translate images into text descriptions. However, current models, trained to produce captions for human readers, often omit the precise details that reasoning systems require. This creates an interface mismatch: reasoners often fail not due to reasoning limitations but because they lack access to critical visual information. We propose Adaptive-...
ID: 2509.26594v1 cs.LG, cs.CL, cs.CV, 68T05 (Primary) 68T45, 68T50 (Secondary), I.2.6; I.2.10; I.2.7
Авторы:

Divyam Madaan, Sumit Chopra, Kyunghyun Cho

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Machine learning (ML) models often struggle to maintain performance under distribution shifts, leading to inaccurate predictions on unseen future data. In this work, we investigate whether and under what conditions models can achieve such a generalization when relying solely on past data. We explore two primary approaches: convex combinations of past model parameters (\emph{parameter interpolation}) and explicit extrapolation beyond the convex hull of past parameters (\emph{parameter extrapolati...
ID: 2509.23487v1 cs.LG, cs.CL, cs.CV
Авторы:

He Zhu, Junyou Su, Peng Lai, Ren Ma, Wenjia Zhang, Linyi Yang, Guanhua Chen

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Post-training of large language models involves a fundamental trade-off between supervised fine-tuning (SFT), which efficiently mimics demonstrations but tends to memorize, and reinforcement learning (RL), which achieves better generalization at higher computational cost. Dynamic Fine-Tuning (DFT) recently emerged as a promising middle ground, reweighting SFT objectives with token probabilities and achieving improvements in certain reasoning domains, though it exhibits instability in other tasks...
ID: 2509.23753v1 cs.LG, cs.CL
Авторы:

Fanding Huang, Guanbo Huang, Xiao Fan, Yi He, Xiao Liang, Xiao Chen, Qinting Jiang, Faisal Nadeem Khan, Jingyan Jiang, Zhi Wang

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
A prevailing view in Reinforcement Learning for Verifiable Rewards (RLVR) interprets recent progress through the lens of an exploration-exploitation trade-off, a perspective largely shaped by token-level metrics. We re-examine this perspective, proposing that this perceived trade-off may not be a fundamental constraint but rather an artifact of the measurement level. To investigate this, we shift the analysis to the semantically rich hidden-state space, adopting Effective Rank (ER) to quantify e...
ID: 2509.23808v1 cs.LG, cs.CL
Авторы:

Jiahao Ying, Mingbao Lin, Qianru Sun, Yixin Cao

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Mixture-of-Experts (MoE) architectures have emerged as a promising direction, offering efficiency and scalability by activating only a subset of parameters during inference. However, current research remains largely performance-centric, with limited understanding of its internal mechanisms, thereby constraining broader progress. In this work, we use an internal metric to investigate the mechanisms of MoE architecture by explicitly incorporating routing mechanisms and analyzing expert-level behav...
ID: 2509.23933v1 cs.LG, cs.CL
Авторы:

Dang Huu-Tien, Naoya Inoue

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Label noise in datasets could damage the performance of neural net training. As the size of modern deep networks grows, there is a growing demand for automated tools for detecting such errors. In this paper, we propose post-hoc, model-agnostic error detection and rectification methods utilizing the penultimate feature from a neural network. Our idea is based on the observation that the similarity between the penultimate feature of a mislabeled data point and its true class data points is higher ...
ID: 2509.23964v1 cs.LG, cs.CL
Авторы:

Bao-Ngoc Dao, Quang Nguyen, Luyen Ngo Dinh, Minh Le, Linh Ngo Van

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Few-shot Continual Event Detection (FCED) poses the dual challenges of learning from limited data and mitigating catastrophic forgetting across sequential tasks. Existing approaches often suffer from severe forgetting due to the full fine-tuning of a shared base model, which leads to knowledge interference between tasks. Moreover, they frequently rely on data augmentation strategies that can introduce unnatural or semantically distorted inputs. To address these limitations, we propose LEAF, a no...
ID: 2509.24547v1 cs.LG, cs.CL
Авторы:

Liang Lin, Zhihao Xu, Junhao Dong, Jian Zhao, Yuchen Yuan, Guibin Zhang, Miao Yu, Yiming Zhang, Zhengtao Yao, Huahui Yi, Dongrui Liu, Xinfeng Li, Kun Wang

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Large language model (LLM) alignment faces a critical dilemma when addressing multiple human preferences: improvements in one dimension frequently come at the expense of others, creating unavoidable trade-offs between competing objectives like helpfulness and harmlessness. While prior work mainly focuses on constraint-based optimization algorithms and data selection strategies to mitigate conflicts, these approaches overlook the fundamental issue of resolving conflicts directly at the parameter ...
ID: 2509.24610v2 cs.LG, cs.CL
Авторы:

Joshua Mitton, Prarthana Bhattacharyya, Ralph Abboud, Simon Woodhead

## Контекст Решение задачи Knowledge Tracing (KT) — предсказания учеников какую информацию они знают или не знают на основе их ответов на задачи — является ключевым в области образовательных технологий. Несмотря на успех моделей KT в предсказании ответов, они часто столкнулись с проблемой оценки неточности их прогнозов. Эта неточность становится серьезной проблемой, особенно в случае ошибок учеников, когда модели неверно предсказывают ответы на вопросы с выбором из предложенных вариантов (distractors). Такие неправильные прогнозы могут привести к неправильному распознаванию уровня понимания ученика, что снижает эффективность образовательных инструментов. Мотивацией для этого исследования является развитие моделей KT с возможностью учитывать неуверенность в прогнозах, чтобы улучшить их надежность и применимость в реальных учебных процессах. ## Метод Мы предлагаем новый подход к моделям KT, который включает в себя моделирование неуверенности в прогнозах. Это достигается с помощью специальных методов, таких как Dropout-based Uncertainty Estimation (DUE) и Monte Carlo Dropout (MC Dropout). Эти методы позволяют модели оценивать вероятность неточности в своих предсказаниях. Мы также применяем техники, такие как метод наблюдаемости (Observability), для создания наглядных признаков, которые помогают модели лучше понять связь между ответами учеников и их знаниями. Эти признаки позволяют модели определять более точно не только результат ответа, но и уровень неуверенности в этом результате. ## Результаты Мы проводили эксперименты с использованием двух разных датасетов для оценки эффективности наших моделей: ASSISTments и JunyiAcademy. Наши результаты показали, что модели с неуверенностью в прогнозах демонстрируют значительно более высокую точность в предсказании ошибок учеников в сравнении с традиционными моделями KT. Мы также выявили, что модели с применением неуверенности в прогнозах не только более точно предсказывают неверные ответы, но и обладают более высокой уверенностью в правильных ответах. Эта подробная оценка неуверенности позволяет моделям более точно оценивать уровень понимания учеников и давать более точные рекомендации. ## Значимость Предложенный подход имеет широкие области применения в образовательных технологиях. Он может быть использован в онлайн-образовательных платформах, где необходимо понимать уровень понимания каждого ученика для персонализации учебных материалов. Благодаря возможности оценивать неуверенность в прогнозах, модели могут более эффективно распределять ресурсы, сосредоточившись на тех учеников, которые имеют более высокий риск неправильного понимания материала. Это приводит к более эффективному использова
Annotation:
The main focus of research on Knowledge Tracing (KT) models is on model developments with the aim of improving predictive accuracy. Most of these models make the most incorrect predictions when students choose a distractor, leading to student errors going undetected. We present an approach to add new capabilities to KT models by capturing predictive uncertainty and demonstrate that a larger predictive uncertainty aligns with model incorrect predictions. We show that uncertainty in KT models is i...
ID: 2509.21514v1 cs.LG, cs.CL
Показано 141 - 150 из 233 записей