📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Elie Aljalbout, Jiaxu Xing, Angel Romero, Iretiayo Akinola, Caelan Reed Garrett, Eric Heiden, Abhishek Gupta, Tucker Hermans, Yashraj Narang, Dieter Fox, Davide Scaramuzza, Fabio Ramos
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Machine learning has facilitated significant advancements across various
robotics domains, including navigation, locomotion, and manipulation. Many such
achievements have been driven by the extensive use of simulation as a critical
tool for training and testing robotic systems prior to their deployment in
real-world environments. However, simulations consist of abstractions and
approximations that inevitably introduce discrepancies between simulated and
real environments, known as the reality ga...
📄 Accelerated stochastic first-order method for convex optimization under heavy-tailed noise
2025-10-15Авторы:
Chuan He, Zhaosong Lu
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
We study convex composite optimization problems, where the objective function
is given by the sum of a prox-friendly function and a convex function whose
subgradients are estimated under heavy-tailed noise. Existing work often
employs gradient clipping or normalization techniques in stochastic first-order
methods to address heavy-tailed noise. In this paper, we demonstrate that a
vanilla stochastic algorithm -- without additional modifications such as
clipping or normalization -- can achieve opt...
Авторы:
Daiki Chijiwa, Taku Hasegawa, Kyosuke Nishida, Shin'ya Yamaguchi, Tomoya Ohba, Tamao Sakao, Susumu Takeuchi
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Tokenization -- the process of decomposing a given text into a sequence of
subwords called tokens -- is one of the key components in the development of
language models. Particularly, auto-regressive language models generate texts
token by token, i.e., by predicting the next-token distribution given the
previous ones, and thus tokenization directly affects their efficiency in text
generation. Since each language model has their own vocabulary as a set of
possible tokens, they struggle to cooperat...
Авторы:
Adel Javanmard, Baharan Mirzasoleiman, Vahab Mirrokni
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Test-time scaling improves the reasoning capabilities of large language
models (LLMs) by allocating extra compute to generate longer Chains-of-Thoughts
(CoTs). This enables models to tackle more complex problem by breaking them
down into additional steps, backtracking, and correcting mistakes. Despite its
strong performance--demonstrated by OpenAI's o1 and DeepSeek R1, the conditions
in the training data under which long CoTs emerge, and when such long CoTs
improve the performance, remain unclea...
Авторы:
Sven Dummer, Tjeerd Jan Heeringa, José A. Iglesias
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Recently, there has been growing interest in characterizing the function
spaces underlying neural networks. While shallow and deep scalar-valued neural
networks have been linked to scalar-valued reproducing kernel Banach spaces
(RKBS), $\mathbb{R}^d$-valued neural networks and neural operator models remain
less understood in the RKBS setting. To address this gap, we develop a general
definition of vector-valued RKBS (vv-RKBS), which inherently includes the
associated reproducing kernel. Our cons...
Авторы:
Adrian Kosowski, Przemysław Uznański, Jan Chorowski, Zuzanna Stamirowska, Michał Bartoszkiewicz
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
The relationship between computing systems and the brain has served as
motivation for pioneering theoreticians since John von Neumann and Alan Turing.
Uniform, scale-free biological networks, such as the brain, have powerful
properties, including generalizing over time, which is the main barrier for
Machine Learning on the path to Universal Reasoning Models.
We introduce `Dragon Hatchling' (BDH), a new Large Language Model
architecture based on a scale-free biologically inspired network of \$n...
📄 Bandits roaming Hilbert space
2025-10-01Авторы:
Josep Lumbreras
## Контекст
Изучение торговли с большим числом параметров (multi-armed bandits) широко распространено в машинном обучении и применяется для решения задач, где необходимо балансировать исследование (exploration) и использование накопленной информации (exploitation). В этой работе автор рассматривает применение многоруких бандитов для изучения свойств квантовых состояний с помощью онлайн-методов. Он отмечает, что существующие подходы к изучению квантовых состояний часто требуют большого количества измерений, что может повлечь деструктивное воздействие на состояние. Идея заключается в использовании многоруких бандитов для оптимизации измерений и сокращения количества необходимых измерений для получения точных оценок свойств квантовых состояний.
## Метод
Работа опирается на методику многоруких бандитов с оптимизацией значений ожидания. Автор использует методы, основанные на оптимистической логике, которые позволяют контролировать значения ожидания в основе выбора действий. Он разрабатывает алгоритмы, которые используют оптимистическую инициализацию для уменьшения регрета (суммарного отличия между текущим результатом и максимально возможным). Этот подход используется для переформулировки задачи томографии квантовых состояний и для оптимизации измерения в рамках теории информации.
## Результаты
Автор проверяет свой подход на различных ситуациях: для изучения чистого квантового состояния, для рекомендательных систем квантовых систем, а также для извлечения работы из квантовых состояний. В качестве теста используются различные структуры данных, включая дискретные и непрерывные диапазоны. Он показывает, что регрет масштабируется как квадратный корень от числа итераций, что демонстрирует эффективность подхода. Более того, применение этого подхода к томографии квантовых состояний позволяет эффективно измерять состояние с минимальным воздействием на него.
## Значимость
Предложенный подход может быть применен в оптимизации измерений в квантовой томографии, эффективном извлечении работы из квантовых состояний и в построении рекомендательных систем квантовых систем. Он обеспечивает эффективное уменьшение числа измерений, что критически важно для квантовых систем, где каждое измерение может повредить состояние. Этот подход также может иметь широкое применение в области машинного обучения, где необходимо балансировать исследование и использование накопленной информации.
## Выводы
Работа показывает, что многорукие бандиты могут эффективно применяться для изучения квантовых состояний, уменьшая количество измерений и оптимизируя получение информации. Будущие исследования могут сосредоточиться на расширении этого
Annotation:
This thesis studies the exploration and exploitation trade-off in online
learning of properties of quantum states using multi-armed bandits. Given
streaming access to an unknown quantum state, in each round we select an
observable from a set of actions to maximize its expectation value. Using past
information, we refine actions to minimize regret; the cumulative gap between
current reward and the maximum possible. We derive information-theoretic lower
bounds and optimal strategies with matching ...
Авторы:
Jiaxin Dai, Xiang Xiang
## Контекст
В области машинного обучения существуют задачи, требующие эффективного обработки и классификации данных с высокой степенью иерархичности. Одним из таких задач действительно является Coarse-To-Fine Few-Shot Class-Incremental Learning (C2FSCIL), в которой требуется не только классифицировать общую категорию, но и учитывать тонкую классификацию подкатегорий. Многие существующие подходы сталкиваются с проблемами, такими как переобучение при небольшом количестве обучающих данных, недостаточная точность классификации и высокая сложность алгоритмов. Мотивация для этого исследования лежит в необходимости развития моделей, которые могут эффективно работать в условиях небольших выборок и поддерживать стабильность в динамических средах.
## Метод
Предлагаемый подход к решению задачи C2FSCIL основывается на использовании модели в гиперболическом пространстве, а именно в модели шаровой проекции гиперболы (Poincar\'e ball model). Основная идея заключается в том, чтобы преобразовать входные изображения в функциональные вектора в гиперболическом пространстве вместо традиционного Евклидова пространства. Для этого используется метод аппроксимации сложности и экспериментальная проверка. Был рассмотрен контрастный подход к обучению, включающий в себя контрастное обучение на крупном классе и заморозку весов классификаторов для тонких классов. Для улучшения устойчивости модели внедрена максимальная энтропия в гиперболическом пространстве. Была также предложена усовершенствованная архитектура, включающая в себя гиперболические полносвязные слои и гиперболическую кстовую потерю. Это позволило модели лучше подстраиваться под небольшие выборки данных и улучшать точность классификации.
## Результаты
Для оценки эффективности предлагаемого подхода проведены эксперименты на стандартных бенчмарках C2FSCIL. Была проверена эффективность в отношении точности классификации и стабильности в динамических условиях. Полученные результаты показали что алгоритм эффективнее существующих подходов, особенно в условиях небольших обучающих выборок. Был также продемонстрирован улучшенный порядок точности классификации в гиперболическом пространстве в сравнении с Евклидовым. Были также установлены значительные улучшения в классификации тонких классов, что говорит о том, что предложенный подход отлично подходит для решения задачи C2FSCIL.
## Значимость
Предложенный подход может быть применен в различных областях, где требуется обработка и классификация данных с высокой степенью иерархичности, таких как оптическое распознавание символов, классификация медици
Annotation:
In the field of machine learning, hyperbolic space demonstrates superior
representation capabilities for hierarchical data compared to conventional
Euclidean space. This work focuses on the Coarse-To-Fine Few-Shot
Class-Incremental Learning (C2FSCIL) task. Our study follows the Knowe
approach, which contrastively learns coarse class labels and subsequently
normalizes and freezes the classifier weights of learned fine classes in the
embedding space. To better interpret the "coarse-to-fine" paradi...
Авторы:
Shuowei Ma, Junyu Liu
##########################################
## Контекст
##########################################
В статье рассматривается проблема интерфейсации квантовых и классических вычислительных систем в рамках полномасштабных квантовых алгоритмов. Одним из ключевых подходов является метод "классических тени" (classical shadow), который эффективно извлекает классическую информацию из квантовых состояний. Этот метод позволяет предсказывать многие свойства квантовых систем, даже при небольшом числе измерений. Однако в некоторых случаях, особенно при работе с неочевидными или очень нелокальными операторами, этот подход может оказаться неэффективным. Другой подход, "квантовое кино" (quantum footage), предполагает прямое измерение квантовых состояний. В статье проводится подробный анализ этих двух подходов с целью определить их преимущества и недостатки в различных условиях.
##########################################
## Метод
##########################################
Статья основывается на полномасштабном ресурсном анализе, сравнивающем "классические тени" и "квантовое кино". Для квантовых состояний, выраженных в виде кубитных суперпозиций, используются методы детерминированных и стохастических измерений. Измерения проводятся на различных квантовых компьютерах, включая симуляторы и физические устройства. Методы анализа основываются на оптимальной конфигурации параметров, таких как число кубитов, число меры, диапазон спарсиности, мощность обработки классических данных и точность. Авторы проводят сравнение ресурсами, включая вычислительные ресурсы и время.
##########################################
## Результаты
##########################################
Результаты показали, что метод "классических теней" более эффективен в случае работы с большим числом менее нелокальных операторов (малого значения Pauli weight). Этот подход также эффективнее при работе с системами, имеющими ограниченные возможности классического обработки данных. В случае работы с большими храмартическими матрицами, "квантовое кино" может быть более эффективным, особенно при высокой спарсиности и небольшом числе кубитов. Авторы также определили критические параметры, на которых зависит эффективность каждого подхода, включая количество кубитов, число измерений, спарсиность и точность.
##########################################
## Значимость
##########################################
Результаты этого исследования имеют большое значение для разработки стратегий взаимодействия квантовых и классических вычислительных систем. Они открывают новый путь к квантовому-классической томографии, позволяя выбирать наиболее эффективный подход в зависимости от конкретных условий. Это может быть применено в различных областях, включая квантовую оптику, квантовую физику и квантовые вычисления. Эффективность выбора метода мо
Annotation:
Interfacing quantum and classical processors is an important subroutine in
full-stack quantum algorithms. The so-called "classical shadow" method
efficiently extracts essential classical information from quantum states,
enabling the prediction of many properties of a quantum system from only a few
measurements. However, for a small number of highly non-local observables, or
when classical post-processing power is limited, the classical shadow method is
not always the most efficient choice. Here,...
Авторы:
Shuowei Ma, Junyu Liu
#### Контекст
Комплексный интеграционный подход к работе квантовых и классических вычислительных систем является ключевым элементом полнофункциональных квантовых алгоритмов. Одним из эффективных подходов является метод "классических тени" (classical shadows), позволяющий эффективно извлекать классическую информацию из квантовых состояний для оценки многих свойств квантовых систем с минимальным количеством измерений. Однако, при работе с небольшим числом высоко-нелинейных операторов или при ограниченных возможностях классического пост-процессинга, этот подход может быть не оптимальным. На примере некоторых ситуаций, мы целевой подход к сравнению классических теней с "квантовым фильмом" (quantum footage) — принципиально другому подходу, который предполагает непосредственное квантовое измерение. Наши работы демонстрируют, что для задач большого масштаба, когда относительно много операторов и их взаимодействия описаны матричными структурами, классические тени могут быть более эффективными, но это зависит от конкретной конфигурации параметров.
#### Метод
Метод "классических теней" построен на идее создания сэмплов квантовых состояний с помощью классических моделей представления, позволяющих эффективно получать классические характеристики. Мы рассматриваем другой подход — "квантовый фильм", который основывается на непосредственных квантовых измерениях и позволяет обрабатывать широкий класс квантовых оператов. Наш анализ охватывает различные сценарии: от работы с малым числом высоко-нелинейных операторов до работы с большим числом матричных операторов. Мы формулируем условия, при которых каждый из подходов становится эффективнее, и определяем области "оптимальности" в зависимости от параметров задачи, таких как число квантовых битов, число измерений, спарситет операторов и точность расчета.
#### Результаты
Мы проводим сравнение ресурсов (трудоемкости и ресурсоемкости) между двумя методами в различных сценариях. Наши эксперименты показывают, что для операторов в виде линейных комбинаций Pauli-матриц, когда число измерений $M$ и число битов $n$ достаточно велики, но небольшой размерности Pauli-матриц, классические тени проявляют выигрыш в эффективности. Для операторов в виде великой спарситетной матрицы, классические тени становятся более эффективными в случае достаточно высокого числа битов, матричной спарситетности и определенного количества измерений. Мы также проводим сравнение ресурсов на разных типах квантовых компьютеров, определяя точки равновесия, где один из подходов становится более эф
Annotation:
Interfacing quantum and classical processors is an important subroutine in
full-stack quantum algorithms. The so-called "classical shadow" method
efficiently extracts essential classical information from quantum states,
enabling the prediction of many properties of a quantum system from only a few
measurements. However, for a small number of highly non-local observables, or
when classical post-processing power is limited, the classical shadow method is
not always the most efficient choice. Here,...
Показано 11 -
20
из 21 записей