📊 Статистика дайджестов

Всего дайджестов: 34022 Добавлено сегодня: 0

Последнее обновление: сегодня
Авторы:

Thomas Chaffey

#### Контекст Область исследования сосредоточена на связи между поведением резисторно-диодных сетей и решениями нейронных сетей с бесконечной глубиной, основанными на функции ReLU. Эта связь доказывает, что поведение таких сетей может быть эффективно реализовано в аналоговой аппаратуре. Мотивация заключается в развитии более эффективных алгоритмов и аппаратных решений для обучения нейронных сетей непосредственно в аппаратном уровне, что позволяет устранить некоторые ограничения существующих методов. #### Метод Методология основывается на построении аппаратной реализации резисторно-диодных сетей, которая эмулирует решение монотонного оператора сети ReLU. Основная техническая мантия заключается в использовании техники "hardware linearization", позволяющей вычислять производные непосредственно в аппаратном уровне. Это позволяет обучать нейросети непосредственно в аппаратном уровне. Методика расширяется на случаи каскадных сетей, которые могут эмулировать более сложные структуры, такие как feedforward. Добавлено рассмотрение различных нелинейных элементов, в частности, появление новой диодной функции ReLU, основанной на модели неидеального диода. #### Результаты В результате экспериментов показано, что резисторно-диодные сети могут значительно сократить ресурсы и скорость обучения, так как обучение происходит непосредственно в аппаратном уровне, без необходимости перевода на программный. Использовались симуляционные модели аппаратных сетей, демонстрирующие возможность обучения нейронных сетей непосредственно в аппаратном уровне. Также были получены результаты, показывающие, что различные нелинейные элементы влияют на форму функции активации, что открывает новые возможности для развития моделей нейронных сетей. #### Значимость Это исследование имеет широкие области применения, в том числе в обучении нейронных сетей, распознавании образов, искусственном интеллекте и других задачах машинного обучения. Основное преимущество заключается в улучшении производительности и эффективности обучения нейронных сетей, устранении необходимости в переводе аппаратных моделей на программный уровень. Это может привести к значительному сокращению времени обучения и энергозатрат. #### Выводы Основными достижениями является доказательство возможности реализации моделей нейронных сетей непосредственно в аппаратном уровне с помощью резисторно-диодных сетей. Была введена новая, более эффективная методика, позволяющая обучать модели непосредственно в аппаратном уровне. В будущем планируется расширить исследования на более сложные структуры нейронных сетей, такие как рекуррентные сети
Annotation:
It is shown that the port behavior of a resistor-diode network corresponds to the solution of a ReLU monotone operator equilibrium network (a neural network in the limit of infinite depth), giving a parsimonious construction of a neural network in analog hardware. We furthermore show that the gradient of such a circuit can be computed directly in hardware, using a procedure we call hardware linearization. This allows the network to be trained in hardware, which we demonstrate with a device-level...
ID: 2509.13793v1 eess.SY, cs.LG, cs.NE, cs.SY, math.OC, 65K10, 68T05, 93B30, 93D99