## Контекст С Free Electron Laser (FEL) LCLS-II будет генерировать лучи X-ray с частотой до 1 MHz, при этом детекторы будут создавать потоки данных, превышающие 1 TB/s. Эта скорость обработки данных представляет собой огромный технический вызов, так как существующие инфраструктуры трансмиссии и хранения данных становятся просто недоступными по цене. Машинное обучение (ML) может стать решением для реального времени, но традиционные решения не могут справиться с такими высокими скоростями потока данных из-за высокой задержки. Чтобы решить эти проблемы, SLAC разработала SLAC Neural Network Library (SNL) - специальный фреймворк для развертывания моделей нейронных сетей на Field-Programmable Gate Arrays (FPGA). SNL позволяет динамически обновлять веса моделей без перекомпиляции FPGA, что делает ее подходящей для применения в адаптивных обучающих системах. Для удобства и доступности мы предлагаем Auto-SNL, расширение Python, которое легко преобразует модели Python в код SNL. ## Метод SNL - это фреймворк, который позволяет развертывать модели нейронных сетей на FPGA с динамическим обновлением весов. Используется методология High-Level Synthesis (HLS), которая позволяет писать модели в Python, а затем генерировать код для FPGA. Мы также внедрили Auto-SNL - расширение Python, которое автоматически преобразует модели в код HLS, совместимый с SNL. Этот подход позволяет уменьшить затраты на разработку и повысить эффективность. Мы провели эксперименты на Xilinx ZCU102 FPGA, сравнив SNL с hls4ml, текущим лидером в этой области. Мы протестировали несколько моделей нейронных сетей, различных fixed-point precisions и конфигураций синтеза. ## Результаты Мы провели эксперименты на Xilinx ZCU102 FPGA и сравнили SNL с hls4ml. Результаты показали, что SNL достигает конкурентных или лучших результатов по задержкам в большинстве тестовых моделей нейронных сетей. В некоторых случаях SNL также уменьшил потребление FPGA ресурсов. Это демонстрирует универсальность SNL в различных областях, включая высокоэнергетическую физику, медицинскую импедианту, робототехнику и др. Мы показали, что SNL может обрабатывать большие потоки данных в режиме реального времени, что делает его подходящим для систем с низкими задержками. ## Значимость Мы применили нашу разработку к различным областям, включая high-energy physics, medical imaging, robotics, и др. Использование SNL позволит эффективно обрабатывать большие потоки данных в реальном времени, что может быть применено в различных приложениях, от обработки изображений до распознавания объектов. Это делает SNL перспективным инструментом для развития систем в реальном времени. ## Выводы Мы доказали, что SNL может стать эффективным решением для реального времени, позволяя обрабатывать большие потоки данных

## Контекст Large language models (LLMs) являются ключевыми инструментами в развитии искусственного интеллекта, но их высокие вычислительные затраты ограничивают их развертывание и реального времени взаимодействие. Одним из потенциальных способов улучшения эффективности является использование методов квантования, но достижение высокой эффективности при использовании ultra-low-bit quantized LLMs по-прежнему остается сложной задачей. Особенно это касается GPU Tensor Cores, которые предлагают ограниченную поддержку, неэффективное управление памятью и жесткие оптимизации. Чтобы справиться с этими проблемами, мы предлагаем APT-LLM — систему ускорения, поддерживающую работу со случайной точностью. ## Метод APT-LLM включает несколько ключевых технических решений. Мы представляем новую данной формат, "bipolar-INT", который позволяет трансформировать данные с потерь между INT и бинарным форматом, обеспечивая эффективность расчетов и совместимость с GPU Tensor Cores. Мы также разработали метод матричного перемножения (MatMul), позволяющий работать с данными в произвольной точности, разбивая и соединяя матрицы на битовых уровнях. Это позволяет гибко менять точность и оптимизировать использование GPU Tensor Cores. Для улучшения управления памятью мы предлагаем систему управления данными, включающую в себя восстановление данных на гибком общем ядре, что позволяет ускорить выполнение и снизить задержки. Наконец, мы реализовали динамическую систему оптимизации, которая выбирает оптимальные настройки для каждого размера матрицы, обеспечивая максимальную производительность для различных архитектур LLMs. ## Результаты Мы провели эксперименты на основе нескольких моделей LLMs, в том числе на PyTorch, TensorRT и NVIDIA CUTLASS. Наша система достигла до 3.99$\times$ ускорения по сравнению с базовыми моделями FP16 на RTX 3090. Также, мы обнаружили, что на RTX 4090 и H800 производительность APT-LLM выше на 2.44$\times$ по сравнению с FP16 и на 1.65$\times$ по сравнению с CUTLASS INT4. Эти результаты демонстрируют, что APT-LLM дает существенное улучшение производительности при работе с ultra-low-bit LLMs в различных условиях. ## Значимость APT-LLM может применяться в различных областях, в том числе при развертывании LLMs в реальном времени, в области NLP, в облачных сервисах, а также в интеллектуальных системах, требующих высокой производительности. Это улучшение производительности и эффективности не только повышает скорость вычислений, но и снижает энергозатраты, что имеет важное значение в масштабном развертывании AI-систем. ## Выводы Мы добились выдающихся результатов в ускорении LLMs, используя уника

## Контекст Современные приложения на основе глубоких нейронных сетей (DNNs) требуют высокой мощности вычислений и большого объема памяти, что ограничивает их применение на простых устройствах, таких как микроконтроллеры. Эти ограничения влекут за собой высокую энергопотребление и замедление работы. Одним из решений этой проблемы является Quantized Neural Networks (QNNs), которые уменьшают модельные требования к памяти и вычислениям за счет использования дробных значений вместо полного множества чисел. Однако, даже QNNs далеко не всегда могут быть выполнены эффективно на микроконтроллерах из-за ограниченности ресурсов. Эта статья представляет собой обзор технических решений и текущих платформ для развертывания QNNs на микроконтроллерах, а также проанализирует соотношение между модельными показателями и характеристиками железа. Также будут рассмотрены ограничения и перспективы развития данной области. ## Метод В настоящем исследовании рассматриваются различные техники квантования, такие как полное квантование, параллельное квантование, и квантование с использованием частичных дробных значений. Обзорными являются не только теоретические подходы к квантованию, но и системные решения, включая архитектуры и оптимизации платформ, которые позволяют запускать QNNs на микроконтроллерах. При этом особое внимание уделяется вопросу торговли между модельными показателями и архитектурными ограничениями. Также в рамках данного исследования обзор содержит исследование существующих фреймворков и железных решений для поддержки QNNs на микроконтроллерах. ## Результаты Эксперименты показали, что QNNs могут быть эффективно развернуты на микроконтроллерах, но только при соблюдении строгих ограничений на модельные показатели. Наиболее эффективными оказались модели с использованием квантования на 4 и 8 бит, которые позволяют сохранить подходящий уровень точности с минимальным влиянием на модельные показатели. Также были проанализированы различные фреймворки, такие как TensorFlow Lite for Microcontrollers и TinyML, и определены их производительность и удобство для разработчиков. Кроме того, было проанализировано влияние различных архитектур железа, таких как ARM Cortex-M и ESP32, на производительность QNNs. ## Значимость QNNs могут быть применены в системах с ограниченными ресурсами, таких как сенсорные сети, мобильные устройства и интеллектуальные домашние устройства. Они не только уменьшают затраты на мощность и память, но и позволяют достичь высокой модельной точности при малом требовании к ресурсам. Это делает QNNs привлекательными для применения в области телеметрии, ав

## Контекст Аналоговые Compute-In-Memory (CIM) архитектуры предлагают значительные энергоэффективностные выигрыши для нейронных сетей, однако сталкиваются с трудностями внедрения из-за характерных аппаратных шумов. Интерес к этим архитектурам возникает из-за потребности в энергосберегающих решениях для нейронных сетей, особенно в приложениях с ограниченными ресурсами. Однако существующие методы тренировки, предназначенные для устранения влияния шума, часто основываются на идеализированных моделях шума, которые недостаточно точно отражают реальные аппаратные особенности. Наша работа нацелена на развитие более точных методов тренировки, учитывающих реальные черты аппаратного шума в CIM. ## Метод Мы расширяем Straight-Through Estimator (STE) фреймворк для внедрения более точной модели шума в процессе обучения. Наша методология разделяет форвардную симуляцию шума от обратного вычисления градиентов. Это позволяет использовать более точные, но теоретически неразрывные модели шума в аналоговых CIM-системах. Мы обосновываем наш подход теоретически, демонстрируя, что он сохраняет ключевую информацию о направлениях градиентов, обеспечивая стабильность оптимизации и эффективность вычислений. ## Результаты Мы проводили эксперименты на задачах классификации изображений и текстового генератора. Наши результаты показали до 5.3% улучшения точности в классификации изображений, сокращения perplexity на 0.72 в текстовом генераторе, ускорения обучения в 2.2 раза и сокращения пикового использования памяти на 37.9% по сравнению с существующими методами. Эти результаты доказывают эффективность нашего подхода в улучшении качества и производительности обучения на аналоговых CIM-системах. ## Значимость Наша работа может быть применима в разработке энергоэффективных нейронных сетей для приложений с ограниченными ресурсами, таких как IoT-устройства и мобильные платформы. Она предлагает преимущества в точности и производительности, значительно сокращая влияние шума и улучшая эффективность вычислений. Эти достижения открывают новые пути для развития CIM-технологий и их применения в реальных мировых задачах. ## Выводы Мы разработали расширенный STE-подход, который эффективно работает с шумом в аналоговых CIM-системах, улучшая качество и производительность обучения. Будущие исследования будут направлены на расширение этого подхода к другим типам нейронных сетей и аппаратных платформам, а также на улучшение способности моделей устойчивости к аппаратным характеристикам.