📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 82
Последнее обновление: сегодня
Авторы:
Shady Agwa, Yikang Shen, Shiwei Wang, Themis Prodromakis
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Nowadays, we are witnessing an Artificial Intelligence revolution that dominates the technology landscape in various application domains, such as healthcare, robotics, automotive, security, and defense. Massive-scale AI models, which mimic the human brain's functionality, typically feature millions and even billions of parameters through data-intensive matrix multiplication tasks. While conventional Von-Neumann architectures struggle with the memory wall and the end of Moore's Law, these AI appl...
Авторы:
Shady Agwa, Yihan Pan, Georgios Papandroulidakis, Themis Prodromakis
## Контекст
Масштабное увеличение сложности сетей нейронных сетей в сфере искусственного интеллекта приводит к возрастающему уровню затруднений в вычислениях. Огромная часть этих вычислений связана с матричными умножениями, которые представляют собой главную часть большинства моделей. Несмотря на развитие различных архитектур вычислений, в том числе ин-памяти, проблемы скорости, энергоэффективности и точности все еще остаются актуальными. Одним из ключевых требований к развитию новых архитектур является повышение эффективности и экономии ресурсов. Однако существующие решения, как цифровые, так и аналоговые, имеют свои ограничения, которые не позволяют полностью решить эти проблемы. Мотивацией для разработки новой архитектуры ОISMA (On-the-fly In-memory Stochastic Multiplication Architecture) является необходимость в более эффективном использовании ресурсов и уменьшении накладных расходов в вычислительных процессах.
## Метод
ОISMA представляет собой инновационную подход к вычислениям, основанную на практически стохастическом уровне абстракции. Основной идеей является конвертация обычных операций чтения памяти в стохастические множительные операции с помощью системы "Bent-Pyramid". Эта система позволяет осуществлять внутрипамятные операции умножения, используя только минимальные дополнительные ресурсы. Для суммирования результатов используется резервная периферия, которая агрегирует битстреймы, полученные в результате стохастических умножений. Архитектура строится с учетом модулярности и масштабируемости, чтобы поддерживать различные размеры матриц, начиная от малых до больших (до 512x512). Методология основана на комбинации простоты стохастической аппроксимации и цифровой структуре памяти, что обеспечивает высокую точность и эффективность.
## Результаты
Опыты были проведены с размерностями матриц от 4x4 до 512x512. Результаты показали, что для матрицы 512x512 стохастическая архитектура ОISMA демонстрирует снижение среднего относительного ошибки Frobenius до 1,81%, что значительно лучше, чем результаты 64-битного формата двойной точности (6,25%). Это указывает на высокую точность и надежность новой архитектуры. Кроме того, эксперименты по энергоэффективности и плотности вычислений показали, что OISMA может достигать значительно более высокой точности при меньшем потреблении энергии и меньшем объеме вычислительной площади. Например, на технологии 180 нм OISMA достигает энергоэффективности 0.891 TOPS/W и плотности вычислений 3.98 GOPS/mm². Основно
Annotation:
Artificial Intelligence models are currently driven by a significant
up-scaling of their complexity, with massive matrix multiplication workloads
representing the major computational bottleneck. In-memory computing
architectures are proposed to avoid the Von Neumann bottleneck. However, both
digital/binary-based and analogue in-memory computing architectures suffer from
various limitations, which significantly degrade the performance and energy
efficiency gains. This work proposes OISMA, a novel...