📊 Статистика дайджестов
Всего дайджестов: 34022 Добавлено сегодня: 0
Последнее обновление: сегодня
Авторы:
Shady Agwa, Yikang Shen, Shiwei Wang, Themis Prodromakis
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Nowadays, we are witnessing an Artificial Intelligence revolution that dominates the technology landscape in various application domains, such as healthcare, robotics, automotive, security, and defense. Massive-scale AI models, which mimic the human brain's functionality, typically feature millions and even billions of parameters through data-intensive matrix multiplication tasks. While conventional Von-Neumann architectures struggle with the memory wall and the end of Moore's Law, these AI appl...
Авторы:
Liudong Xing, Janet, Lin
Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
This chapter presents perspectives for challenges and future development in building reliable AI systems, particularly, agentic AI systems. Several open research problems related to mitigating the risks of cascading failures are discussed. The chapter also sheds lights on research challenges and opportunities in aspects including dynamic environments, inconsistent task execution, unpredictable emergent behaviors, as well as resource-intensive reliability mechanisms. In addition, several research...
Авторы:
Shady Agwa, Yihan Pan, Georgios Papandroulidakis, Themis Prodromakis
## Контекст
Масштабное увеличение сложности сетей нейронных сетей в сфере искусственного интеллекта приводит к возрастающему уровню затруднений в вычислениях. Огромная часть этих вычислений связана с матричными умножениями, которые представляют собой главную часть большинства моделей. Несмотря на развитие различных архитектур вычислений, в том числе ин-памяти, проблемы скорости, энергоэффективности и точности все еще остаются актуальными. Одним из ключевых требований к развитию новых архитектур является повышение эффективности и экономии ресурсов. Однако существующие решения, как цифровые, так и аналоговые, имеют свои ограничения, которые не позволяют полностью решить эти проблемы. Мотивацией для разработки новой архитектуры ОISMA (On-the-fly In-memory Stochastic Multiplication Architecture) является необходимость в более эффективном использовании ресурсов и уменьшении накладных расходов в вычислительных процессах.
## Метод
ОISMA представляет собой инновационную подход к вычислениям, основанную на практически стохастическом уровне абстракции. Основной идеей является конвертация обычных операций чтения памяти в стохастические множительные операции с помощью системы "Bent-Pyramid". Эта система позволяет осуществлять внутрипамятные операции умножения, используя только минимальные дополнительные ресурсы. Для суммирования результатов используется резервная периферия, которая агрегирует битстреймы, полученные в результате стохастических умножений. Архитектура строится с учетом модулярности и масштабируемости, чтобы поддерживать различные размеры матриц, начиная от малых до больших (до 512x512). Методология основана на комбинации простоты стохастической аппроксимации и цифровой структуре памяти, что обеспечивает высокую точность и эффективность.
## Результаты
Опыты были проведены с размерностями матриц от 4x4 до 512x512. Результаты показали, что для матрицы 512x512 стохастическая архитектура ОISMA демонстрирует снижение среднего относительного ошибки Frobenius до 1,81%, что значительно лучше, чем результаты 64-битного формата двойной точности (6,25%). Это указывает на высокую точность и надежность новой архитектуры. Кроме того, эксперименты по энергоэффективности и плотности вычислений показали, что OISMA может достигать значительно более высокой точности при меньшем потреблении энергии и меньшем объеме вычислительной площади. Например, на технологии 180 нм OISMA достигает энергоэффективности 0.891 TOPS/W и плотности вычислений 3.98 GOPS/mm². Основно
Annotation:
Artificial Intelligence models are currently driven by a significant
up-scaling of their complexity, with massive matrix multiplication workloads
representing the major computational bottleneck. In-memory computing
architectures are proposed to avoid the Von Neumann bottleneck. However, both
digital/binary-based and analogue in-memory computing architectures suffer from
various limitations, which significantly degrade the performance and energy
efficiency gains. This work proposes OISMA, a novel...