1 bit is all we need: binary normalized neural networks

## Контекст Настоящее исследование сосредоточено на проблемах, связанных с размером и вычислительной сложностью больших нейронных сетей, таких как модели языка и обработки изображений. Из-за их огромного размера, необходимость хранения большого количества данных и высокой расход ресурсов во время их использования препятствуют их эффективной развертываемости в реальных приложениях. Одной из целей этого исследования является разработка новых методов, которые позволят создавать модели с меньшим размером и низким вычислительным влиянием, при этом сохраняя высокую точность и эффективность. ## Метод Разработана новая технология, основанная на использовании 1-битных параметров в нейронных сетях. Новые слои, названные **binary normalized layers**, используют только два значения — 0 и 1 — для представления всех параметров, включая веса сверток и биасы. Эти слои являются оболочкой для существующих типов слоев (полносвязных, сверточных, атитнуциональных), но с небольшими модификациями. Для исследования эффективности этого подхода, разработаны две модели: модель для задачи классификации изображений с помощью сверточных и полносвязных слоев, и модель для задачи предсказания следующего символа в тексте с помощью трансформера с множественным вниманием. ## Результаты Экспериментальные испытания показали, что модели с бинарными нормализованными слоями показали результаты, которые в основном совпадают с результатами моделей, использующих обычные 32-битные параметры. Например, модель для классификации изображений демонстрирует почти такую же точность, как модель с 32-битными параметрами, при этом используя 32 раз меньше памяти. Также, модель для задачи предсказания текста показала эквивалентные результаты, уменьшая требования к памяти. Это демонстрирует эффективность нового подхода в сокращении размера моделей и уменьшении вычислительного влияния. ## Значимость Результаты демонстрируют, что 1-битные модели могут быть применены в различных областях, таких как мобильные приложения, IoT-устройства и даже нетрендовые компьютеры. Одним из основных преимуществ является значительное сокращение объема необходимой памяти (32 раз в сравнении с 32-битными моделями), что позволяет развертывать модели на устройствах с ограниченными ресурсами. Безусловным преимуществом является то, что 1-битные модели могут быть реализованы на существующем железе без необходимости разработки специальных аппаратных решений. ## Выводы Основным достижением является разработка нового типа нейронных сетей с 1-битными параметрами,