APT-LLM: Exploiting Arbitrary-Precision Tensor Core Computing for LLM Acceleration

## Контекст Large language models (LLMs) являются ключевыми инструментами в развитии искусственного интеллекта, но их высокие вычислительные затраты ограничивают их развертывание и реального времени взаимодействие. Одним из потенциальных способов улучшения эффективности является использование методов квантования, но достижение высокой эффективности при использовании ultra-low-bit quantized LLMs по-прежнему остается сложной задачей. Особенно это касается GPU Tensor Cores, которые предлагают ограниченную поддержку, неэффективное управление памятью и жесткие оптимизации. Чтобы справиться с этими проблемами, мы предлагаем APT-LLM — систему ускорения, поддерживающую работу со случайной точностью. ## Метод APT-LLM включает несколько ключевых технических решений. Мы представляем новую данной формат, "bipolar-INT", который позволяет трансформировать данные с потерь между INT и бинарным форматом, обеспечивая эффективность расчетов и совместимость с GPU Tensor Cores. Мы также разработали метод матричного перемножения (MatMul), позволяющий работать с данными в произвольной точности, разбивая и соединяя матрицы на битовых уровнях. Это позволяет гибко менять точность и оптимизировать использование GPU Tensor Cores. Для улучшения управления памятью мы предлагаем систему управления данными, включающую в себя восстановление данных на гибком общем ядре, что позволяет ускорить выполнение и снизить задержки. Наконец, мы реализовали динамическую систему оптимизации, которая выбирает оптимальные настройки для каждого размера матрицы, обеспечивая максимальную производительность для различных архитектур LLMs. ## Результаты Мы провели эксперименты на основе нескольких моделей LLMs, в том числе на PyTorch, TensorRT и NVIDIA CUTLASS. Наша система достигла до 3.99$\times$ ускорения по сравнению с базовыми моделями FP16 на RTX 3090. Также, мы обнаружили, что на RTX 4090 и H800 производительность APT-LLM выше на 2.44$\times$ по сравнению с FP16 и на 1.65$\times$ по сравнению с CUTLASS INT4. Эти результаты демонстрируют, что APT-LLM дает существенное улучшение производительности при работе с ultra-low-bit LLMs в различных условиях. ## Значимость APT-LLM может применяться в различных областях, в том числе при развертывании LLMs в реальном времени, в области NLP, в облачных сервисах, а также в интеллектуальных системах, требующих высокой производительности. Это улучшение производительности и эффективности не только повышает скорость вычислений, но и снижает энергозатраты, что имеет важное значение в масштабном развертывании AI-систем. ## Выводы Мы добились выдающихся результатов в ускорении LLMs, используя уника