## Контекст Область исследования астрономии и космонавтики широко использует спутниковые данные для анализа земной поверхности и внеземных объектов. Одной из ключевых задач в этой области является обнаружение и исключение облаков из изображений, так как они могут серьезно затруднить выполнение таких задач, как картирование поверхности, измерение температурных параметров и другие. Несмотря на появление различных моделей глубокого обучения для облачного очистки, они часто сталкиваются с проблемами, связанными с необходимостью настройки для конкретных спутниковых сенсоров и их ограничениями по количеству спектральных каналов. Эта ситуация приводит к относительному ограничению гибкости и эффективности их применения в реальных условиях. В этом контексте было создано новое решение, Fast-SEnSeI, которое предлагает многоцелевой подход к облачному очистке, основанным на гибкой, сенсорно независимой архитектуре. ## Метод Fast-SEnSeI представляет собой новую модель, которая использует легковесную архитектуру предобработки для сенсорно независимого облачного очистки. Эта модель состоит из модуля Fast-SEnSeI-Encoder, который способен обрабатывать спектральные данные многоканальных сенсоров, независимо от их конфигурации. Используя усовершенствованный спектральный дескриптор, новая модель может обрабатывать данные с различными частотными диапазонами, включая нестандартные варианты. Для финальной сегментации облаков используется компактная модель сегментации на основе модифицированного U-Net, которая оптимизирована для работы на FPGA. Модель весьма эффективна и может быть развернута на пространственно-квалифицированном оборудовании. Для повышения эффективности, Fast-SEnSeI применяет аппаратно-программную архитектуру, в которой модуль обработки данных работает на CPU, а модель сегментации запускается на FPGA, обеспечивая высокую производительность и низкий потребление энергии. ## Результаты Для оценки эффективности Fast-SEnSeI проводились эксперименты на двух наборах данных: Sentinel-2 и Landsat 8. Эти данные отличаются различными конфигурациями спектральных каналов и различными условиями облачности. Результаты показали, что модель Fast-SEnSeI демонстрирует высокую точность разделения облаков, независимо от конфигурации сенсора, и показывает высокую скорость работы на эмбеддденных процессорах. Также было проверено, что модель хорошо справляется с разными условиями облачности, включая сложные сцены с миксем облаков и земной поверхности. ## Значимость Результаты Fast-SEnSeI могут быть применены в различных сферах, таких как картирование земли, измерение температурных параметров, изучение природных ресурсо

## Контекст Сложность и высокая стоимость работы с традиционными трансформационными моделями языков (LLM) ограничивают их приложения в ресурс-критических средах, таких как edge devices и AI PCs. Однако недавние достижения в области quantization (сжатия моделей), позволяющие создавать ultra-low-bit LLM с точностью и end-task performance, приближающейся к full-precision моделям, открывают новые пути к интересующим средам. Тем не менее, текущие state-of-the-art (SOTA) inference runtimes для таких моделей недостаточно эффективны, что ограничивает потенциал таких разработок в средах с ограниченными ресурсами. В настоящей работе рассматривается стремление к оптимизации этих технологий, чтобы раскрыть их потенциал в реальной среде. ## Метод Мы реализуем 1- и 2-bit microkernels, оптимизированные для современных CPU, чтобы добиться максимальной вычислительной эффективности. Эти микроядра интегрируются в SOTA LLM inference framework PyTorch-TPP. Используя модели с 2-битным сжатием, мы сравниваем их производительность с 16-битными и SOTA runtime bitnet.cpp. Этот подход позволяет экспериментировать с различными CPU-платформами и обеспечивает полное оценивание интересующих нас результатов. ## Результаты Наши 1- и 2-bit microkernels показали значительные выигрыши в производительности по сравнению с 16-битными моделями и SOTA runtime bitnet.cpp. Мы достигли скорости выполнения (speedup) до 7x в сравнении с 16-битными моделями и до 2.2x по сравнению с bitnet.cpp. Эти результаты достигаются благодаря оптимизированному процессу quantization и микроядерной оптимизации, которые особенно эффективны на ресурс-критичных системах. ## Значимость Наш подход открывает новые возможности для эффективного использования ultra-low-bit LLM на edge devices и AI PCs. Значительное увеличение скорости и энергоэффективности делает такие модели более доступными для реализации в реальных средах. Это может привести к новым приложениям в области языковых моделей, таких как встраиваемые системы, видеонаблюдение и другие AI-enabled системы. ## Выводы Мы показали, что с помощью оптимизированного microkernel design и SOTA framework PyTorch-TPP можно достичь высокой производительности для ultra-low-bit LLM на AI PCs и edge devices. Это работа открывает новые пути для будущих исследований в области эффективного LLM inference в ресурс-критичных средах.