BERT4beam: Large AI Model Enabled Generalized Beamforming Optimization

#### Контекст Искусственный интеллект (AI) предполагается стать ключевым двигателем для шестого поколения (6G) беспроводных систем коммуникации. Однако до сих пор большинство исследований в области AI для беспроводных систем фокусируются на тонком настройке предобученных больших языковых моделей (LLMs) для конкретных задач. Это ограничивает их общеуниверсальность и применимость к различным ситуациям. В частности, проблема оптимизации биконным выпуклым декомпаратором (beamforming) в беспроводных системах остается относительно нетронутой в этом контексте. Необходимо развить универсальные AI-модели, которые могли бы эффективно адаптироваться к различным системным целям и масштабам. #### Метод Мы предлагаем новую архитектуру для оптимизации биконного выпуклого декомпаратора, основанную на бидректорном преобразователе векторов (BERT). Модель, названная BERT4beam, формулирует задачу оптимизации биконного декомпаратора как задачу последовательной обработки токенов. Мы проводим токенизацию входных данных, в частности, сигналов состояния канала (channel state information, CSI), и построение модели BERT. Для решения специфичных задач применяются задачи предварительного обучения (pre-training) и дообучение (fine-tuning). Модель разработана с учетом гибкости и может быть применена в различных системных условиях, включая разные конфигурации антенн и целевые целевые функции. Для достижения более высокой универсальности, мы предлагаем расширенную модель UBERT, которая использует более тонкую токенизацию и может оптимизироваться для различных задач сразу. #### Результаты Мы проводим эксперименты с использованием различных данных, включая симуляции беспроводных систем с различными масштабами и условиями. Модель BERT4beam показывает высокую точность и универсальность, близкую к оптимальным решениям, и превосходит существующие AI-модели в различных задачах оптимизации биконного декомпаратора. Модель UBERT, в свою очередь, достигает ещё более высокой гибкости и универсальности, позволяя эффективно решать разные задачи без переобучения. #### Значимость Предлагаемые модели могут быть применены в различных беспроводных системах, включая 5G и 6G, для оптимизации биконного декомпаратора. Они предоставляют высокую гибкость и универсальность, что позволяет применять их в различных условиях систем и конфигураций. Эти модели также могут способствовать эффективному использованию ресурсов и улучшению качества связи, что имеет потенциал для повышения производительности и энергосбережения. #### Выводы Мы успешно разработали модели BERT4beam и UBERT, которые эффективно решают