ProtTeX-CC: Activating In-Context Learning in Protein LLM via Two-Stage Instruction Compression
2508.12212v1
cs.LG, cs.AI, q-bio.QM
2025-08-19
Авторы:
Chuanliu Fan, Zicheng Ma, Jun Gao, Nan Yu, Jun Zhang, Ziqiang Cao, Yi Qin Gao, Guohong Fu
Резюме на русском
#### Контекст
Протеиновые большие языковые модели (LLM), такие как ProtTeX, представляют собой мощные инструменты для анализа и моделирования протеинов. Они объединяют в себе различные свойства протеинов, такие как последовательности аминокислот и структурные особенности, в единую модель. Однако существуют две основные проблемы. Во-первых, применение сочетания последовательностей и структурных данных приводит к удвоению длины запроса и нарушению сохранения характеристик в уровне резидентов. Во-вторых, ограничение контекстного окна и ограничение корпуса обучения затрудняют использование ProtTeX в ситуациях нескольких образцов (few-shot learning). Данные ограничения существенно ограничивают их широкое применение в практических задачах.
#### Метод
Для улучшения ProtTeX-CC был разработан двухэтапный подход:
1. **Joint Embedding Compression** — разработана механика, которая объединяет последовательность и структурные свойства в одной последовательности на уровне резидентов. Это позволило значительно сократить длину входных данных (до половины), оставив полноценную информацию.
2. **Self-Compression Module** — второй этап сжимает длину демонстраций (демонстрационных примеров), сводит их к краткому виду, основываясь на последних токенах, полученных из полного контекста. Это позволило сократить длину демонстраций от 751 до менее 16 токенов.
Эти модификации добавили в ProtTeX-CC лишь небольшое число дополнительных параметров, не затрагивая основную структуру модели.
#### Результаты
Конкретные эксперименты проводились на задачех функционального прогноза протеинов. Использовались две области данных: in-domain (сходная с обучающим корпусом) и out-of-domain (различная с обучающим корпусом). Основные результаты:
- **In-domain benchmark**: увеличение точности на 2%.
- **Out-of-domain dataset**: повышение производительности на 11%.
- **Compression Ratio**: в 16-shot сценарии сократилось приблизительно на 93.68%, что демонстрирует эффективность сжимающего подхода.
#### Значимость
Предложенный подход имеет большое практическое значение в нескольких областях:
1. **Медицина и биология**: повышение точности прогноза функций протеинов, что может привести к разработке новых лекарств и биотехнологий.
2. **Искусственный Интеллект**: улучшение универсальности и обучаемости моделей без значительных изменений архитектуры.
3. **Задачи классификации и генерирования**: модель ProtTeX-CC может применяться в широком спектре задач с небольшим числом обучающих примеров.
#### Выводы
ProtTeX-CC значительно улучшает возможности ProtTeX в ситуациях нескольких образцов, сжимая запросы без потери производительности и улучшая общую гибкость. Буду
Abstract
Recent advances in protein large language models, such as ProtTeX, represent
both side-chain amino acids and backbone structure as discrete token sequences
of residue length. While this design enables unified modeling of multimodal
protein information, it suffers from two major limitations: (1) The
concatenation of sequence and structure tokens approximately doubles the
protein length and breaks the intrinsic residue-level alignment between
modalities. (2) Constrained by the training corpus and limited context window,
ProtTeX is typically trained on single-protein inputs, rendering it
incompatible with in-context learning (ICL) and thus limiting its
generalization capability. To address these issues, we propose ProtTeX-CC, a
lightweight two-stage compression framework designed to enhance ProtTeX under
few-shot settings. We first design a joint embedding compression mechanism that
fuses sequence and structure representations at the residue level, effectively
reducing the protein input length by half without sacrificing performance. Then
we propose a self-compression module that aggregates each full demonstration
into the latent space of the last few linguistic tokens, reducing the average
demonstration length from 751 tokens to less than 16 tokens. Compared to the
original ProtTeX, our self-compression approach achieves a compression ratio of
approximately 93.68% in the total prompt length under the 16-shot setting.
Without modifying the backbone model, ProtTeX-CC introduces only a small number
of additional parameters through PEFT-based tuning in the joint embedding
compression stage and a single trainable projection layer in the
self-compression stage. Extensive experiments on protein function prediction
show that ProtTeX-CC improves performance on the in-domain benchmark by 2%, and
generalizes well to the out-of-domain dataset with a performance gain of 11%.
Ссылки и действия
Дополнительные ресурсы: