## Контекст В последние годы становится все более очевидным, что классические подходы к представлению текстовых данных, основанные на кодировании (encoding), недостаточно эффективны для передачи семантических отсутствует текстовые научного стиля. Эти методы ограничиваются статичным извлечением признаков и часто пропускают богатые семантические связи в тексте. Это приводит к ограниченной точности и слабому пониманию контекста. Большинство текущих подходов, основанные на использовании больших языковых моделей (LLM), стремятся улучшить представление текстов, однако полагаются только на кодирование входных данных. Эти методы либо игнорируют, либо недостаточно эффективно используют генеративные силы LLMs, которые могут быть использованы для более точного понимания и представления текста. В этой статье предлагается новый подход, который использует генеративные свойства LLMs для более точного и семантически богатого представления текстов. Этот подход не только улучшает характеристики текстовых представлений, но и использует технологии итеративного рефинейма, чтобы добиться более высокого качества и глубины представления. ## Метод Предлагаемый подход, **GIRCSE (Generative Iterative Refinement for Contrastive Sentence Embeddings)**, представляет собой инновационный подход к генерации представлений текстов. В отличие от традиционных подходов, GIRCSE не ограничивается только выводом признаков, но и реализует итеративный процесс, в котором генеративная модель стремится к постоянному улучшению представлений текстов. Главная идея заключается в том, чтобы использовать самостоятельно генерируемые последовательности токенов, которые будут использованы для рефинейма (оптимизации) семантических описаний. Этот процесс осуществляется в цикле, где каждый шаг улучшает качество представления, используя процедуру **contrastive refinement**. Это означает, что каждый новый шаг генерации позволяет модели учитывать более широкий контекст и повышать точность представления. **Главные технические решения:** 1. **Iterative Contrastive Refinement (ICR) Objective**: Этот метод состоит в том, что каждый шаг генерации стремится минимизировать расстояние между представлением текста и его контекстной целью в пространстве семантики. 2. **Autoregressive Generation**: Используется для того, чтобы модель могла последовательно генерировать новые токены, чтобы улучшить представление, минимизируя потери в пространстве вариантов. 3. **Soft Token Optimization**: Генерируемые токены не являются фиксированными, а являются "мягкими", что позволяет модели более тонко управлять потоком информации и улучшать представление. В этом подходе используется **Модель Большо

#### Контекст Large Language Models (LLMs) широко используются в различных областях, но сталкиваются с проблемами в специализированных областях, где наблюдается недостаточная точность. Например, в области медицинского кодирования, самые современные модели показывают только 45.9% точности. Эти ограничения могут привести к неточностям в принятии решений, что является критическим для областей, требующих высокой точности, таких как медицина, право и финансы. Мотивацией для данного исследования является развитие систематического подхода к исправлению ошибок в LLMs, который мог бы улучшить их производительность в специализированных областях. #### Метод Для устранения ошибок в LLMs предлагается метод Hierarchical Error Correction (HEC), основанный на детальном анализе и идентификации типов ошибок. Этот подход включает в себя три этапа: 1. **Анализ знаний** – определяет ошибки, связанные с неверным пониманием данных. 2. **Разумный анализ** – адрессирует ошибки, связанные с недостаточным пониманием контекста или неверным выводом. 3. **Сложность** – решает проблемы, связанные с высокой степенью сложности задачи. Фреймворк использует предварительно обученные модели для каждого этапа и применяет их в зависимости от типа ошибки. Эта систематическая модель позволяет сосредоточиться на наиболее важных ошибках и улучшить общую точность. #### Результаты Для исследования эффективности HEC были проведены эксперименты на четырёх специализированных областях: - **Медицинская транскрипция** (4,921 случаев) - **Юридическое документирование** (1,000 случаев) - **Обнаружение политической биаса** (645 случаев) - **Юридическое разумение** (1,000 случаев) На каждой области были проанализированы результаты, использовав сравнительные модели, включая LLM-архитектуры, такие как BERT и RoBERTa. Результаты показали увеличение точности на 11.2 процентных экземпляров по сравнению с базовыми моделями. Однако в случаях с высокими базовыми результатами (выше 75%), HEC не всегда демонстрирует значительные улучшения, что может быть связано с влиянием на процессы разума. #### Значимость Проведенные исследования открывают новые возможности для улучшения точности LLMs в специализированных областях. Этот подход может быть применен в медицине, юриспруденции и других отраслях, где точность критически важна. Основные преимущества HEC заключаются в систематичности анализа ошибок и целенаправленном исправлении. Однако, есть ограничения, такие как неэффективность на высоких базах точности, что может потребовать дополнительной работы над моделью. #### Выводы В результате данного исследовани

#### Контекст Область исследования сосредотачивается на развитии эффективных методов токенизации для низкоресурсных языков, особенно тех, которые используют геезский алфавит. Такие языки чертятся высоким уровнем морфологической сложности, что создает специфические проблемы для существующих систем токенизации. Основными проблемами являются несохранение морфологических границ при разбиении слов и неэффективность работы существующих методов в условиях ограниченных данных. Данные проблемы сильно сказываются на качестве трансляции и интерпретации текстов. Мотивация заключается в разработке метода, который сохранит морфологическую целостность при эффективном использовании ресурсов. #### Метод Метод, предложенный в работе, называется MoVoC (Morpheme-aware Subword Vocabulary Construction). Он сочетает морфологический анализ и Byte Pair Encoding (BPE) для построения токенов. Морфологический анализ используется для сохранения морфологических границ, а BPE обеспечивает эффективное представление лексического материала. Для обучения и тестирования токенизатора был создан новый набор данных, подготовленный вручную, включающий в себя морфологические морфологические данные для 4 языков, использующих геезский алфавит. Метод также включает в себя морфологический счетчик MorphoScore и метрику Boundary Precision для оценки качества. #### Результаты Проведенные эксперименты показали, что MoVoC-Tok предоставляет важные преимущества в части сохранения морфологии в токенах. Он существенно улучшает MorphoScore и Boundary Precision по сравнению с традиционными методами токенизации, такими как SentencePiece. Однако значительные улучшения в качестве автоматической трансляции не были выявлены, что может быть связано с ограниченным размером выборки и высокой сложностью языка. Тем не менее, результаты демонстрируют, что MoVoC-Tok эффективно работает в условиях ограниченных ресурсов, когда требуется точное разделение морфологических единиц. #### Значимость Метод MoVoC имеет широкие перспективы в области низкоресурсных морфологически сложных языков. Он может применяться в системах машинного перевода, синтеза речи и анализа текстов в геезских языках. Одним из основных преимуществ является более точный токенизатор, который сохраняет значимость морфологических границ. Это влияет на качество трансляции, обеспечивает лучшую лексическую и морфологическую точность. Будущие исследования будут сконцентрированы на увеличении размера данных и расширении применимости метода к другим геезским языкам. #### Выводы Предложенный в работе MoVoC является значитель