## Контекст В последние годы large language models (LLM) продемонстрировали вполне убедительные результаты в задачах Text-to-SQL, где требуется преобразовать синтаксически корректный текстовый запрос в SQL-запрос, соответствующий логике БД. Однако существует еще одна важная задача, называемая Cross-System SQL Translation (чаще всего — SQL-to-SQL), которая заключается в переводе SQL-запроса, написанного для одной базы данных (например, MySQL), на соответствующий запрос, корректный для другой базы данных (например, ClickHouse). Эта задача является достаточно сложной, так как каждая база данных имеет свои особенности в синтаксисе, функциях и системных ограничениях. Несмотря на ее практическую важность, существующие бенчмарки для SQL-задач не очень подходят для эффективной оценки моделей в Cross-System SQL Translation, в основном из-за ограниченного набора систем, с которыми они работают, и неэффективности в отражении реальных системных различий. ## Метод PARROT (Practical And Realistic BenchmaRk for CrOss-System SQL Translation) — это новый бенчмарк для оценки моделей LLM в Cross-System SQL Translation. Он включает 598 пар запросов, полученных из 38 открытых баз данных и реальных бизнес-систем. Авторы специально подготовили эти пары, чтобы оценить то, насколько хорошо модели LLM понимают системно-зависимые различия в SQL. Для расширенного тестирования представлены два дополнительных варианта: PARROT-Diverse (28,003 пар для тестирования многообразия синтаксиса) и PARROT-Simple (5,306 пар для тестирования под конкретные ситуации). Все пары работают с 22 production-grade database systems, что делает PARROT одной из самых мощных и обширных баз для этих задач. Для поддержки будущих исследований авторы также выпустили открытый leaderboard и исходный код на сайте: https://code4db.github.io/parrot-bench/. ## Результаты Авторы провели эксперименты с несколькими популярными LLM, включая GPT-4, LLaMA и др., и оценивали их на PARROT, PARROT-Diverse и PARROT-Simple. Результаты показали, что даже самые продвинутые модели достигают низкую точность (менее 38.53% в среднем) при выполнении задач Cross-System SQL Translation. Это свидетельствует о том, что эта задача значительно сложнее Text-to-SQL и требует более специализированных подходов. Также были проведены тестирования на PARROT-Diverse и PARROT-Simple, которые показали, что LLM способны получать высокую точность на простых задачах, но сильно страдают при работе с системно-зависимыми различиями. ## Значимость PARROT является первым реальностью для эффективной оценки LLM в Cross-System SQL Translation. Его особенность заключается в том, что он хорошо отражает реальные различия систем, что не дает LLM просто "обмануть" бенчмарком, при этом оставаясь полезным для реальных бизнес-систем. Это открывает пути для развития моделей, кото

#### Контекст Существует многочисленное количество открытого кода и моделей текстовых машинных носителей, созданных для конкретных задач и сфер, включая здравоохранение, юридические задачи и финансы. Однако существуют проблемы с организацией и поиском этих моделей, так как метаданные и репозитории часто являются несогласованными и неструктурированными. Это делает сложной навигацию и понимание того, как модели могут быть применены к новым задачам. Мы предлагаем Delta Activations, метод, который позволяет представить отлаженные модели в виде векторных представлений, измеряя изменения в их внутренних активациях относительно основной модели. Это представление позволяет эффективно кластеризовать модели по домену и задаче, демонстрируя структуру ландшафта моделей. #### Метод Delta Activations определяются как интегральные изменения внутренних активаций модели после обучения, относительно базовой модели. Мы используем методы снижения размерности, такие как t-SNE и UMAP, для визуализации векторных представлений. Для кластеризации используется agglomerative clustering, чтобы разделить модели по домену и задаче. Мы также проводим эксперименты для оценки свойств Delta Activations, включая робастность к разным схемам обучения, а также исследуем характеристики подхода для объединения моделей и выбора моделей. #### Результаты Мы проводим эксперименты с рядом отлаженных моделей, включая известные LLMs, построенные на основе масштабируемых архитектур, таких как T5 и RoBERTa. Мы проводим кластеризацию моделей по домену (например, здравоохранение и финансы) и по задаче (например, распознавание речи и перевод текста). Наши результаты показывают, что Delta Activations эффективно кластеризуют модели по схожести задач и домена, демонстрируя ценную структуру в ландшафте моделей. Мы также показываем, что Delta Activations могут быть использованы для выбора моделей и их объединения, а также позволяют закладывать задачи при помощи нескольких данных для подготовки. #### Значимость Delta Activations могут применяться для улучшения поиска, кластеризации и выбора моделей в среде больших текстовых моделей. Это позволяет сократить время и ресурсы, необходимые для понимания и применения моделей к новым задачам. Мы также ожидаем, что Delta Activations могут помочь повысить прозрачность и понимание в области обучения моделей, а также облегчить процесс применения моделей в различных сферах. #### Выводы Мы представили Delta Activations, метод для представления отлаженных моделей в виде векторных представлений, позволяющий эффективно кластеризовать модели по домену и задаче. Мы показали, что Delta Activations естественно вписываются в структуру ландшафта моделей, демонстрируя ценную информацию для понимания и применения моделей. Мы также показали,

## Контекст Тематическое инвестирование стремится формировать портфели, соответствующие структурным трендам, однако выбор соответствующих активов остается сложным из-за перекрывающихся границ отраслей и динамических изменений рынка. Эти трудности ограничивают эффективность темытологических инвестиций. Тем самым, необходимо разработать методы, позволяющие лучше понять связи между темами и активами, а также учитывать изменения рынка. Такой подход позволит повысить качество портфелей и их рисково-вознаграждаемые характеристики. ## Метод Мы предлагаем Thematic Representation Set (TRS) — расширенный набор данных, который использует реальные тематические ETF и дополняется индустриальными классификациями и финансовыми новостными данными. TRS обеспечивает точное определение тематических связей между активами и подробные текстовые профили для каждого актива. На основе TRS мы предлагаем \textsc{THEME}, фреймворк на основе градиентного взвешивания, который строит вложенные семантические и временные модели. Этот фреймворк позволяет лучше идентифицировать тематические связи между активами и учитывать динамику рынка. ## Результаты Мы проверили \textsc{THEME} на нескольких метриках реализации, включая точность, долгосрочную стабильность и риск. Наши результаты показывают, что \textsc{THEME} превышает существующие методы в несколько показателей. Эти результаты демонстрируют, что \textsc{THEME} не только избегает ложных срабатываний, но и обеспечивает более точное понимание тематических связей. ## Значимость Тематическое инвестирование имеет широкое применение в построении портфелей стратегических инвестиций. Метод \textsc{THEME} позволяет улучшить точность выбора активов, учитывая тематические связи и влияние динамики рынка. Это может привести к более эффективным портфелям с уменьшенными рисками и высокими возможностями роста. ## Выводы Мы доказали, что \textsc{THEME} эффективно решает проблему выбора активов в тематическом инвестировании. Наш подход может быть расширен на другие ситуации, где требуется точное понимание семантических связей и временных данных. Наша работа открывает пути для будущих исследований в области адаптивных методов для инвестиционных стратегий.

## Контекст Мировой фуд-ландшафт насыщен сложными, многогранными и многоуровневыми культурными, научными и коммерческими утверждениями о пищевых продуктах. Они относятся к их составу, свойствам, потенциальным пользам и вредностям, а также к предпочтениям и традиционным убеждениям. Например, есть утверждения, основанные на научных исследованиях (пробиотики способствуют нормальной работе кишечника), такие как "содержатся в огнестрельном оружии", но также есть недостоверные (александр медведев генетиком) или туманные (суперфуды усиливают иммунитет). Подобные утверждения возникают в различных регионах с разными историческими, культурными и регулиаторными контекстами. Однако трудности в их проверке, контекстуализации и отслеживании остаются значительной проблемой. Наша мотивация заключается в разработке инфраструктуры, которая позволяла бы структурировать и проверять такие утверждения, повышая прозрачность, достоверность и удобство для потребителей, политиков и научного сообщества. ## Метод Мы предлагаем развить Food Claim Traceability Network (FCN), являющийся расширением FKG.in, знаний о индийской пищевой культуре. Эта система будет построена на основе графа знаний и использовать семиаутоматизированные процессы знаний для извлечения, валидации и проверки пищевых утверждений. Мы внедрили рабочий процесс, основанный на Large Language Models (LLMs), для целей доказательства концепта. Рабочий процесс включает сбор данных из источников, таких как Reddit, и их приведение к структурированному виду с использованием проверяемого стека технологий. Он также предусматривает проверку источников, автоматическую валидацию утверждений и возможность контекстуализации результатов. Архитектура FCN основывается на прозрачных интерфейсах и использует семиаутоматизированные процессы для поддержки повседневных потребителей, ученых и политических деятелей. ## Результаты Мы провели эксперименты с выборкой данных из Reddit, используя LLM для извлечения и структурирования пищевых утверждений. Процесс включал курение и проверку данных с использованием рабочего процесса FCN. Эксперименты показали, что система способна структурировать утверждения с высоким уровнем точности и предоставлять контексты, помогающие понимать их уникальность и достоверность. Мы показали, как рабочий процесс FCN может быть применен для проверки пищевых утверждений, извлечения их структурированных описаний и поддержки контекстуальных знаний. ## Значимость FCN может быть применено в различных областях, включая поиск знаний, политику в области питания и выбор потребителей