## Контекст Инфраструктура индустриальных активов широко используется в различных отраслях, но ее эффективное управление часто оказывается сложной задачей. Одним из ключевых аспектов этого управления является проведение Failure Mode and Effects Analysis (FMEA), которая позволяет идентифицировать потенциальные неисправности и оценивать их влияние на систему. Для создания FMEA требуется значительный вклад ручных работ, так как это процесс, основанный на анализе технических документов. Данные документы часто содержат неорганизованные или перекрестно ссылающиеся сведения, что усложняет автоматический анализ. Из-за этого неэффективность и затраты времени на создание FMEA остаются высокими. Наша мотивация заключается в разработке интерактивной системы, которая бы позволила сократить эти затраты и улучшить точность процесса. ## Метод Мы предлагаем интерактивную систему, которая использует фундаментальные модели языка (foundation models) для обработки технических документов и построения FMEA. Наша методика включает несколько этапов: (1) **предобработка текста** для подготовки технических документов к анализу; (2) **агрегация информации** из нескольких документов для построения полного и точного представления о системе и ее компонентах; (3) **генерация FMEA** с помощью фундаментальных моделей языка, которые анализируют связи между компонентами и их возможными неисправностями; (4) **хранение результатов** в реляционной базе данных для дальнейшего использования в системах управления активами. Благодаря этой архитектуре, мы объединяем технологии ИИ с пользовательскими требованиями для повышения эффективности процесса. ## Результаты Мы проводили эксперименты с различными наборами технических документов, включая документацию по эксплуатации и техническим спецификациям. Наши результаты показали, что система способна эффективно агрегировать сведения из множества документов и генерировать FMEA в значительно короткие сроки по сравнению с традиционными методами. Мы провели сравнительный анализ с ручным подходом и обнаружили, что система сокращает время создания FMEA в среднем на 40%, при этом улучшая точность и полноту результатов. Эти результаты демонстрируют потенциал нашего подхода для улучшения процесса создания FMEA в индустрии. ## Значимость Наш подход может быть применен в различных отраслях, таких как энергетика, промышленность, инфраструктура и другие, где эффективное управление активами критически важно. Ключевые преимущества включают уменьшение времени и затрат на создание FMEA, улучшение точности результатов и интеграция с имеющимися системами управления активами. Это может

## Контекст Unstructured данные, такие как текст, изображения, аудио и видео, составляют большую часть информации в мире. Однако, существующие системы обработки данных, опирающиеся на структурированные форматы, не могут эффективно обрабатывать эти данные. Это ограничение приводит к проблемам в доступе и анализе unstructured данных. Мы предлагаем новую архитектуру под названием "computing on unstructured data", которая предполагает три основных этапа: извлечение логической структуры, преобразование её с помощью алгоритмов обработки данных и восстановление unstructured формата. Этот подход позволяет объединить преимущества структурированного и unstructured способов обработки данных. Из этого следует, что необходимо разработать систему MXFlow, которая реализует этот подход. ## Метод Методология, предлагаемая в этой работе, основывается на трех этапах: извлечение latent structure (логической структуры), преобразования этой структуры с помощью data processing techniques (алгоритмов обработки данных) и projection back (возврате обратно к unstructured формату). Для этих целей предлагается MXFlow — новая система, которая включает в себя механизмы для извлечения структуры, трансформации и восстановления unstructured формата. Эти этапы обеспечивают би-дирекциональную Pipeline (конвейерную обработку), которая позволяет объединить преимущества оба подхода к обработке данных. Мы также рассматриваем технические решения для реализации MXFlow, в том числе алгоритмы для извлечения логической структуры и преобразования её. ## Результаты Мы проводили эксперименты на различных типах unstructured данных, включая текст, изображения и аудио. Использовались различные данные, такие как текст для научного анализа, изображения для обработки графической информации и аудио для распознавания речи. Результаты показали, что MXFlow эффективно осуществляет извлечение логической структуры, преобразование её и восстановление unstructured формата. Эти результаты подтверждают то, что MXFlow может обеспечить би-дирекциональную обработку с одинаковой эффективностью как для структурированных, так и unstructured данных. ## Значимость Разработанный подход имеет широкие области применения, включая computer vision, natural language processing, speech recognition и другие области, где unstructured данные играют определяющую роль. Одним из основных преимуществ MXFlow является возможность обрабатывать unstructured данные с помощью структурированных методов, что позволяет увеличить точность и эффективность обработки. Это открывает новые перспективы в развитии AI и data analysis. ## Выводы Мы представили новую модель computing on unstructured data, которая объединяет преимущества структурированных и unstructured подходов к обработке данных. Мы также представили систему MXFlow, которая реализует этот подход.

#### Контекст Современные системы анализа данных сталкиваются с возрастающим объемом неструктурированных документов, которые требуют не только значительных вычислительных ресурсов, но и способности к семантическому пониманию. Традиционные значение-ориентированные предикаты, широко используемые в этих системах, не могут справиться с такими задачами, так как не включают в себя особенности неструктурированных данных. Большие языковые модели (LLMs), в свою очередь, обладают мощными возможностями в области семантического понимания, но их высокая стоимость вызова становится проблемой при масштабировании. Для решения этой проблемы необходим метод, позволяющий эффективно использовать модели LLMs в сценариях массового анализа документов. #### Метод Система \textsc{ScaleDoc} предлагает разделение процесса выполнения предикатов на две фазы: оффлайнное представление и онлайн-фильтрацию. В оффлайн-фазе, \textsc{ScaleDoc} использует LLM для генерирования семантических представлений для каждого документа, что обеспечивает глубокое понимание контента. В онлайн-фазе, для каждого запроса, \textsc{ScaleDoc} обучает легковесную прокси-модель на этих представлениях для быстрого отбора документов, отправляя только неоднозначные случаи на полный анализ LLM. Для достижения эффективности итоговой системы, \textsc{ScaleDoc} внедряет две ключевые инновации: (1) фреймворк на основе контрастного обучения, обучающий прокси-модель для точного определения решений, и (2) адаптивный каскадный механизм, оптимизирующий политику фильтрации в зависимости от требуемой точности. #### Результаты В ходе экспериментов, проведенных на трех различных наборах данных, \textsc{ScaleDoc} демонстрирует существенные выигрыши в производительности. Система достигает быстродействия, которое превышает 2$\times$ по сравнению с прямым использованием LLMs. Более того, \textsc{ScaleDoc} снижает количество дорогостоящих вызовов LLMs до 85%, оставляя только самые неоднозначные случаи. Эти результаты показывают, что \textsc{ScaleDoc} эффективно решает проблему масштабирования предикатов для неструктурированных документов, снижая затраты вычислительных ресурсов и увеличивая скорость работы. #### Значимость \textsc{ScaleDoc} может быть применен в различных областях, где необходимо быстрый и эффективный анализ большого количества неструктурированных документов, например, в системах мониторинга, системах поддержки принятия решений и системах управления рисками. Основное преимущество \textsc{ScaleDoc} заключается в том, что он обеспечивает высокую эффективность без подрыва точности, что делает его привлекательным для решения реальных проблем. Этот подход может сущест

## Контекст Работа с непроверенными табличными данными, содержащими несогласованности в представлении и недостаточно метаданных, является трудной и запутанной задачей. Хотя ранее развиты методы для обнаружения и эксплуатации табличных данных, схематизация таких данных остается сложной задачей, особенно когда метаданные ограничены. Обнаружение и интерпретация структуры таблиц являются ключевыми для их эффективного использования в задачах, таких как обнаружение значимости данных, создание запросов и анализ. Мы предлагаем SI-LLM (Schema Inference using Large Language Models), которое использует технологии больших языковых моделей для вывода концептуальной схемы из непроверенных табличных данных, используя только заголовки столбцов и значения ячеек. ## Метод SI-LLM основывается на трех этапах. В первом этапе используется технология генеративного моделирования для построения высококачественных данных для обучения. Затем, используя промежуточные образцы, языковая модель выводит нейросетевую модель, которая выполняет сравнение и вывод. Наконец, генеративная модель генерирует концептуальную схему запросов, включая типы сущностей, атрибуты и их взаимоотношения. Архитектура метода основывается на глубоких нейросетевых моделях, обученных с помощью больших объемов данных, что позволяет получать точные и детальные схемы даже при недостаточном количестве метаданных. ## Результаты В экспериментах SI-LLM был протестирован на двух наборах данных: таблицах веба и открытыми данными. Он показал перспективные результаты в целом, а также более высокие или одинаковые результаты по сравнению с современными методами на каждом этапе. Например, SI-LLM существенно повысил точность вывода сущностей и связей, а также повысил удобочитаемость интерпретаций данных. Эта система позволяет пользователю быстро понять структуру данных и принять решения на ее основе. ## Значимость SI-LLM может применяться в различных областях, включая базы данных, анализ данных и дизайн баз данных. Он предоставляет более конкретные и точные схемы, чем существующие методы, что упрощает работу с непроверенными данными. Это может повлиять на развитие технологий, повышая эффективность обработки табличных данных и улучшая качество решений, основанных на этих данных. ## Выводы SI-LLM является перспективным инструментом для вывода схем табличных данных, используя только заголовки и значения ячеек. Он достигает более высокого качества и точности по сравнению с другими методами. Наше исследование продемонстрировало возможность использования технологий больших языковых моделей для решения сложных задач в области д

## Контекст В современных практиках разработки концептуальных моделей в компьютерных науках существует сильное, почти универсальное предпочтение к концептуальным схемам. Эти схемы часто называются просто концептуальными моделями, что демонстрирует сильное схема-центричное стремление. Этот подход является кристаллизацией почти вездесущей тенденции в популярных учебниках по базам данных. Буквально "перемотка", которую мы обозначили как "schema turn", представляет собой сильное уделение внимания концептуальным схемам в полном отрезании от информационной базы. Такой подход породил широко распространенные практики в концептуальной моделировании, но при этом привел к лишению внимания важному компоненту — информационной базе. Цель нашего исследования заключается в разъяснении происхождения этого подхода, показании того, что он не является фундаментальным, и позволении внедрению более всеобъемлющего подхода, который включает обе стороны — схему и её информационную базу. Это позволит улучшить автоматизацию и глубину исследований в области концептуального моделирования. ## Метод Мы предлагаем рассмотреть концептуальное моделирование как систему, включающую концептуальную схему и информационную базу, и рассматривать их как интегрированные, но различные, компоненты. Для достижения этой цели мы используем методологию, основанную на новой технологии — bCLEARer. Эта технология представляет собой pipeline-based conceptual modelling, которая позволяет автоматизировать процесс моделирования с учетом обоих компонентов. Мы используем bCLEARer для продemonстрации возможностей этого нового подхода, демонстрируя, как он может быть применен в различных контекстах. Также, мы проводим эксперименты с различными данными, показывая, как этот подход может быть применен в реальных ситуациях, чтобы получить более точные и эффективные результаты. ## Результаты Мы провели ряд экспериментов, используя различные наборы данных, включая как синтетические, так и реальные. Наши результаты показали, что применение pipeline-based conceptual modelling позволяет более точно отразить информационную базу в концептуальной модели, что в свою очередь улучшает качество моделирования. Мы также проанализировали влияние различных параметров на результаты и показали, что наша методология может значительно повысить точность и объём данных, которые могут быть включены в модель. Эксперименты также показали, что bCLEARer может быть применен в различных сценариях, включая те, где информационная база является очень объёмной и сложной. ## Значимость Результаты нашего исследования имеют зна

#################### ## Контекст #################### Современные большие текстовые данные (large text datasets) требуют эффективного и точного обработки, что делает их обработку на высоком уровне качества очень затратной. Большие лингвистические модели (LLMs) стали популярными для обработки таких данных, но существуют различные модели с разными значениями стоимости и качества. На практике модели с высоким качеством (например, GPT-4) могут вызвать слишком высокие затраты, поэтому модели с более низким качеством (например, GPT-4-Mini) могут использоваться вместо них. Однако это приводит к тому, что точность может снизиться, что неприемлемо во многих ситуациях. Для решения этой проблемы необходимо создать систему, которая будет эффективно комбинировать модели с разным качеством, чтобы обеспечить высокую точность при минимальных затратах. #################### ## Метод #################### Предлагаемый подход, который называется BARGAIN, использует адаптивную стратегию выбора записей, которая определяет, какие записи следует обрабатывать с помощью дорогостоящей модели, а какие -- с помощью дешевой. Стратегия основывается на характеристиках данных и задачи, а также на недавних статистических инструментах, которые обеспечивают точные оценки показателей качества. Базовая идея заключается в том, чтобы использовать дорогую модель для записей, где вероятность ошибки высока, и использовать дешевую модель для записей, где ошибка менее вероятна. Таким образом, можно сократить затраты без существенного снижения точности. #################### ## Результаты #################### Для исследования были использованы 8 реальных датасеты, на которых проводились эксперименты с различными вариантами BARGAIN. Результаты показали, что метод существенно сокращает затраты на обработку данных, среднее сокращение составило до 86% в сравнении с текущими решениями. Это достигается без значительного снижения точности, а в некоторых случаях даже улучшает качество вывода. Также были получены строгие теоретические гарантии на точность, достоверность и другие показатели качества. #################### ## Значимость #################### BARGAIN может быть применен в различных областях, где требуется высококачественная обработка данных, например, в системах ранжирования, моделировании и анализа текстовых данных. Он предоставляет значительные экономии стоимости, предоставляя гарантии на качество результатов. Более того, он может стать ключевым инструментом для улучшения эффективности и доступности больших моделей текстового обработки, что может повлиять на широкую область применений, включая AI-приложения и данные в реальном времени. #################### ## Выводы #################### BARGAIN может эффективно решать проблему компромисса между затратами и качеством в обработке тек

#### Контекст Наблюдается повышенный интерес к развитию бо LARGE LANGUAGE MODELS (LLMs), которые используются в различных приложениях, от генерирования текста до глубокого анализа данных. Одной из ключевых сложностей в их инференсе является управление кэшем ключ-значение (KV-cache), который используется для ускорения авторегрессионного декодирования. Несмотря на эффективность, возникают проблемы с эффективным использованием памяти: длина последовательности растет, что приводит к быстрому увеличению размера кэша. Это приводит к высоким затратам ресурсов и снижению производительности. Существующие методы управления кэшем требуют предварительного определения бюджета, что делает их ненаглядными и неэффективными для разнообразных задач. Этот вопрос требует разработки универсального адаптивного подхода для управления кэшем, который может автоматически настраиваться под различные требования. #### Метод Мы предлагаем **GVote** — адаптивную схему управления кэшем, которая выполняет оптимальное управление ресурсами без необходимости явного указания бюджета. Алгоритм оперирует принципом "важных ключей", которые представляют собой совокупность ключей, необходимых для будущих запросов. Чтобы предсказать эти запросы, GVote использует моделирование Monte-Carlo, в котором многократно сэмплируются потенциальные запросы. Для каждого сэмпла выбираются ключи, отвечающие ему, и суммируются в агрегированный бюджет. Эта стратегия позволяет адаптировать кэш под разные требования запросов без ручного вмешательства. Архитектура GVote включает модули для моделирования вероятностей запросов, оптимизации кэша и интеграции с LLMs. #### Результаты Наши эксперименты проводились на нескольких бенчмарках, включая GSM8K, RULER и Longbench. Мы сравнивали GVote с имеющимися методами управления кэшем. Результаты показали, что GVote достигает 2-кратного сокращения потребления памяти при сохранении высокой точности или лучшей, чем у базовых методов. Это указывает на высокую эффективность GVote в уменьшении затрат ресурсов без потери качества вывода. Мы также проверили стабильность GVote по отношению к различным нагрузочным условиям, подтвердив гибкость и надежность приложения. #### Значимость GVote предлагает новый подход к управлению кэшем KV-cache, который автоматически адаптируется под различные задачи LLMs. Это особенно важно для приложений, где постоянно меняются требования к ресурсам и запросам. GVote может применяться в сценариях, где необходима максимальная эффективность памяти, такие как мобильные устройства, облачные сервисы и реальному врем

## Контекст Large language models (LLMs), такие как GPT, возникли в 2018 году и стали основополагающей технологией для приложений, включая текстовую сводку, анализ тональности и автоматизированный ответ на вопросы. Недавно LLMs были интегрированы в реляционные системы управления базами данных (RDBMS) для улучшения запросов и поддержки операций сложной обработки данных. Организации, такие как Amazon, Databricks, Google и Snowflake, позволяют использовать LLMs напрямую в SQL-запросах, называемых LLM queries, для повышения эффективности и понимания данных. Однако существующие решения, основанные на открытом исходном коде, имеют ограниченные возможности и низкую производительность. В настоящем исследовании предлагается подробное описание работы с LLM-интегрированными RDBMS, выявление ограничений и первые шаги в преодоление существующих проблем. ## Метод Для изучения LLM-интегрированных RDBMS были выбраны два открытых исходных решения и одна корпоративная платформа. Исследования основывались на воспроизведении пяти представительных запросов, показывающих различные стороны характеристик LLM-интегрированных систем. Эти запросы были применены для определения функциональных и производительностных ограничений, а также для выявления проблем с масштабируемостью. Также проведено исследование способов оптимизации использования ресурсов и улучшения планирования запросов. Результатом работы были научно обоснованные шаги к улучшению LLM-интегрированных систем, включая инструменты для улучшения планирования запросов и распределения ресурсов. ## Результаты На основе исследования были выявлены три основные проблемы: ограниченная возможность обеспечения структурированных выходных данных, неэффективное использование ресурсов и проблемы с планированием запросов. Организации, использующие текущие решения, сталкиваются с тем, что запросы LLM не всегда могут генерировать структурированные выходные данные в формате, который нужен для дальнейшей обработки. Кроме того, ограниченность ресурсов и ограниченный планировщик запросов приводят к неэффективности и недостаточной масштабируемости. Исследователи предложили свои инициативы для улучшения этих аспектов, включая новые подходы к планированию запросов и применение методов для оптимизации ресурсов. В результате были получены улучшения в производительности и масштабируемости LLM-интегрированных RDBMS. ## Значимость Результаты имеют значительное значение для нескольких областей применения. Во-первых, LLM-интегрированные RDBMS могут улучшить бизнес-анализ и принятие решений за счет улучшения функций оперативного ана

## Контекст В системах управления базами данных (СУБД) необходимо обеспечить эффективность выполнения запросов и минимизировать затраты. Одним из ключевых показателей является точность прогнозирования затрат. Оптимальное прогнозирование затрат позволяет оптимизировать ресурсы, уменьшить время отклика и обеспечить надежность. Однако существуют сложности в получении реалистичных наборов данных для обучения машинного обучения (ML), которые могут повлиять на точность и стоимость моделей. Эти сложности влекут за собой готовность инвестировать в подготовку больших наборов данных или в создание имитационных моделей. Более того, создание разнообразных наборов данных для конкретного экземпляра СУБД позволяет тестировать оптимальность запросов, но требует интеллектуальных решений для генерации этих наборов. Этот процесс является важным для тестирования устойчивости и эффективности работы СУБД. ## Метод Мы применяем методы имитационного обучения, основанные на методах современной генеративной AI и технологий генерации языка (LLM). Технология LLM позволяет генерировать объемные и семантически разнообразные наборы данных, которые могут эффективно имитировать реальные запросы к базе данных. Наша методика включает следующие этапы: 1) создание генеративной модели, которая может генерировать SQL-запросы с различной семантикой; 2) использование синтетических данных для обучения учительной модели, направленной на прогнозирование затрат; 3) оценка эффективности модели в различных сценариях. Метод предъявляет требования к сложности генерируемых данных, чтобы модель могла хорошо обобщаться на реальные запросы. ## Результаты Мы провели эксперименты с использованием различных наборов данных, включая реальные и синтетические. Обученная модель показала повышенную точность предсказания затрат при обучении на синтетических данных, сравнимой с реальными наборами. Мы сравнили нашу модель с конкурентными подходами и выявили, что наш подход позволяет значительно сократить количество обучающих данных, необходимых для достижения точности, 45% меньше, чем при использовании других методов генерации данных. Это уменьшение в количестве данных приводит к сокращению времени обучения и уменьшению стоимости подготовки данных. ## Значимость Наши результаты могут иметь значительное применение в области тестирования СУБД, где требуется эффективность и точность в прогнозировании затрат. Это позволяет улучшить модели для принятия решений в зоне оптимизации ресурсов и регулирования затрат. Областьми применения могут стать интеллектуальные технологии, которые помогают оптимизировать работу систем

## Контекст В современном мире, где объемы данных растет экспоненциально, эффективное использование больших табличных данных становится ключевым заданием. Одним из основных вопросов является поиск эффективных способов для запросов и анализа таких данных, особенно для пользователей, не обладающих значительным опытом работы с программированием и SQL. Несмотря на то, что тексто-к SQL-подходы показали выдающиеся результаты на бенчмарк-данных, они не успешно решают проблему работы с большими таблицами и ограниченной поддержкой современных аналитических задач, таких как главные компоненты и обнаружение аномалий. Наша работа направлена на развитие нового подхода к преобразованию естественного языка в выполняемые планы запросов, позволяющий более гибкий и эффективный подход к анализу данных. ## Метод Мы предлагаем разработать фреймворк, который превращает пользовательские запросы на естественном языке в последовательности выполняемых операций, при этом не привязываясь к конкретной базе данных. Наш подход основывается на использовании глубоких нейронных сетей, которые интерпретируют запросы и строят последовательности операций. Мы используем глубокую модель типа LLM (large language model), которая последовательно оптимизирует поиск решений, при этом позволяя использовать все выигрыши скорости и гибкости в обработке данных. Ключевым элементом является то, что фреймворк может работать непосредственно с данными, выполняя на них необходимые операции, и не требуя загрузки всего датасета в модель. ## Результаты Мы проводим эксперименты на различных базах данных, включая традиционные и большие таблицы с тематикой научного характера. Мы проверяем нашу модель на способности решать задачи, от простых запросов до сложных аналитических задач. Результаты показывают, что наш подход выполняет запросы быстрее и эффективнее, чем существующие системы, благодаря использованию гибкой архитектуры и прямому доступу к данным. Мы также показали, что наше решение успешно поддерживает различные аналитические функции, такие как PCA и аномалии, что дает более широкие возможности по экспериментированию запросами. ## Значимость Наш фреймворк может быть применен в различных областях, где требуется эффективный доступ к большим табличным данным, включая научные исследования, риккор и внедрение аналитических систем в различных промышленных секторах. Основное преимущество нашего подхода заключается в том, что он предоставляет более гибкую и производительную альтернативу SQL, позволяя выполнять широкий спектр запросов, в том числе такие, которые невозможны в клас