#### Контекст Текстовое-к-речевое преобразование (Text-to-Speech, TTS) является важной областью искусственного интеллекта, которая обеспечивает синтез речи на основе текста. Одним из главных вызовов является синтез речи в неизвестных языках или с неизвестными речевыми идентичностями. Этот процесс важен для расширения приложений TTS, таких как локализация и доступность. Несмотря на прогресс в масштабируемых моделях, лёгкие модели TTS, оптимизированные для ресурсно-ограниченных устройств, становятся все более востребоваными. В этой работе мы изучаем добавление адаптеров к лёгким моделям TTS для решения проблемы неизвестных речевых и языковых идентичностей, чтобы достичь эффективного и точного синтеза голоса. #### Метод Мы используем адаптеровую архитектуру для улучшения лёгких моделей TTS. Адаптеры — небольшие модули, добавляемые к существующим моделям, чтобы научить их обучаться на новых речевых и языковых идентичностях без переобучения основной модели. Мы сравниваем две задачи: неизвестный голос и неизвестный язык. Для измерения качества синтеза мы используем традиционные метрики, такие как MOS (Mean Opinion Score), а также разрабатываем новую метрику, основанную на измерении акцента, чтобы оценить натуральность синтезированной речи в новом языке. Модель тренируется на существующих данных речи, а затем модифицируется с помощью адаптеров для обучения новых речевых и языковых признаков. #### Результаты Мы проводим эксперименты на широкой палитре речевых и языковых признаков, включая новые речевые идентичности и языки, для которых не было доступных никаких записей. Мы показываем, что адаптеры эффективно учитывают новую информацию о голосе и языке, улучшая качество синтеза. Благодаря нашей метрике акцента, мы также показываем, что синтезированная речь звучит натурально в новой среде. Мы также изучаем различные конфигурации адаптеров, такие как размер, место размещения и количество голосов, и показываем, что эти факторы влияют на качество синтеза. #### Значимость Наши результаты демонстрируют широкое применение адаптеров в лёгких текстово-речевых системах. Они могут быть использованы для синтеза речи на новых языках и с неизвестными речевыми идентичностями без необходимости обучать модель с нуля. Это значительно увеличивает производительность и дешевизну при развёртывании TTS в новых регионах и языках. Кроме того, мы показываем, как адаптеры могут быть настроены для минимизации «забывания» исходной знания модели, что является ключевым вызовом в машинном обучении. Наша работа такж

#### Контекст В последние годы движутся вперед технологии обработки естественного языка, в том числе большие языковые модели (LLM). Однако эти модели часто содержат принципиальные ошибки в области биаса и несправедливости. Биаз может основываться на полах, группах, расовых и этнических признаках. Такие ошибки могут привести к недостаточной точности, необоснованным предпочтениям и даже ущербу этичным нормам. В то же время, внедрение эффективных стратегий уменьшения модели, таких как квантизация, становится ключевым фактором в улучшении производительности и экономии ресурсов. Изучение влияния квантизации на биаз моделей является актуальным и относительно неизученным в области ИИ. #### Метод Мы используем многогранный подход для оценки влияния квантизации на биаз моделей. Методология включает в себя как проблемы текстов, так и целые тексты, используя широкий круг метрик, включая зависимость скрытых векторов, пространственную структуру, и потоковую целостность. Мы изучаем различные стратегии квантизации с различными уровнями сжатия. Модели, используемые в экспериментах, содержат различные архитектуры и уровни разума. Методы включают в себя изучение текстов с открытым кодом и машинно выученных систем, включая RoBERTa, BERT, и T5. Эксперименты проводятся на девяти различных тестовых наборах, включая проблемы скрытых стереотипов, токсичности, сентимента и справедливости. #### Результаты Наши эксперименты показали, что квантизация может снизить модельный биаз, особенно в случае культурных или этнических предрассудков. Однако она незначительно увеличивает женские стереотипы и несправедливости в случае жестокости и негатива. Также обнаружено, что степень увеличения биаса зависит от уровня сжатия и типа квантизации. Например, агрессивное сжатие приводит к большему увеличению несправедливости. Мы также обнаружили, что тип модели (например, текстовый генератор или базовая модель) и ее разумный потенциал влияют на степень изменения биаса. #### Значимость Наши результаты могут помочь значительно улучшить практику использования моделей языка в сферах, где этичность и нейтральность ключевые. Эффективное управление биазом моделей после квантизации может привести к улучшению практических решений в таких областях, как медицина, правосудие, и образование. Мы также отмечаем, что наш подход может быть расширен для изучения других эффектов, таких как изменение токсичности и эмоционального звучания, в зависимости от квантизационных стратегий. #### Выво

## Контекст Современные большие языковые модели (LLMs) показали впечатляющие результаты в решении многоэтапных задач, требующих логического и резолюционного мышления. Однако поведение этих моделей, особенно техники, которыми они пользуются для достижения таких результатов, до сих пор остается неполностью понятой. Одним из возможных поведений является **планирование** — выбор будущей целевой токенов заранее и последовательное выработки токенов, которые приводят к достижению этой цели. Несмотря на появление работ, утверждающих, что некоторые LLMs могут планировать, некоторые из них ограничиваются фиксированным планированием или фокусируются на одной задаче или домене. Наша мотивация заключается в том, чтобы разработать методы для логического и фактического различения планирования от импровизации в разных моделях и задачах. ## Метод Мы предлагаем **операционные критерии** для распознавания планирования, которые основываются на сравнении поведения моделей в задачах сразу на нескольких моделях и задачах. Эти критерии позволяют выявить не только планирование, но и его уровень и степень. Наш **автоматизированный анализ** включает в себя модели **Gemma-2-2B (base и instruction-tuned)** на подготовленных данных из MBPP (Multi-Benchmark Programming Problem) и подход Claude 3.5 Haiku к тексту в поэтическом формате. Мы разработали подход, который дозволяет сравнить поведение между моделями и задачами, определяя явные различия в их поведении. ## Результаты Мы исследуем два основных теста: **MBPP** и задачу **Claude 3.5 Haiku**. На MBPP мы установили, что Gemma-2-2B может планировать, но это не относится к Haiku. Наоборот, Haiku решает поэтическую задачу с использованием импровизации, в то время как Gemma-2-2B может переключаться между планированием и импровизацией в разных задачах, даже в рамках одного запуска. Мы также показали, что **инструкционное тренирование** модели Gemma-2-2B улучшает существующие планирования, но не создает их с нуля. В частности, базовая модель Gemma-2-2B уже содержит определенные планировательные поведения, но инструкционное тренирование позволяет оптимизировать их. ## Значимость Наши находки имеют значительное значение для развития теоретических и практических аспектов LLMs. В частности: - **Приложения**: Методы, разработанные в рамках наших исследований, могут быть использованы для тестирования и моделирования логических систем в широком спектре задач, включая программирование и творческое письменство. - **Преимущества**: Наш подход обеспечивает **прозрачность** в поведении моделей и достигает **корректности** в определении планирования. - **Потенциальное влияние**: Это может прив

#################### ## Контекст #################### В последние годы появилось множество значительных прогрессов в области бо LARGE VISION-LANGUAGE MODELS (LVLMs), которые обеспечивают мощные возможности в анализе и понимании изображений и текста. Однако существуют значительные недостатки в их понимании структурированных данных, таких как таблицы и графики, а также в их производительности при решении задач, требующих продвинутого математического моделирования. Эти проблемы видны особенно в решении задач, которые требуют расширенного знания, таких как оценка данных, экстраполяция и логическое связывание. Например, существуют нерешительные результаты в области визуального анализа спортивных статистических данных. Этот исследовательский подход исследует эти проблемы в контексте спортивных статистических данных, особенно в связи с их значимостью в решении характеристик спортивных матчей. #################### ## Метод #################### Чтобы устранить эти проблемы, мы предлагаем **MMCRICBENCH-3K**, который представляет собой бенчмарк для оценки производительности LVLMs на Visual Question Answering (VQA) задачах с использованием спортивных статистических данных. Мы генерируем 1 463 синтетических изображений скорок, как в ODIs, так и в T20 и Test-форматах, и создаем 1 500 вопросов-ответов на английском языке, которые требуют развитого анализа, такого как вычисления счета, прогнозирование результатов и логическое сопоставление. Датасет делится на две подвыборки: **MMCRICBENCH-E-1.5K**, содержащий изображения скорок на английском языке, и **MMCRICBENCH-H-1.5K**, содержащий изображения скорок на хинди. Измерения выполняются на английском языке, чтобы обеспечить сравнение в рамках одного языка, но с разными стилями ввода. Датасет предоставляет структурированные таблицы, в которых ключевые статистические метрики определяют трудные задачи моделирования. #################### ## Результаты #################### Мы проводим эксперименты с популярными LVLMs, включая GPT-4o и Qwen2.5VL. Результаты показали, что даже на английском языке, где LVLMs получают наибольший объем данных для обучения, модели сталкиваются с значительными недостатками в продвинутых задачах по логическому восприятию и вычислениям. На хинди-подвыборке, где такие модели сталкиваются с узкими наборами данных, производительность значительно ухудшается. Эти результаты также подтверждают, что LVLMs имеют ограниченную способность к контексту, требующему расширенного знания. Отчеты показывают, что проблема во взаимодействии моделей с необходимыми структурными данными и контекстом до сих пор не решена. #################### ## Значи

```markdown ## Контекст Область исследования связана с развитием и применением искусственного интеллекта (ИИ) в области анализа данных и знаний. Существующие проблемы включают затруднения в быстром понимании данных и своевременной получения рекомендаций на их основе. Традиционные рабочие процессы часто требуют многочасов работы аналитиков, чтобы выявить связи и предоставить рекомендации. Мотивация заключается в создании решения, которое существенно ускорит процесс научного анализа, при этом сохранив высокое качество рекомендаций. В этом контексте возникает потребность в автоматизированных системах, которые могут принимать решения на основе анализа данных, выявляя статистически значимые тенденции и предлагая обоснованные решения. ## Метод Авторская система, названная AI Data Scientist, является автономным агентом, основанным на технологиях больших языковых моделей (LLM). Она удаляет физическое расстояние между данными и решениями, предлагая конечные решения в течение нескольких минут. Основой системы является научный гипотезный подход. Агент выявляет статистически значимые тенденции в данных, оценивает их значимость и использует для моделирования прогнозов. Далее, результаты преобразуются в рекомендации, которые объяснены в доступной форме. Система состоит из специализированных подсистем-агентов, каждый отвечающий за отдельный этап обработки данных: чистка данных, выполнение статистических тестов, проверку целостности данных и вывод результатов в понятном виде. Эти подсистемы способны создавать свой собственный код, анализировать причинно-следственные связи и определять, когда требуется дополнительная информация для более точного анализа. ## Результаты Доказательство эффективности системы проводилось через ряд экспериментов на реальных данных. В качестве тестов использовались различные наборы данных, включая маркетинговые данные, данные побочных эффектов лекарств и данные по сельскохозяйственному производству. Для каждого набора данных были выполнены статистические тесты на значимость, проведены проверки целостности данных, а также произведены прогнозы. Результаты экспериментов показали, что система может выполнять в 10-20 раз быстрее сравнительные методы, при этом обеспечивая качественные рекомендации. ## Значимость Полученные результаты могут быть применены в различных сферах: бизнес-аналитике, финансах, здравоохранении и других областях, где требуется быстрая и качественная статистическая обработка данных. Особый потенциал имеет система в развитии более доступного и эффективного способа проведения аналитических работ. Отдельно отмечен

## Контекст Large Language Models (LLMs) отличились относительно недавно, но уже проявили возможность влиять на развитие науки, технологий и общества. Они применяются в различных областях, таких как медицина, наука и разработка чат-ботов. Однако, несмотря на их практическую полезность, лишь немногие из его "загадочных" механизмов понятны. Это порождает вопросы о том, как они обретают определенные знания и как они могут связать различные знания, когда решают задачи. Наша мотивация заключается в том, чтобы разобраться в логике этих моделей, чтобы получить более полное понимание, как они поступают при выполнении задач. ## Метод Мы использовали методологию, которая ставит целью построить сетевой фреймворк, чтобы установить связь между модулями LLM, способностями и данными. Метод заключается в сравнении способностей модели с логикой работы мозга и систем биологических систем. Нашим целым стремлением является выявить, как модули модели связаны друг с другом и какие знания они объединяют. Мы хотели понять, как можно проще связать концепции с тем, что происходит в модели, чтобы более эффективно отслеживать и менять его поведение. ## Результаты Исследователи определили, что некоторые модули модели выделяются в определенных областях, многие же связаны друг с другом, что позволяет модели объединять различные знания. Однако, исследователи заметили, что эти модули не так строго специализированы, как в организмах. Вместо этого, у них есть более сложный, динамический подход к обнаружению и обработке новых данных. Наши результаты показали, что эти модели могут "изучаться" и "изменяться" в процессе работы, что позволяет им оптимизировать свои результаты. Это, в свою очередь, открыло новые возможности для улучшения интерпретации и управления моделями. ## Значимость Мы показали, что наш подход может быть применим не только к LLMs, но и к другим моделям сетевых систем, которые будут расти в будущем. Это может помочь внедрить эти модели в новые области, такие как робототехника или цифровые персоны. Мы также отметили, что подобный подход может повысить эффективность работы моделей, предложив новые стратегии для их подготовки и применения. Наша работа также может способствовать развитию искусственного интеллекта в целом, предлагая новые способы интерпретации и контроля поведения моделей. ## Выводы Мы успешно разработали модель, которая помогает разобраться в "мышлении" LLMs, показав, что они не только специализируются, но и прекрасно справляются с динамическими ситуациями. Это открыло путь к новым интерпретациям и управлению моделями. Наша работа подтверждает, что будущи

## Контекст Область конструкционных зданий и сооружений характеризуется высокой степенью спецификации и специализации. В этой области ключевой роль играют компьютерные технологии, которые помогают упростить процессы, улучшить точность и эффективность. Одна из сложностей в этой сфере заключается в необходимости интерпретации конструкционных чертежей и проведения вычислений. Хотя большие языковые модели (LLMs) доказали свою эффективность в общих задачах, их применимость к специфическим таким областям, как конструкционная инженерия, остается практически не исследована. Это вызвано отсутствием специальных данных и бенчмарков для оценки моделей в этой сфере. Для устранения этой проблемы необходимо создание специальных данных, которые позволят измерить точность и корректность ответов моделей на задачи, связанные с сектором конструкционных зданий. ## Метод CEQuest представляет собой новую бенчмарк-среду, которая создана непосредственно для оценки возможностей LLMs в области конструкционных действий. Данное решение включает в себя создание большого объема данных, содержащих вопросы и задания, связанные с пониманием конструкционных чертежей и выполнением вычислительных задач в этой сфере. Для проведения экспериментов использовались пять современных LLMs: Gemma 3, Phi4, LLaVA, Llama 3.3 и GPT-4.1. Оценивались параметры, такие как точность ответов, время выполнения и размер модели. Для создания CEQuest были использованы специальные стратегии для моделирования и имитации реальных сценариев в конструкторской сфере. ## Результаты В результате экспериментов была получена подробная оценка точности и эффективности работы пяти LLMs на задачах, связанных с конструкционными чертежами и расчетами. Были измерены параметры, такие как точность ответов в различных условиях, время работы моделей и их размер. Эксперименты показали, что применительно к специальным задачам, таким как интерпретация конструкционных чертежей и расчеты, текущие модели LLMs имеют недостатки, особенно в сфере корректности и скорости выполнения задач. Было выявлено, что модели, включающие дополнительные доменные знания, показывают лучшие результаты. ## Значимость CEQuest может быть применен в сфере конструкционных и дизайнерских проектов, где необходима точная интерпретация конструкционных чертежей и корректные вычисления. Данный бенчмарк позволяет оценить и улучшить работу LLMs в сфере конструкционной инженерии, предоставляя возможность разработки более эффективных и специализированных моделей. Была отмечена важность интеграции доменных знаний, что может привести к улучшению качества решений в этой обла

#### Контекст Transformer-based language models (LMs) стали мощным инструментом для решения различных задач, от генерации текста до экспертных выводов. Однако, несмотря на их выдающиеся результаты, есть относительно мало исследований, которые раскрывают механизмы, позволяющие им выполнять такие задачи. Механистическая интерпретируемость (MI) целиком базируется на этом понятии, стремясь разбить модели на отдельные компоненты, чтобы детально изучить их функционирование. До этого широко изучались такие задачи, как Indirect Object Identification (IOI), но они требуют менее сложного логического рассуждения. В этой работе мы исследуем GPT-2 small с помощью бинарных логических задач силлогизмов, таких как: "Объект A имеет свойство P. Объект B также имеет свойство P. Объект B также имеет свойство Q." Это требует гораздо большего уровня логического мозгового штурма, чем IOI. #### Метод Мы строим наши эксперименты на основе GPT-2 small, используя специально сконструированные силлогистические задачи, которые включают в себя сложные логические выводы. Для этого мы исследуем работу нескольких моделей, включая нейросетевые архитектуры, и используем метрики для оценки точности их вывода. Мы также проводим вычислительные эксперименты, чтобы проанализировать вклад отдельных слоев модели в выполнение сложных задач. Особое внимание уделяется поведению модели при работе с негативными токенами, которые не присутствуют в исходном вводе. #### Результаты Мы выявляем несколько отдельных системных механизмов, которые обеспечивают выполнение задач силлогизмов. Например, мы обнаруживаем, что GPT-2 small может производить негативные токены, которые не присутствуют в исходном вводе, при помощи специальных "негативных голов" (negative heads). Мы измеряем степень вклада каждого отдельного элемента модели в выполнение задачи, используя метрику faithfulness (точность). Наши результаты показывают, что модель способна решать задачи силлогизмов с уровнем достоверности, превышающим 90% от стандартного результата модели. Также мы выявляем, как различные слои модели взаимодействуют в ходе выполнения задач. #### Значимость Наши находки могут быть применимы в широком кругу задач, включая логическое моделирование, восприятие языка и системы управления. Изучение бинарных механизмов может способствовать созданию более эффективных алгоритмов для работы с логическими задачами. Также наши результаты могут иметь влияние на развитие новых методов механистической интерпретации, включая улучшение интеллектуальных систем и расширение возможностей трансформеров. #### Выводы Мы демонстрируем, что G

## Контекст В последние годы в странах, в том числе в США, растет дух недоверия к публичным служащим и институтам. Это отражается в повышенной популярности анти-эстеблишментских взглядов. Социальные медиа стали одним из основных источников информации, что делает важной задачу понятие того, насколько эти платформы могут способствовать конфликту с инстанциями. Создатели контента, в том числе инфлюенсеры, часто ставят себя как эксперты и авторитеты в различных областях — от финансов до политики. Они делают это для привлечения внимания и увеличения видимости. Несмотря на то, что такой контент широко распространен, остается неясно, насколько он влияет на убеждения владельцев аккаунтов. Направление исследования — изучить анти-эстеблишментский тон в содержимом на TikTok, чтобы понять, как он влияет на образы информационных источников и экспертов. ## Метод Для анализа использовались сообщения с TikTok, классифицируемые при помощи технического подхода. Использовались данные из трех областей: финансовые темы, здоровье и культурные тренды. Наибольшее внимание уделено содержимому, которое преподносится как экспертное, но содержит анти-эстеблишментский тон. Были проанализированы наличие и влияние такого контента. Для сравнения, включено содержимое, где анти-эстеблишментский тон характеристичен для конспирологического контента. Это позволило выявить характерный рисунок в зависимости от тематики. ## Результаты Исследование выявило, что анти-эстеблишментский тон встречается чаще в контенте о конспирологии, но реже — в финансовых и здоровье-ориентированных областях. Однако судя по данным, зрители этих тематик отзываются по-разному на такой контент. Например, в здоровье-ориентированном контенте, анти-эстеблишментские утверждения могут привлекать больше внимания. Также выявлен сигнал, что TikTok может стимулировать развитие такого контента, чтобы повысить продолжительность просмотра и повысить привлекательность платформы. ## Значимость Исследование показывает, что TikTok может стать платформой для распространения анти-эстеблишментских взглядов, особенно в сферах, где потребители сформировали большую доверительность к определенным инсайдерским мнениям. Это влияет на способ формирования личных мнений и влияния в социальных сетях. Такие потенциальные мотивации могут сделать эту платформу ключевым инструментом для влияния на общественные убеждения. ## Выводы Исследование подтверждает, что анти-эстеблишментский тон широко распространен на TikTok, особенно в конт

#### Контекст Социальные сети становятся все более многообразными, что приводит к распространению неочевидных форм выражения, таких как сарказм и ненависть. Определение таких феноменов чрезвычайно важно для создания защитных механизмов, которые могут распознавать их вне зависимости от добросовестности или намеренности. Однако сарказм и ненависть часто перекрываются в плане устойчивости и контекста, что создает сложности для классических моделей. Мы изучаем возможность использования сарказма как предварительного шага в обучении моделей к распознаванию ненависти, а также оцениваем возможность использования этих моделей для обнаружения имплицитного и эксплицитного ненависти. #### Метод Мы предложили две стратегии обучения, которые используют сарказм для повышения точности моделей распознавания ненависти. Первая стратегия предполагает процесс обучения в один шаг. Модель, обучающаяся на сарказме, работает на данных ненависти, чтобы оценить её эффективность. Вторая стратегия использует последовательные шаги: модель обучается на сарказме, затем подгоняется на имплицитной ненависти и снова подгоняется на эксплицитной ненависти. Мы использовали данные из набора ETHOS, Reddit Sarcasm Corpus и Implicit Hate Corpus. Модели, которые мы исследовали, включали CNN+LSTM и BERT+BiLSTM. #### Результаты Мы оценили эффективность обучения на сарказме через показатели recall, AUC и F1-score. Модель BERT+BiLSTM показала улучшение recall-а на 9,7%, AUC на 7,8% и F1-score на 6% на ETHOS, используя сарказм как предварительный шаг. Имплицитная ненависть обнаруживалась с большей точностью при использовании sarcasm-pre-trained модели. Эксплицитная ненависть также показала улучшение в F1-score, хотя не так ощутимо, как в случае с имплицитной ненавистью. #### Значимость Наши результаты показали, что использование сарказма в качестве предварительного шага может существенно улучшить модели распознавания ненависти. Этот подход имеет широкое применение в защите социальных сетей от ненависти и ненормативного языка. Изучение связи между сарказмом и ненавистью может позволить создать более точные модели, которые будут применяться в других областях, таких как анализ отношений в группах или мониторинг безопасности. #### Выводы Мы доказали, что сарказм может быть эффективным ресурсом для обучения моделей к распознаванию ненависти, в том числе имплицитной. Наш рабочий ход может быть расширен на другие типы неочевидного ненормативного языка. В будущем мы планируем проверить эти модели на более крупных выборках и исследовать другие методы предварительного обучения.