## Контекст Спорт — важная часть жизнедеятельности, способствующая физическому здоровью, развитию координации и самооценки. Однако для достижения высоких результатов необходимы качественные тренировки и корректировка техники. Одной из ключевых задач тренера является обнаружение ошибок в движениях и предоставление конструктивного фидбэка. Несмотря на развитие мультимодальных моделей, которые улучшают понимание движений, генерация точных и специфических для спорта инструкций остается трудной задачей. Особенностью данной области является необходимость в доступном, информативном и целевом фидбэке, который может помочь спортсмену в понимании и устранении двигательных ошибок. ## Метод Разработанная модель CoachMe использует референсный подход для разбора спортивных движений. Она анализирует различия между движениями спортсмена и стандартными движениями, учтя такие аспекты, как физические особенности и временные показатели. Такой подход позволяет модели обучаться с применением общих знаний о движениях, а затем применять их к конкретным типам спорта. Модель вырабатывает инструкции, которые не только становятся более конкретными для спорта, но и включают подробные описания ошибок и методы их устранения. ## Результаты За счет использования техники сравнения движений внутри специфических спортивных движений, CoachMe демонстрирует высокую точность в генерации инструкций. Например, в шахте этой модели удалось преобразовать общие модели распознавания движений в технические инструкции для спортсменов. Также были проведены эксперименты на фигурном катании. На тестировании показатель G-Eval показал, что CoachMe превосходит GPT-4o на 31.6% в оценке качества инструкций по фигурному катанию и на 58.3% в случае бокса. Эти результаты подтверждают эффективность модели в генерировании понятных и полезных инструкций. ## Значимость CoachMe может применяться в различных отраслях спорта, в том числе в фигурном катании, боксе и других спортивных дисциплинах. Ее преимущества заключаются в том, что она может обучаться на универсальных данных о движениях и применять их к конкретным видам спорта с ограниченным объемом тренировочных данных. Это увеличивает эффективность тренировок и позволяет спортсменам быстро корректировать свою технику. В будущем модель может быть расширена для других видов спорта и использована для создания интерактивных систем тренировочного контроля. ## Выводы CoachMe представляет собой прорыв в области корректировки техники в спорте, обеспечивая точные и информативные инструкции. Она применяет референсный подход, что позволяет

#### Контекст Классические знания о традиционной китайской медицине (TCM), основанные на глубокой теоретической базе, весьма ценны для понимания и корректного применения этого направления в лечении. Однако существуют две основные проблемы: отсутствие достаточного количества высококачественных данных для обучения и высокая многомодальность TCM, включающей в себя такие сенсорные модели, как видение, слух, осязание и даже сенсорное восприятие пульса. Традиционные трансформации текста не могут успешно решить эти задачи. Из-за этого LLMs (large language models), несмотря на их успех в других областях, пока не применимы для решения проблем в области TCM. Мы предлагаем ShizhenGPT - первый мультимодальный LLM, разработанный специально для решения проблем в области Традиционной китайской медицины. #### Метод ShizhenGPT разрабатывается на основе предварительной обученной модели LLMs, которая получила многомодальные данные, включая текстовые данные, изображения, аудио и даже физиологические сигналы. Мы сформировали одну из крупнейших коллекций данных в сфере Традиционной китайской медицины, состоящую из 100 ГБ текстовых данных и 200 ГБ мультимодальных данных. Данные включают 1,2 миллиона изображений, 200 часов аудио и физиологические сигналы. Модель ShizhenGPT была обучена на этих данных с использованием предварительной обученной модели LLMs и инструментами обучения с помощью инструкций. Это позволило модели не только получать глубокие знания о Традиционной китайской медицине, но также производить мультимодальный анализ. #### Результаты Мы проверили ShizhenGPT на крупнейших национальных экзаменах по квалификации в области Традиционной китайской медицины. Также был создан визуальный бенчмарк для оценки визуального распознавания и диагностики лекарственных средств. Эксперименты показали, что ShizhenGPT оказалась выигрышной в сравнении с соревнующимися моделями различных масштабов и даже с более крупными моделями, которые имеют доступ к большим ресурсам. Особенно важно отметить, что ShizhenGPT проявила лучшую способность к визуальному распознаванию в TCM, включая распознавание медикаментов по их визуальным свойствам, и демонстрирует гармоничное восприятие данных в разных модальностях, таких как звук, пульс, запах и визуальные сигналы. #### Значимость Мы видим широкие возможности применения ShizhenGPT в области Традиционной китайской медицины. Эта модель может использоваться в области диагностики, лечения, учебных программ и проектах по изучению Традиционной китайской медицины. Широкий спектр модальностей, которые модель может об

**Резюме** Появление больших языковых моделей (LLMs) в области медицины открыло новые возможности, но остается спорным из-за недостатка надежности оценочных бенчмарков. Большинство таких бенчмарков либо недостаточно приближены к реальной клинической практике, либо страдают от проблем с данными, такими как попадание контролируемых случаев в обучающие выборки. Для устранения этих проблем авторы предлагают MedCheck — первую разработку, ориентированную на жизненный цикл бенчмарков, с целью глубокого анализа их качества. MedCheck включает 46 критериев, разделенных на 5 этапов жизненного цикла бенчмарков, начиная от разработки и заканчивая государственным управлением. Исследователи применяют MedCheck к 53 LLM-бенчмаркам, выявляя серьезные проблемы, включая отсутствие связи с клинической практикой, риски данных из-за негативного воздействия и недостаток оценки стойкости моделей и их понимания неопределенности. Результаты показывают, что MedCheck может стать мощным инструментом для оценки и улучшения бенчмарков, способствуя более надежной и транспаренной оценке AI в медицине.