📊 Статистика дайджестов

Всего дайджестов: 34123 Добавлено сегодня: 101

Последнее обновление: сегодня
📄 Temporal Generalization: A Reality Check
2025-10-01
Авторы:

Divyam Madaan, Sumit Chopra, Kyunghyun Cho

Саммари на русском не найдено
Доступные поля: ['id', 'arxiv_id', 'title', 'authors', 'abstract', 'summary_ru', 'categories', 'published_date', 'created_at']
Annotation:
Machine learning (ML) models often struggle to maintain performance under distribution shifts, leading to inaccurate predictions on unseen future data. In this work, we investigate whether and under what conditions models can achieve such a generalization when relying solely on past data. We explore two primary approaches: convex combinations of past model parameters (\emph{parameter interpolation}) and explicit extrapolation beyond the convex hull of past parameters (\emph{parameter extrapolati...
ID: 2509.23487v1 cs.LG, cs.CL, cs.CV
arXiv PDF
📄 Hyperbolic Multimodal Representation Learning for Biological Taxonomies
2025-08-27
Авторы:

ZeMing Gong, Chuanqi Tang, Xiaoliang Huo, Nicholas Pellegrino, Austin T. Wang, Graham W. Taylor, Angel X. Chang, Scott C. Lowe, Joakim Bruslund Haurum

## Контекст Таксономическая классификация — основной аспект биологических исследований, включающий классификацию биологических образцов в иерархические структуры на основе различных видов доказательств, таких как генетические данные и изображения. Эта задача является важной для таких областей, как экологический мониторинг, выявление новых видов и консервация. Однако существуют сложности с обработкой многомодальных данных и точной классификацией видов, особенно в условиях открытого мира и для выделения тонких различий между видами. Наша мотивация заключается в исследовании возможностей гиперболических сетей для повышения точности и эффективности таксономической классификации, учитывая сложности, связанные с многомодальным пространством. ## Метод Мы предлагаем протокол обучения, основанный на гиперболических сетях, для создания объединенного пространства для многомодальных данных. Наша модель состоит из двух основных компонент: **а) контрастирующий механизм**, объединяющий изображения и генетические данные в единое пространство, и **б) стековая модель стандартности**, которая учитывает тело знаний и вариации между видами. Мы используем гиперболическую проекцию для эмбединга данных, что позволяет сохранить естественные иерархии в пространстве. Этот подход обеспечивает представление видов, которое учитывает как гетерогенные типы данных, так и структуру таксономической иерархии. ## Результаты Наши эксперименты проводились на большом датасете BIOSCAN-1M, включающем изображения, генетические данные и текстовые метки для множества видов. Мы сравнили нашу гиперболическую модель с традиционными моделями на основе Евклидова пространства. Наша модель показала высокую точность в классификации большинства видов, а также достигла особенно высокого результата при классификации новых видов, используя DNA-баркоды. Мы также проверили модель на условиях открытого мира, показав, что у нее есть компромиссы в тонкой классификации и в общей гибкости. Однако, гиперболическое пространство демонстрирует более естественное представление иерархии, что улучшает общую точность. ## Значимость Наш подход имеет широкие применения в области биологии и экологии, включая экологический мониторинг, выявление новых видов и консервационные мероприятия. Он предоставляет более точное и структурированное представление данных, что помогает улучшить выявление новых видов и отслеживание экосистем. Хотя у нас есть ограничения в тонкой классификации и в открытом мире, наш подход является прорывным в построении пространств для таксономических моделей. М
Annotation:
Taxonomic classification in biodiversity research involves organizing biological specimens into structured hierarchies based on evidence, which can come from multiple modalities such as images and genetic information. We investigate whether hyperbolic networks can provide a better embedding space for such hierarchical models. Our method embeds multimodal inputs into a shared hyperbolic space using contrastive and a novel stacked entailment-based objective. Experiments on the BIOSCAN-1M dataset s...
ID: 2508.16744v1 cs.LG, cs.CL, cs.CV
arXiv PDF
📄 Intern-S1: A Scientific Multimodal Foundation Model
2025-08-26
Авторы:

Lei Bai, Zhongrui Cai, Yuhang Cao, Maosong Cao, Weihan Cao, Chiyu Chen, Haojiong Chen, Kai Chen, Pengcheng Chen, Ying Chen, Yongkang Chen, Yu Cheng, Pei Chu, Tao Chu, Erfei Cui, Ganqu Cui, Long Cui, Ziyun Cui, Nianchen Deng, Ning Ding, Nanqing Dong, Peijie Dong, Shihan Dou, Sinan Du, Haodong Duan, Caihua Fan, Ben Gao, Changjiang Gao, Jianfei Gao, Songyang Gao, Yang Gao, Zhangwei Gao, Jiaye Ge, Qiming Ge, Lixin Gu, Yuzhe Gu, Aijia Guo, Qipeng Guo, Xu Guo, Conghui He, Junjun He, Yili Hong, Siyuan Hou, Caiyu Hu, Hanglei Hu, Jucheng Hu, Ming Hu, Zhouqi Hua, Haian Huang, Junhao Huang, Xu Huang, Zixian Huang, Zhe Jiang, Lingkai Kong, Linyang Li, Peiji Li, Pengze Li, Shuaibin Li, Tianbin Li, Wei Li, Yuqiang Li, Dahua Lin, Junyao Lin, Tianyi Lin, Zhishan Lin, Hongwei Liu, Jiangning Liu, Jiyao Liu, Junnan Liu, Kai Liu, Kaiwen Liu, Kuikun Liu, Shichun Liu, Shudong Liu, Wei Liu, Xinyao Liu, Yuhong Liu, Zhan Liu, Yinquan Lu, Haijun Lv, Hongxia Lv, Huijie Lv, Qitan Lv, Ying Lv, Chengqi Lyu, Chenglong Ma, Jianpeng Ma, Ren Ma, Runmin Ma, Runyuan Ma, Xinzhu Ma, Yichuan Ma, Zihan Ma, Sixuan Mi, Junzhi Ning, Wenchang Ning, Xinle Pang, Jiahui Peng, Runyu Peng, Yu Qiao, Jiantao Qiu, Xiaoye Qu, Yuan Qu, Yuchen Ren, Fukai Shang, Wenqi Shao, Junhao Shen, Shuaike Shen, Chunfeng Song, Demin Song, Diping Song, Chenlin Su, Weijie Su, Weigao Sun, Yu Sun, Qian Tan, Cheng Tang, Huanze Tang, Kexian Tang, Shixiang Tang, Jian Tong, Aoran Wang, Bin Wang, Dong Wang, Lintao Wang, Rui Wang, Weiyun Wang, Wenhai Wang, Jiaqi Wang, Yi Wang, Ziyi Wang, Ling-I Wu, Wen Wu, Yue Wu, Zijian Wu, Linchen Xiao, Shuhao Xing, Chao Xu, Huihui Xu, Jun Xu, Ruiliang Xu, Wanghan Xu, GanLin Yang, Yuming Yang, Haochen Ye, Jin Ye, Shenglong Ye, Jia Yu, Jiashuo Yu, Jing Yu, Fei Yuan, Yuhang Zang, Bo Zhang, Chao Zhang, Chen Zhang, Hongjie Zhang, Jin Zhang, Qiaosheng Zhang, Qiuyinzhe Zhang, Songyang Zhang, Taolin Zhang, Wenlong Zhang, Wenwei Zhang, Yechen Zhang, Ziyang Zhang, Haiteng Zhao, Qian Zhao, Xiangyu Zhao, Xiangyu Zhao, Bowen Zhou, Dongzhan Zhou, Peiheng Zhou, Yuhao Zhou, Yunhua Zhou, Dongsheng Zhu, Lin Zhu, Yicheng Zou

## Контекст В последние годы, огромное количество основных моделей научных исследований появилось, достигнув заметных успехов в области выполнения задач базового решения вопросов. Однако, в области высокоточных научных профессиональных областей, таких как физика, химия, биология, искусственный интеллект, обычно используются специализированные модели. Однако, эти модели либо являются специальными, либо, как и в случае общей фундаментальной модели, имеют существенную проблему с недостатком в этих высокоточных профессиональных областях. Это приводит к значительным проблемам в течение процесса технологических прогрессов в науке. Чтобы устранить этот проблемный момент, мы предлагаем Intern-S1 - модель, которая приносит значительные улучшения в решение задач, связанных с научными данными, выполняя задачи по расчету и расчету сложных научных моделей. ## Метод Intern-S1 является многомодальной моделью, которая имеет 28 миллиардов активированных параметров и общие 241 миллиардов параметров. Она использует систему Множественной Оценки (Mixture-of-Experts, MoE) для повышения точности и скорости выполнения задач. Модель была продолжительно предобучена на базе 5 триллионов токенов, включая 2.5 триллионов токенов из научных областей. В последнем этапе обучения, Intern-S1 прошла офлайн и онлайн-обучение в InternBootCamp, где мы предлагаем новую систему рефлексного обучения - Mixture-of-Rewards (MoR), которая позволяет модели решать сразу несколько задач. ## Результаты Проведенные эксперименты показали, что Intern-S1 показала высокую степень точности в решении задач, связанных с научными моделями. Она была протестирована на нескольких научных задачах, включая расчет химических реакций, прогнозирование термодинамических свойств кристаллов, планирование синтеза молекул. В результате, Intern-S1 не только показала высокую точность в решении научных задач, но и отличилась по сравнению с другими аналогичными моделями. ## Значимость Модель Intern-S1 может применяться в различных научных областях. Она улучшает процессы прогнозирования и анализа в химии, физике, биологии и других науках. Этот модельный подход предлагает новый подход к традиционным способам решения научных задач, повышая уровень точности, скорость и эффективность работы. Это позволяет оптимизировать работу в научных исследованиях и внести значительные улучшения в профессиональные задачи. ## Выводы Модель Intern-S1 достигла топового уровня эффективности в профессиональных научных задачах. Она предлагает новый подход к расчетам и моделированию в науке. Будущие исследования будут сконцентрированы на дальнейшем высокопро
Annotation:
In recent years, a plethora of open-source foundation models have emerged, achieving remarkable progress in some widely attended fields, with performance being quite close to that of closed-source models. However, in high-value but more challenging scientific professional fields, either the fields still rely on expert models, or the progress of general foundation models lags significantly compared to those in popular areas, far from sufficient for transforming scientific research and leaving sub...
ID: 2508.15763v2 cs.LG, cs.CL, cs.CV
arXiv PDF
📄 Intern-S1: A Scientific Multimodal Foundation Model
2025-08-23
Авторы:

Lei Bai, Zhongrui Cai, Maosong Cao, Weihan Cao, Chiyu Chen, Haojiong Chen, Kai Chen, Pengcheng Chen, Ying Chen, Yongkang Chen, Yu Cheng, Yu Cheng, Pei Chu, Tao Chu, Erfei Cui, Ganqu Cui, Long Cui, Ziyun Cui, Nianchen Deng, Ning Ding, Nanqin Dong, Peijie Dong, Shihan Dou, Sinan Du, Haodong Duan, Caihua Fan, Ben Gao, Changjiang Gao, Jianfei Gao, Songyang Gao, Yang Gao, Zhangwei Gao, Jiaye Ge, Qiming Ge, Lixin Gu, Yuzhe Gu, Aijia Guo, Qipeng Guo, Xu Guo, Conghui He, Junjun He, Yili Hong, Siyuan Hou, Caiyu Hu, Hanglei Hu, Jucheng Hu, Ming Hu, Zhouqi Hua, Haian Huang, Junhao Huang, Xu Huang, Zixian Huang, Zhe Jiang, Lingkai Kong, Linyang Li, Peiji Li, Pengze Li, Shuaibin Li, Tianbin Li, Wei Li, Yuqiang Li, Dahua Lin, Junyao Lin, Tianyi Lin, Zhishan Lin, Hongwei Liu, Jiangning Liu, Jiyao Liu, Junnan Liu, Kai Liu, Kaiwen Liu, Kuikun Liu, Shichun Liu, Shudong Liu, Wei Liu, Xinyao Liu, Yuhong Liu, Zhan Liu, Yinquan Lu, Haijun Lv, Hongxia Lv, Huijie Lv, Qidang Lv, Ying Lv, Chengqi Lyu, Chenglong Ma, Jianpeng Ma, Ren Ma, Runmin Ma, Runyuan Ma, Xinzhu Ma, Yichuan Ma, Zihan Ma, Sixuan Mi, Junzhi Ning, Wenchang Ning, Xinle Pang, Jiahui Peng, Runyu Peng, Yu Qiao, Jiantao Qiu, Xiaoye Qu, Yuan Qu, Yuchen Ren, Fukai Shang, Wenqi Shao, Junhao Shen, Shuaike Shen, Chunfeng Song, Demin Song, Diping Song, Chenlin Su, Weijie Su, Weigao Sun, Yu Sun, Qian Tan, Cheng Tang, Huanze Tang, Kexian Tang, Shixiang Tang, Jian Tong, Aoran Wang, Bin Wang, Dong Wang, Lintao Wang, Rui Wang, Weiyun Wang, Wenhai Wang, Yi Wang, Ziyi Wang, Ling-I Wu, Wen Wu, Yue Wu, Zijian Wu, Linchen Xiao, Shuhao Xing, Chao Xu, Huihui Xu, Jun Xu, Ruiliang Xu, Wanghan Xu, GanLin Yang, Yuming Yang, Haochen Ye, Jin Ye, Shenglong Ye, Jia Yu, Jiashuo Yu, Jing Yu, Fei Yuan, Bo Zhang, Chao Zhang, Chen Zhang, Hongjie Zhang, Jin Zhang, Qiaosheng Zhang, Qiuyinzhe Zhang, Songyang Zhang, Taolin Zhang, Wenlong Zhang, Wenwei Zhang, Yechen Zhang, Ziyang Zhang, Haiteng Zhao, Qian Zhao, Xiangyu Zhao, Xiangyu Zhao, Bowen Zhou, Dongzhan Zhou, Peiheng Zhou, Yuhao Zhou, Yunhua Zhou, Dongsheng Zhu, Lin Zhu, Yicheng Zou

## Контекст В последние годы открытые фундаментальные модели показали замечательные результаты в различных областях, приближаясь к решениям, достигнутым закрытыми моделями. Однако в высокоценных, но более сложных научных областях, эти модели остаются за барьером, не достигая качества закрытого программного обеспечения. Это приводит к узкому разрыву между открытыми и закрытыми моделями в сферах, где достижения в науке требуют особой точности и экспертности. Чтобы помочь закрыть этот разрыв и приблизиться к Искусству Общего Разума (AGI), мы предлагаем **Intern-S1**, новая фундаментальная модель с многомодальным подходом, которая обладает универсальным пониманием и разумами, способными анализировать различные модели научных данных. ## Метод **Intern-S1** является многомодальной моделью Mixture-of-Experts (MoE) с 28 миллиардов активных параметров и 241 миллиардами общих параметров. Для обучения использовалось более 5 токенов, в том числе более 2,5 токенов из научных источников. Модель прошла развитие в среде **InternBootCamp**, где использовалась процедура **Mixture-of-Rewards (MoR)** для одновременного обучения на более чем 1000 задачах с помощью метода участия. Это позволило модели развиваться в условиях высокой сложности и конкуренции. ## Результаты Мы провели широкий диапазон экспериментов, использовав пересмотренные бенчмарки и научные данные. **Intern-S1** показала выдающиеся результаты в общих задачах оценки научных моделей. Она не только превосходит другие открытые модели в различных научных областях, но и выступает среди лучших моделей, превзойдя даже закрытые супермодели в специальных научных задачах - таких как планирование молекулярных синтезов, предсказание условий реакций и прогнозирование термодинамических стаблильностей кристаллов. ## Значимость **Intern-S1** может быть применена в различных научных сферах, в том числе химии, биологии, инжиниринга и других. Она предлагает значительные преимущества, включая расширение возможностей обработки научных данных, улучшение точности прогнозирования и моделирования, а также повышение эффективности в решении сложных научных проблем. Это может сократить разрыв между открытыми и закрытыми моделями, включив научные приложения в современные агенты ИИ. ## Выводы **Intern-S1** демонстрирует успех в сфере многомодальных научных моделей, обладая огромным потенциалом для улучшения решений в науке. Будущие исследования будут сосредоточены на расширении многомодальности, улучшении точности и увеличении возможностей модели для более сложных научных задач.
Annotation:
In recent years, a plethora of open-source foundation models have emerged, achieving remarkable progress in some widely attended fields, with performance being quite close to that of closed-source models. However, in high-value but more challenging scientific professional fields, either the fields still rely on expert models, or the progress of general foundation models lags significantly compared to those in popular areas, far from sufficient for transforming scientific research and leaving sub...
ID: 2508.15763v1 cs.LG, cs.CL, cs.CV
arXiv PDF
Показано 11 - 14 из 14 записей