尊龙游戏人生就是博

　　猫眼影戏记者 潘多拉盒子 报道w3u7903ejky2ywls

新智元报道

编辑：LRST

【新智元导读】MoCa框架把单向视觉语言模子转化为双向多模态嵌入模子，通过一连预训练和异构比照微调，提升模子性能和泛化能力，在多模态基准测试中体现优异，尤其小规模模子性能突出
。

预训练的视觉语言模子（VLM）因其强盛的图文联合建模能力，在多种使命上展现出重大潜力，也成为了许多现在普遍使用的多模态嵌入模子的基础
。

然而，这些使用因果注重力机制的多模态嵌入模子在多模态嵌入使命中保存三个要害限制：

体现能力弱：因果注重力机制单向展望的特征，限制了模子充分捕获双向跨模态的深层语义
。

泛化性差：古板模子多依赖于简朴的图文对训练数据，缺乏更普遍、更富厚的数据源，难以在新使命或新领域快速泛化
。

扩展性低：现有模子的比照学习要领严重依赖于高质量的标注数据，导致本钱高昂，难以有用地使用大规模无标注数据
。

怎样高效地将预训练因果VLM转变为强盛的双向多模态编码器，已成为多模态明确领域的主要挑战
。

为了战胜这些挑战，亟需开发出一种新型框架，能够高效使用大规模非标注数据，提升多模态嵌入模子的双向明确和泛化能力
。

中国人民大学、微软亚洲研究院、斯坦福大学、普林斯顿大学等机构的研究者提出了MoCa框架，接纳双阶段要领，将基于单向注重力预训练的视觉语言模子（VLM）转化为有用的双向多模态编码模子
。

论文链接：https://arxiv.org/abs/2506.23115

项目主页：https://haon-chen.github.io/MoCa/

MoCa通过针对差别模态的一连预训练和异构比照微调，有用解决了古板模子体现能力弱、泛化性差、扩展性低的问题，取得了显著的性能提升
。

MoCa：从单向到双向

MoCa框架包括两个焦点阶段：

针对差别模态的一连预训练（Modality-aware Continual Pre-training）

使用随机遮蔽的文本与图像块举行联合重修（MLM+MAE），增强模子的双向跨模态明确能力

；有用捕获了更富厚的跨模态语义信息
。

异构比照微调（Heterogeneous Contrastive Fine-tuning）

使用多样化的训练数据（如长文档、专业领域图文、纯文本等）和使命批次采样战略，进一步提高模子的鲁棒性和泛化性能
。

通过上述要领，MoCa有用提升了多模态嵌入模子的双向体现能力和泛化性能，并显著降低了对高质量标注数据的依赖
。

实验效果批注，MoCa在多个标准多模态基准测试中体现精彩，尤其是在小规模模子条件下即可逾越更大模子的性能，为多模态嵌入模子的进一步生长涤讪了坚实基础
。

MoCa框架包括两个要害的手艺组件：

针对差别模态的一连预训练（Modality-aware Continual Pre-training）

跨模态双向注重力：有用捕获图文之间的深层语义交互，改善因果模子单向推理的缺乏
。

联合mask重修（MLM+MAE）：随机遮蔽文本词汇与图像块，让模子双向展望并恢复缺失约息

；充分挖掘无标注数据的潜力，增强模子的跨模态体现能力
。

异构比照微调 (Heterogeneous Contrastive Fine-tuning)

使命批次采样战略：动态采样差别使命批次，确保模子能够高效地顺应多使命、多领域的应用需求
。

多样化数据源：接纳长文档、多领域图文、纯文本等富厚数据类型，提升模子的泛化能力
。

通过这两个组件的细密协作，MoCa实现了预训练到微调的高效流程，充分使用无监视数据，在性能和泛化性上取得突破
。

与古板多模态嵌入框架的比照

MoCa框架相比古板的多模态嵌入模子有着显着优势
。

· 古板框架（如mmE5、VLM2Vec）

纯粹依赖高质量标注图文对，扩展性低

；

以单向因果注重力为主，跨模态体现能力受限

；

对新领域、新使命泛化性差
。

· MoCa框架

充分使用大规模无标注数据，通过一连预训练显著降低本钱

；

双向模态交互机制，能更深条理地捕获图文语义

；

富厚的数据类型和使命采样战略，大幅提升泛化性能和扩展性
。

因此，MoCa的提出为多模态嵌入领域提供了一条越发高效、更具泛化性的研究路径
。

实验效果：以小广博，效果显著提升

研究职员在主流多模态嵌入基准MMEB和ViDoRe-v2上举行了周全评估
。

在MMEB基准上

3B的MoCa模子即可抵达现有7B规模baseline模子的性能水平
。

7B的MoCa模子实现目今最佳性能（SOTA），显著逾越现有模子
。

在ViDoRe-v2使命中

MoCa在跨语言、跨领域的重大使命中体现突出，整体性能凌驾现有先进要领
。

特殊在多语言和专业领域数据泛化能力上体现出显着优势
。

实验效果充分验证了MoCa框架在低资源条件下实现高性能的能力，以及卓越的泛化性能
。

消融实验

实验验证了MoCa各焦点组件的有用性，效果显示，去除针对差别模态的一连预训练或异构比照微调中的任一环节，模子性能均显着下降，进一步证实晰MoCa框架每个组件的须要性和主要性
。

一连预训练的数据规模效应

为了探讨一连预训练数据规模对模子性能的影响，研究职员举行了针对性实验
。

实验批注，随着用于一连预训练的数据规模增添，模子的多模态明确性能一连提升，但保存一定的性能饱和效应
。

效果显示，在现实应用中应合理权衡数据规模与盘算本钱，以实现最优性能
。

未来展望

MoCa框架的乐成验证了针对差别模态的一连预训练和异构比照微调战略的重大潜力
。这一要领不但提升了小规模模子的体现，也为更普遍的数据使用和泛化能力涤讪了基础
。

未来，研究职员妄想进一步探索以下几个方面：

扩展到多模态多语言领域，探索更普遍的跨语言泛化能力
。

集成更多模态信息，如视频和音频，推动模子在更重大场景下的应用
。

优化一连预训练战略，探索更高效的训练手艺，进一步降低盘算本钱
。

通过一连的起劲，MoCa框架一定能够在多模态嵌入领域施展更普遍、更深远的影响
。

参考资料：

https://arxiv.org/abs/2506.23115

??时势1：扒开甘雨❌狂揉❌难受的网站

??07月15日,江西篁岭：特色夜游引客来,

　　通常间他很横，可是王侯手下的知己战将比他更横！

,二零四八核基地我为人人论坛免费
。

??07月15日,彩云科技发布基于DCFormer架构通用大模型云锦天章,

　　“老五，你想容隐不可
？！”犹如黄金狮子般的老人喝问
。

,动漫被c到爽🔞奶头触手,女性㊙️免费自慰,原神裸体㊙️无遮挡胸
。

??时势2：蜜桃㊙️无码一线二线三线av

??07月15日,糖尿病须终身服药？这些情况可以“缓解”,

　　在其身边，有一个二十几岁的年轻人，英气逼人，也有两名十几岁的少女，美的犹如画卷中走出的一样平常，尚有两个很幼小的男童，大眼很灵动
。

,柳岩被❌的冒白浆,小🐤🐤进入女生的🍑🍑,3D动漫云缨被❌羞羞网站
。

??07月15日,贵州省持续稳步提高城乡低保标准,

　　(二)认清形势，自加压力
。建设“都会生态型田园滨江”、“工业低碳型活力滨江”、“生涯品质型魅力滨江”，尊龙游戏人生就是博使命还十分难题，更需要我们正视难题，战胜倒运因素
。从我们自身情形看，目今和以后相当长一段时间，我们还面临十个方面的难题使命：一是要苏醒地看到，灾后重修没有周全完成，尊龙游戏人生就是博责任就没有竣事，尊龙游戏人生就是博使命还没有完成
。二是要苏醒地看到，对建设新型街道的明确和熟悉都有一个逐步深化认同的历程，总体使命新鲜而沉重，迈出第一步总是很难
。三是要苏醒地看到，城乡情形建设作为省委两大战略目的，即建设优美新家园、建设西部生长高地的主要内容，已经明确要一连抓到“”末，作为城区主要组成部分和未来新城区的焦点板块，尊龙游戏人生就是博使命还十分难题
。四是要苏醒地看到，文明市民建设和治理者素质提升迫在眉睫，“铰剪差”问题十分突出，仅给群众提供好情形的安臵房是远远不敷的，要指导、要培育、要发动他们加入更好情形创立、更自我地民主治理
。五是要苏醒地看到，从安青社区建材市场秩序由乱到治的实践，展现出新型下层治理的重大威力，更多的方面急需我们去继续起劲探索
。六是要苏醒地看到，作为老的城乡连系部，生长历程中征占纷歧和利益问题导致的国地妄想执法遵法问题，需要我们苏醒面临，稳妥审慎地依法依规处置惩罚
。七是要苏醒地看到，辖区内企业搬家刷新，为我们带来了生长高端旅馆、旅游、商贸、物流经济的重大契机，机缘千载一时，更需要我们下功夫研究街道一连生长的财税总量问题、结构问题，提升经济运行质量
。八是要苏醒地看到，辖区内社会事务与经济生长怎样实现协调同步问题，民生类包管与便民效劳更广更便捷问题，应该引起我们高度地重视
。九是要苏醒地看到，社碰面治理和维护稳固长效机制问题，好比怎样实现公共物品供应灵便，公共需求回应迅速，利益协调公正无邪，社会秩序稳而灵动等目的，需要我们支付更多地起劲
。十是要苏醒地看到，看待历史遗留问题的态度与处置惩罚时机、处置惩罚路径问题，需要我们越发坚定执著和起劲稳妥地加以研究处置惩罚
。以上十个方面的使命，需要我们脚扎实地、务实事情
。对此，我们各党组织和宽大干部一定要坚持苏醒熟悉，认真详尽地做好自身事情，一直提升事情水平
。

,柳智敏疯狂❌喷水自慰,舌头伸进去的我的B看看,苍井空做爰高潮A片完整
。

??时势3：羞羞漫画❤️在线观看43票

??07月15日,两会受权发布丨十四届全国人大二次会议主席团举行第三次会议,

　　一是同心协力，顺遂通过国磨练收
。对我县教育事业来讲，国检是不小的难题更是很大的机缘，通过国检的迎检准备，可以让我们在短时间内提升我们教育的规范化水平，为以后的生长涤讪基础
。国检牵涉面广，难题许多，但我们必需顺遂通过，这是今年我县教育事情以致全县上下一项重大战略使命
。

,贵妃双乳被俩人吸着揉,少女的惩罚游戏2.0版本更新内容,原神胡桃裸体❌开腿自慰应用
。

??07月15日,哈铁将实行新列车运行图 黑河至北京首次开行图定列车,

　　1、增强职工学习的自觉性，准确处置惩罚事情和学习的关系，清静与生产的关系，既要扎实苦干，又要扎实苦学，科学地安排时间，珍惜时间，把功夫下在学习上，一直充分和完善自己
。使职工能做到学有妄想、学有条记、学有纪录、学有质量，避免流于形式
。

,宋雨绮自慰❌❌喷水,禁漫岛3D成人漫画,蒂法3D被❌18禁同人
。

??时势4：蔡文姬劈开腿露出屁股

??07月15日,中方会否对欧盟出台反制措施？外交部回应,

　　无论怎么看，他都是一副小财迷的样子，在那里又跳又叫，看的众人甚是无语
。

,米塔被❌吸乳,美女免费㊙️免费看网站,男同❌🔞得到❌做
。

??07月15日,吉尔吉斯斯坦甜瓜进入新疆喀什市果品市场,

　　从厂向导到班组长，到每一名职工，层层签署责任状，层层把关，层层落实，提高事情执行力，才华完成矿下达的节约500万元利润的目的
。

,uococo6,fnf涩涩同人18❌网站动漫,裸体爆乳羞羞网站视频
。