尊龙游戏人生就是博

　　猫眼影戏记者 施耐德 报道w3u7903ejky2ywls

GPT-4o式的多模态大模子（LMMs）展现出在文本、视觉和语音模态上的万能能力，其在线语音效劳还能在语音交互历程中同步提供中心文本效果（即用户输入和模子响应的转录内容），为用户提供“边看边听”的无邪交互体验。因此，怎样构建支持文本、视觉和语音三种模态的多模态大模子成为近期研究热门。现有的多模态大模子通常使用多个编码器提取各个模态的体现，然后将各模态体现沿序列维度拼接并输入至大语言模子基座中以天生回复。这些基于拼接的要领简化了模态集成历程，但它们在很洪流平上依赖大规模数据，以数据驱动的方法学习模态对齐。别的，这种基于拼接的维度对齐方法缺乏足够的无邪性，无法像GPT-4o那样在语音交互历程中同时天生中心文本效果。

为应对这一挑战，中国科学院盘算手艺研究所自然语言处置惩罚团队提出了文本-视觉-语音多模态大模子——Stream-Omni，其能同时支持种种模态组合下的交互。通过对各模态间的关系举行更有针对性的建模，Stream-Omni实现了越发高效和无邪的文本-视觉-语音模态对齐。仅依赖包括2.3万小时语音的多模态数据，Stream-Omni即可具备文本交互、语音交互、基于视觉的语音交互等种种模态上的交互能力。与此同时，依赖于立异的语音建模方法，Stream-Omni能在语音交互历程中像GPT-4o一样同步输出中心文本转录效果，为用户提供全方位的多模态交互体验。

论文问题：Stream-Omni: Simultaneous Multimodal Interactions with Large Language-Vision-Speech Model论文链接：https://arxiv.org/abs/2506.13642开源代码：https://github.com/ictnlp/Stream-Omni模子下载：https://huggingface.co/ICTNLP/stream-omni-8b

Stream-Omni的模态对齐

现有多模态大模子中的模态对齐（如左图所示）：在序列维度上将三种模态的体现举行拼接，输入至大语言模子基座

为了减轻对大规模三模态数据的依赖，Stream-Omni更有针对性地建模各模态之间的关系，即语音与文本应在语义上高度一致，而视觉则在语义上对文本形成互补关系。因此，Stream-Omni对差别模态接纳差别对齐方法（如右图所示）：

视觉-文本对齐：序列维度的视觉文本拼接语音-文本对齐：层级维度的语音文本映射

实现上，Stream-Omni以大语言模子（LLM）为焦点，并在其底部和顶部引入语音层，通过毗连时序分类（Connectionist Temporal Classification，CTC）建模语音到文本的映射，此建模方法的优势在于：

支持通过语音模态举行外部交互，同时使用文本模态在内部控制天生的内容
；基于CTC的语音-文本映射为语音文本在体现和结构的对齐上提供越发直接的监视，因此Stream-Omni 能够在仅使用少量语音数据的情形下，将 LLM 主干的文本能力迁徙至语音模态。层级维度映射使得Stream-Omni在语音交互历程中还能同步输出中心文本效果（即指令和回复的转录文本），为用户提供更周全的多模态体验。

Stream-Omni

Stream-Omni以大语言模子作为主干，逐步将视觉和语音与文本对齐，高效地构建了一个支持文本、视觉和语音的多模态大模子。在视觉-文本对齐方面，Stream-Omni接纳视觉编码器和投影？樘崛∈泳跆逑，并将其与文本体现举行拼接。在语音-文本对齐方面，Stream-Omni在LLM主干的底部和顶部辨别引入若干语音层，用于将语音映射到文本以及基于文本天生语音。

视觉模态

基于视觉模态与文本模态之间具有语义互补性，Stream-Omni接纳LLaVA架构中的序列维度拼接的方法举行视觉-文本对齐。

语音模态

（1）语音离散化：Stream-Omni接纳CosyVoice Tokenizer对语音输入举行离散化，编码为若干离散的语音单位（< Audio_965>…）。

（2）语音到文本映射：为了充分使用LLM的能力，Stream-Omni在LLM的底部引入语音层，用于学习语音与文本之间的映射关系，从而将LLM中的文本能力迁徙到语音模态中。Stream-Omni使用在ASR使命上的CTC损失直接监视底部语音层语音体现，将其与文本模态对齐。

（3）文本天生：LLM基于输入的视觉体现和语音体现，天生文本回复。

（4）文本到语音天生：Stream-Omni通过顶部语音层来完成文本到语音天生。为了在天生文本的同时天生语音单位，Stream-Omni在顶部语音层中引入了alignment-based fusion？椤lignment-based fusion沿用了StreamSpeech等实时天生研究中的同步天生战略，使用CTC对齐来指导同步天生历程。

恣意模态组合下的多模态交互

Stream-Omni能够通过无邪组合视觉编码器、底部语音层、LLM、顶部语音层来实现恣意模态组合下的交互。同时，由于层级维度语音文本映射，Stream-Omni能够在语音到语音天生历程中提供中心的文本效果。

实验效果

视觉明确能力

Stream-Omni和相同规模和数据量级的视觉大模子取得相当的体现。

语音交互能力

在事实性的语音交互上，Stream-Omni相比于现有要领具有优势，源于层级维度的语音文本映射将LLM的文本能力迁徙到语音模态上。

基于视觉的语音交互能力

在本实例中，在指令划分通过文本和语音输入的情形下，VITA-1.5给出了两个相互矛盾的回覆：“不允许前往二楼”和“直接通往二楼”。这一在面临差别模态指令时爆发的矛盾回应，源于沿序列维度拼接视觉、语音和文本体现来实现多模态对齐的要领，并未对语音与文本模态之间的语义举行严酷对齐建模。相比之下，Stream-Omni引入语音到文本的映射机制，实现了语音与文本体现之间更准确的语义对齐。因此，Stream-Omni在差别模态下体现越发一致，无论指令是通过文本照旧语音输入，都能天生相似的响应。另外，Stream-Omni还能天生高质量的语音回复，更多实例请在https://github.com/ictnlp/Stream-Omni体验。

总结

Stream-Omni是一个GPT-4o式的文本-视觉-语音多模态大模子，能够支持多种模态组合下的多模态交互。Stream-Omni能够在语音交互历程中输出中心文本效果，为用户提供更周全的多模态交互体验。Stream-Omni关注怎样构建模态对齐，语音体现力等方面的增强不是本研究的重点，因此其在拟人化、音色多样性等方面保存局限性。

??时势1：丝袜人妻熟女XXXXX网站

??07月11日,中国特色大国外交必将更有作为,

　　希望宽大学生要强化创业立异看法、增强创业立异勇气、明确创业立异偏向、提高创业立异能力，以创业立异的生动实践誊写青春华章，为河北的社会昌盛，经济生长，为实现中华民族再起的中国梦作出应有的孝顺!

,3D黄漫❌18禁漫画视频。

??07月11日,“尔滨”火出国：全球搜索热度上升 入境游订单量增加,

　　山脉深处传来雷鸣般的吼声，令山石滚落，回音隆隆，林木强烈摇晃，乱叶狂飞，远处有大型凶兽出没。

,欧美18🈲️色情福利小视频,delicate霉霉,女学生三级全黄。

??时势2：抖音八酱的爆料网站

??07月11日,第二届两岸青少年“创未来”科普夏令营福州开营,

　　“小不点，我们先走了，改天再来看你哦。”

,女裸全身无内衣内裤,成人国产精品㊙️在线看明星合成,妓女同❌裸乳❌动漫。

??07月11日,国际顶尖霹雳舞选手在浙江宁波角逐中国总决赛冠军,

　　月光浮现，绚烂洒落，青鳞鹰祭出宝术，极速斩向这条紫金大虫，榨取的空气直轰鸣，呜呜作响。

,H㊙️黄游戏免费网站HD,丰满大乳少妇在线观看网站,彩虹Gay.com。

??时势3：原神夜兰去内无布料图片

??07月11日,一批优质科研空间在河套深圳园区集中竣工,

　　小不点大战九头狮子，突入大草原深处，远离了那座雄伟的石山，战场波及规模极广，宝术神辉惊天。

,浪货今天就把你🌿到服为止作,男人脱光衣服内裤在床上躺着用鸡鸡叉女人的屁股,霍雨浩把唐舞桐❌爽到高潮。

??07月11日,汪文斌：中方将为中柬两国青年交流提供更多平台和机会,

　　“怎么回事？”城门口爆发骚动，惊动了城中的战将，一条主街上马上冲出一群甲胄锃亮、战矛冷光闪灼的军士，正好迎上十五爷。

,黃色A片三級三級三級免费看宝贝,娜美爆乳❌❌女帝,美女被❌脱脱内内打扑克小说。

??时势4：迪丽热巴被❌到喷水18禁

??07月11日,厄尔尼诺现象致菲律宾农业损失超12亿比索,

　　三是要遵守纪律，树立形象。列位都来自农村生产第一线，是一个家庭的主心骨，维系一个家庭的生计。同时，又是村两委的主要向导，有的照旧企业的认真人，抽出时间脱产学习，一定有这样那样的难题。对此，我们作了思量，将这次培训班由前两次的8期缩短到4期，每期授课时间也从5天压缩为4天。各人要合理安排好家务和村务，有始有终坚持究竟。今天你们来加入培训，现在的身份就是学员了，当务之急是要尽快进入角色，既来之，则安之。我希望在培训中，各人要自觉配合，听从治理。不缺课、不迟到、早退，中午不喝酒，不应去的地方坚决不去，不应做的事情坚决不做，严以律己，树好形象。

,半身男模特道具男人台,八重神子裸体开腿网站,芙宁娜被❌超污本子。

??07月11日,遮风挡雨自带“空调”！“洞”感篮球赛在这里举行,

　　鲲鹏俯冲，从那九天之外落下，一头扎进汪洋中，再次化成一条大鱼，名为鲲，搅起无边的浪涛，席卷苍穹。

,㊙️流水18狂🌿🈲视频,女人裸身㊙️免费视频,美女露100‰玩奶头🔞的照片。