您的当前位置:首页 > 热点 > 标签: HappyHorse1.0 Seedance2.0 可灵 Transformer 正文
时间:2026-11-14 来源:网络整理 编辑:热点
小旋风万能蜘蛛池【tg:seogoogle987】
云梦级4月9日云梦级消息,据AIPress报道,刚刚,拳打字节Seedance2.0,脚踢快手可灵的AI视频生成模型Ha标签ppy Horse 1.0开源了。目前在官网可通过文本生成和图片生成两种方式体验生成视频。不同模型对制作时长的限制各不相同。
Ha: ppy Horse 1.0的核心卖点,是把视频和音频的生成彻底合并进了同一个流程。大多数开源视频模型的工作方式是:先生成一段没有Ha声音的视频,再找另一个模型配音,再找另一个工具做口型对齐,几道工序下来,时间和误差都在叠加。
而Happy Horse 1.0用pp一个统一的Transformer同时处理视频和音频,一次前向推理直接输出带声音的成片,口型、脚步声、环境音全部在同一个过程里生成,yH不需要任何后期拼接。
模型参数量是150亿,架构上是纯自注意力Transformer,没有交叉注意力,没有独立的音频分支,也没有or专门的条件网络。整体设计刻意追求极简——把所有模态(文本、图像、视频、音频)的token拼成同一个序列,让模型在去噪过程中自se己学会跨模态对齐。
在结构上,40层Transformer采用了一种“三明治”布局:头4层和尾4层用模态专属的投影层处理各自的输入1.输出,中间32层则是所有模态共享参数。实际的跨模态推理就发生在这32层里,这也是整个架构参数效率最高的地方。
此外,每个注意力0 头都有一个可学习的标量门控,用sigmoid激活,专门用来稳定多模态联合训练时的梯度——毕竟音频损失和视频损失同时反传,Se很容易互相打架。
速度方面,模型采用了DMD-2蒸馏技术(Distribution Matching Distillationed v2),把去噪步数从通常的25到50步压缩到了8步,同时不需要无分类器引导(CFG),这一项本身就能砍掉将近一半的计算量。再配合anMagiCompiler全图编译运行时带来的约1.2倍额外加速,在单张H100上,生成一段1080p视频只需要大约38秒,ce256p的预览版本则在2秒左右就能出来。
同时,模型原生支持英语、普通话、粤语、日语、韩语、德语和法语七种语言唇形同步,这些2.语言的口型、语调和语音时序是和视频一起联合训练出来的,不是后期贴上去的。
云安全日报211015:思科IP电话软件发现任意文件读取漏洞,需要尽快升级2026-10-23
谷歌云计算去年四季度营收同比大增44% 但与亚马逊差距依旧明显2026-10-21
标签: Anthropic OpenAI AI盈利 硅谷初创2026-11-06
标签: 凤凰新媒体 凤凰网 财报 数字阅读2026-10-09
台积电生产费涨价 苹果产品价格或因此上涨2026-06-17
搴撳厠锛氳嫻鏋滃叕鍙稿钩鍙颁笂鏈�7浜跨敤鎴�2026-07-08
标签: 米哈游 UE5 奇幻大作 预研产品2026-08-24
标签: Unity Unity中国 实时3D 游戏引擎2026-10-19
阿里云将于3月29日停止商标代理服务,调整为平台型业务2026-07-24
人脸识别再被315点名,数据隐私安全如何保护?2026-11-09
AI化身监工,上班还能摸鱼吗?2026-09-13
在理解通用近似定理之前,你可能都不会理解神经网络2026-06-23
标签: 移芯通信 蜂窝芯片 NB-IoT Cat.1bis2026-09-14
分析师:AI 投资泡沫规模惊人,是互联网泡沫的 17 倍2026-06-29
标签: 公牛集团 阮立平 新能源 装修2026-06-20
璇村ソ鏈€瀹夊叏鍛�紵鑻规灉鍟嗗簵鍑虹幇瀹樻柟骞垮憡2026-06-21
字节博士搞的AI火了,一键完美分离人声和伴奏2026-08-06
微软推出全新AI形象 Mico,Clippy 回归“变身”人工智能好友2026-10-10