您的当前位置:首页 > 热点 > 阶跃发布端到端语音大模型Step-Audio 2 mini 正文
时间:2026-11-14 来源:网络整理 编辑:热点
谷歌快排操作流程【tg:seogoogle987】
9月1日,阶跃星辰正式发布最强开源端到端语音大模型Step-Audio2mini。该模型在多个国际基准测试集上取得了SOTA(State-of-the-Art)成绩,将语阶跃音理解、音频推理与生成统一建模,在音频理解、语音识别、跨语种翻译、情感与副语言解析、语音对话等任务中表现突出,并率先支持语音原生的Tool Calling能力,可实现联网搜索等操作发布。Step-Audio2mini被形容为“听得清楚、想得明白、说得自然”,其模型现已上线GitHub、Hugging Face等平台,供用户下载、试用并反馈。
Step-Aud端到io2mini在多个关键基准测试中取得SOTA成绩,在音频理解、语音识别、翻译和对话场景中表现卓越,综合性能超越Qwen-Omni、Kimi-Audio等所有开源端到端语音模型,端语并在大部分任务上超越GPT-4o Audio。在通用多模态音频理解测试集MMAU上,Step-Audio2mini以73.2的得分位列开源端到端语音模型榜首;在衡量口语对话能力的UR音大O Bench上,Step-Audio2mini在基础与专业赛道均拿下开源端到端语音模型最高分;在中英互译任务上,Step-Audio2mini在CoVoST2和CVSS评测模型集上分别取得39.3和29.1的分数,大幅领先GPT-4o Audio和其他开源语音模型;在语音识别任务上,Step-Audio2mini取得多语言和多方言第一,其中开源中文测试集平St均CER(字错误率)3.19,开源英语测试集平均WER(词错误率)3.50,领先其他开源模型15%以上。
Step-Audio2mini通过创新架构设计,有效解决了此前语音模型存在的ep问题,做到“走脑又走心”。它采用真端到端多模态架构,突破传统ASR+LLM+TTS三级结构,实现原始音频输入到语音响应输出的直接转换,架构更简洁、时延更低,并能有效理解副-A语言信息与非人声信号。此外,Step-Audio2mini在端到端语音模型中首次引入链式思维推理(CoT)与强化学习联合优化,能对情绪、语调、音乐等副语言和非语音信号进行ud精细理解、推理并自然回应。模型还支持包括web检索等外部工具,有助于解决幻觉问题,并赋予模型在多场景扩展上的能力。
Step-Audio2mini的能力在案例中得到了生动展示。io它能精准识别大自然的声音、精湛的配音,还能实时搜索获得行业最新资讯。此外,Step-Audio2mini还能控制语速,轻松应对不同场景的对话需求。当被问及哲学难题时,St 2ep-Audio2mini能将抽象问题转化为极简方法论,展现强大的逻辑推理能力。
GitHub:https://github.com/stepfun-ai/Step-Audio2
H mugging Face:https://huggingface.co/stepfun-ai/Step-Audio-2-mini
ModelScope:https://www.minodelscope.cn/models/stepfun-ai/Step-Audio-2-mini
云计算开发:Python练习实例-学用circle画圆形2026-10-19
多集群下的 Tekton 流水线2026-09-26
OpenAI 与 AMD 达成重磅合作,开启 AI 新纪元2026-09-09
标签: 极星 Polestar4 Polestar3 欧洲市场2026-09-14
椒盐龙头鱼的做法窍门2026-10-02
标签: 视觉中国 戴建峰 银河下的村庄2026-09-03
亚马逊在印度推出新产品,进军教育领域2026-05-22
黑科技:用AI将1910年的黑白照片变成彩色电影2026-07-06
云计算开发:Python练习实例-学用rectangle画方形2026-05-19
标签: 西部数据 WDC AI硬盘 存储芯片2026-09-30
标签: 雷军 小米 徐洁云 小米17 Pro2026-07-09
标签: 零一汽车 惊蛰重卡 小满重卡 黄泽铧2026-10-18
OpenAI 收购苹果 “快捷指令” 原团队新创公司2026-08-30
微软2021财年第三财季营收417亿美元 商业云业务营收177亿美元2026-07-29
豆包大模型1.6-vision正式发布,对比上一代综合成本降低约50%2026-09-08
云计算开发:Python练习实例-算一道简单的题目2026-09-04
云计算核心技术Docker教程:Docker 利用构建缓存2026-06-23
标签: 京东集团 京东零售 2026财年Q1 财报2026-11-12
美团推出开源大模型LongCat:旨在赋能开发者,加速AI应用落地2026-08-18
标签: 拼多多 Temu 新拼姆 北陌2026-05-23