关键词网

聚焦互联网热点关键词,即时更新最新资讯,在关键词网一站式看天下。

科技

混元Hy Realtime:语音模型会唱歌能调工具

混元Hy Realtime:智能音箱与声波

11 月 13 日,腾讯混元发布实时语音模型 Hy Realtime。官方给出的三个升级点是:能结合上下文还原半句话的意图、会自主判断是否需要联网搜资料并调用工具、能按你的点歌要求在对话里直接唱。这款模型已在元宝语音通话和腾讯客服上线,腾讯云 API 排在近期。

Hy Realtime 是什么,和上一代差在哪

它不是一个新的聊天模型,而是一个端到端的实时语音模型:语音进、语音出,中间不需要先转成文字再合成。上一代模型也能打电话,但工具调用和情感表达都比较薄,这次是两个方向同时补。

落地节奏很明确。发布当天就能用:最新版元宝 App 的语音通话里选”初语”音色,或者进官方网页 Demo 体验部分能力。面向开发者的腾讯云 API 官方口径是”近期上线”,具体时间表和定价都还没公布。

所以现在能评价的只有体验层。参数量、训练算力、完整评测细节,官方这次都没披露,下文的数据凡标注”官方口径”的,都需要留出这个折扣。

升级一:听得懂半句话

真人说话是不完整的。口齿含糊、话说一半、说到中途自己改口,这些在电话里天天发生。上一代模型的常见反应是打断、重复确认,或者干脆按字面理解答偏。

Hy Realtime 的做法是把这类输入放回上下文里还原。比如先说”帮我看看明天……算了,还是后天下午”,模型需要判断被取消的是”明天”这个时间点,而不是整句话。官方称这类不完整输入的意图还原”理解准确率显著提升”,但没有给出具体数字。

多轮能力也一起加强了。长对话里最容易丢的是前面定下的约束——预算、人数、忌口,说到第五轮就忘。这次官方强调”较长连续对话中依然稳定理解意图”,实际表现还得等第三方长对话测试。

升级二:会自己决定要不要搜

工具调用是这次最容易被低估的一项。多数语音助手的问题是”不知道什么时候该查”,用户问一句实时信息,它凭记忆答,答错了也不自知。

Hy Realtime 把搜索决策、工具调用、回答生成合并成一件事:先判断这句话要不要外部信息,再决定调哪个工具,最后组织答案。官方用词是”统一搜索决策”。

训练上能看出针对性。混元把 RL 阶段的奖励目标从”答案对不对”扩展到”工具调用过程对不对”,还对冗余检索做了阶梯式降权——意思是搜一次就够的问题,搜三次会被扣分。这套设计直接对应真实场景里的两个毛病:该查不查、乱查一通。

升级三:唱歌,这次是认真的

唱歌能力和腾讯音乐 TME 灵音 AI 团队做了 Co-Design。用户可以用自然语言点歌,条件是组合的:歌手、专辑、曲风、语种、发行年份、热度。官方给的例子是”来首 2010 年到 2020 年之间的英文民谣”,模型需要结合多轮上下文理解意图、匹配歌曲,然后唱出来。

技术上难的不是唱准,是唱得像。团队的说法是围绕表现力、自然度和音乐性打磨,让演唱情绪有层次,咬字和气息衔接更自然,旋律与节奏更协调。这类描述没法验证,只能自己听。

值得注意的细节是”承接前文”。点歌不是一次性指令,用户可以接着说”换一首慢一点的””这个歌手的另一首”,模型要在对话流里维持一个隐性的歌单上下文。这比单次点播难得多,也是它区别于普通语音助手的地方。

低延迟与训练数据:两个值得看的数字

语音交互里,首响延迟超过一秒,人就会觉得对方在犹豫。传统做法是等文本全部生成完再合成语音,链路长、等待明显。

Hy Realtime 用的是”边生成文本、边合成语音”的协同序列建模:文本和语音放在同一个序列里建模,文本还没说完,声音已经开始出了。这套方案对训练要求更高,因为模型要同时学会语言和声学时序。

训练分三段:先用文本模型打语言底子,再用大规模语音数据学时序、韵律和文本对齐,最后用精品发音人数据收敛音色、发音和情感。第三阶段决定”像不像真人”,前两阶段决定”说不说得对”,顺序不能反。

混元Hy Realtime:声音可视化

官方披露了几个训练侧的数字。CT 预训练数据达到千万小时级,任务形态从单一语音识别扩展到音频理解、音乐理解、语音翻译;评测侧配了 51 套纯文本集和 50 多套语音评测集。

最值得记的是这个:SFT 阶段把高质量文本数据向语音任务迁移的”保留率”从 21% 提升到 69%。通俗说,以前文本模型会做的推理题,搬到语音里只剩两成水准;现在接近七成。这个指标解释了很多语音助手”听着聪明、一追问就露馅”的现象。

评测部分要谨慎看。官方自建的基础智商评测里,Hy Realtime 得 61.01 分,对比 Hy2-O 40.92、豆包 App 39.33、GPT-Live App 36.75、Gemini Live App 30.43、Qwen App 19.54——这是混元自己出的题、自己评的分,横向参考价值有限。公开 Benchmark 上官方称”综合客观表现处于领先水平”,同样没有给出完整对照表。

官方的下一步规划列了三项:双工交互(能同时听和说,不被抢话)、长期个性化记忆、前后台 Agent 交互。这三项恰好对应现在语音助手最明显的三个短板,也说明这一代还没到终点。想横向了解市面上的语音产品,可以对照这份语音聊天软件推荐,唱歌方向另有一份唱歌软件清单可以一起看。

结语

这次发布的信号不在”会唱歌”这个噱头,而在语音模型开始承担完整的任务链路:听懂不完整的输入、判断要不要查资料、调用工具、把结果说清楚。唱歌只是这条链路上最容易演示的一段。真正的考验在腾讯云 API 开放之后——定价、并发、双工表现,决定它能进多少真实业务。想先感受效果,元宝 App 里选”初语”音色聊十分钟,比看十篇评测直观;对语音合成链路感兴趣的话,唱歌 AI 软件那篇里对音色与情感控制的拆解可以做补充阅读。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注