Fun-Audio-Chat：阿里云通义百聆团队新一代端到端的开源语音交互模型

Fun-Audio-Chat是阿里云通义百聆团队重磅开源的新一代端到端语音交互模型，兼具专业的语音理解、精准的情感感知与高效的任务执行能力，打造更自然、更智能的语音交互体验。模型创新采用双分辨率设计，依托5Hz与25Hz帧率协同工作，相较同类产品节省近50%的GPU计算资源；核心自研Core-Cocktail两阶段训练策略，可有效规避灾难性遗忘问题，同时支持多语言语音翻译、角色扮演等丰富功能。

Fun-Audio-Chat核心功能亮点：

1、端到端语音交互：

采用Speech-to-Speech纯端到端交互模式，直接从语音输入生成语音输出，摒弃传统ASR+LLM+TTS多模块拼接方案，大幅提升交互效率，显著降低系统延迟。

2、智能情绪感知与回应：

可精准捕捉用户语义、语气、语速、停顿等细节，无需用户直白表达，就能快速识别情绪状态；针对生气、焦虑、开心等不同情绪，给出贴合心意的安慰、陪伴或共鸣反馈，打造如朋友般的人性化对话体验。

3、自然语音指令执行：

搭载Speech Function Call功能，用户通过自然语音下达指令，模型即可自动解析需求、调用相关函数，高效完成各类复杂任务，实现从“语音对话”到“语音办事”的突破。

4、高易用性全量开源：

已完整开源8B版本模型权重、推理代码及Function Call接入示例，无需复杂配置，开发者可直接下载部署，快速上手二次开发。

5、多场景能力适配：

原生支持多语言语音翻译、个性化角色扮演，可灵活适配不同交互需求，覆盖日常沟通、场景服务等多元使用场景。

Fun-Audio-Chat核心技术原理：

1、端到端S2S架构革新：

基于Speech-to-Speech端到端核心架构，实现语音输入到语音输出的直接转化，省去语音识别、文本处理、语音合成的多阶段串联流程，从底层提升交互流畅度，大幅降低系统响应延迟。

2、双分辨率算力优化设计：

创新采用双分辨率处理机制，Shared LLM层以5Hz帧率完成高效语义处理，SRH语音重建层以25Hz帧率生成高质量语音，在保障语音输出质感的同时，将GPU计算开销降低近50%，兼顾性能表现与算力效率。

3、百万小时多任务数据训练：

依托百万小时级多任务数据集完成深度训练，覆盖音频理解、语音问答、情感识别、工具调用等真实业务场景，让模型更贴合实际使用需求。凭借扎实的训练功底，模型在OpenAudioBench、MMAU、Speech-ACEBench、VStyle等权威榜单中，稳居同尺寸模型榜首，性能超越GLM4-Voice、Kimi-Audio等主流竞品。

4、Core-Cocktail训练策略：

独创两阶段训练策略，分阶段引入语音与多模态能力，再与文本大模型参数融合微调，有效缓解模型新增能力时的灾难性遗忘问题，保障全维度能力稳定进阶。

5、多维度情感感知技术：

可从语气、语速、停顿等副语言线索中精准提取情绪特征，结合语义理解实现情绪精准识别，搭配专属情感回应策略，让语音对话更具温度与人性化。