ACE-Step 1.5：ACE Studio × StepFun联合开源商业级音乐生成基础模型

ACE-Step 1.5是ACE Studio × StepFun联合开源基于混合架构设计，通过「语言模型规划 + Diffusion Transformer 渲染」双阶段协作，结合4-8步蒸馏推理优化，实现极致高效生成：A100生成4分钟歌曲仅需2秒，RTX 3090约10秒，显存需求低于4GB，可在消费级GPU本地运行。支持50+语言演唱、精细化风格控制及多维度音频编辑，通过少量歌曲LoRA微调即可实现个性化风格迁移，兼顾专业性、高效性与易用性。

ACE-Step 1.5核心功能：

1、文本生成完整音乐：

输入文本提示生成任意时长歌曲（10 秒短循环 → 10 分钟长篇），支持 50+ 语言歌词演唱，旋律、歌词、声学风格高度匹配提示。

2、六大音频编辑能力：

一站式实现音频重绘、翻唱生成、人声转伴奏、音轨分离、层叠编曲、续写补全，精细化操控现有音频，满足二次创作需求。

3、专业级风格精确控制：

可解析含专业音乐术语的复杂提示词，实现零样本音色克隆，严格贴合指定风格、调性、BPM，还原创作意图。

4、LoRA 个性化微调：

仅需少量参考歌曲（低数据量），通过LoRA轻量微调，快速训练出具备个人独特风格的定制化模型，适配专属创作需求。

5、消费级硬件高效运行：

显存占用＜4GB，支持亚秒级生成与批量并行采样，本地部署无压力，可快速探索多种创作候选，提升创作效率。

ACE-Step 1.5技术原理：

1、混合推理-扩散架构：规划与渲染解耦

将音乐生成拆分为「语义规划」和「声学渲染」两个独立阶段，分工协作提升效率与质量：

– 语言模型（Qwen3-0.6B）：作为「作曲家智能体」，通过思维链推理将用户提示转化为包含BPM、调性、时长、歌词、声学描述的 YAML 格式歌曲蓝图；

– Diffusion Transformer（约 20 亿参数）：作为声学渲染器，专注处理标准化条件，生成高保真音频，无需承担语义理解负担。

双组件协同确保跨 50+ 语言的歌词与音频精准对齐，兼顾多语言兼容性与生成质量。

2、对抗动态偏移蒸馏：4-8 步极速推理

基于 Decoupled DMD2 引入 GAN 目标与隐空间判别器，通过随机采样偏移参数（{1,2,3}），让模型学习多样化去噪状态，避免固定步长过拟合。将推理步数从 50 步压缩至 4-8 步，A100 生成 240 秒音轨仅需约 1 秒，实现 200 倍加速，且对抗反馈让学生模型音质超越教师模型。

3、内在强化学习对齐：无外部偏见优化

构建统一内在强化学习框架，分别针对 DiT 和 LM 设计优化目标，无需依赖外部标注：

– DiT 优化：提出「注意力对齐分数（AAS）」作为内在奖励，通过动态时间规整衡量歌词 token 覆盖率、注意力单调性，优化后歌词-音频同步度与人类判断相关性＞95%；

– LM 优化：采用 GRPO 算法，以点互信息（PMI）构建奖励模型，让 LM 同时扮演「作曲家」和「听众」，惩罚通用描述、奖励特异性标注，奖励权重按「风格氛围 50% + 歌词内容 30% + 元数据约束 20%」动态分配。

4、统一掩码生成框架：多模态能力归一化

通过有限标量量化（FSQ）将连续音频隐变量离散为 5Hz 代码本表示，构建灵活掩码范式，仅需单一模型即可支持 6 种模态（文本到音乐、翻唱、重绘、音轨提取、层叠、补全）。通过注意力池化压缩隐空间，结合噪声目标、掩码拼接与 patchify 层处理，统一表征简化多任务训练，确保旋律、节奏在转换过程中高保真保留。