CosyVoice 3(Fun-CosyVoice 3.0 与 3.5):是什么、在线试听与使用方法
CosyVoice 3 是开源语音合成模型 CosyVoice 的第三代。它的开源版本 Fun-CosyVoice 3.0(2025 年 12 月发布)只需一小段样本就能克隆声音,覆盖 9 种语言和 18+ 种中文方言。CosyVoice 3.5 是更新的模型,通过阿里云 API 提供,没有公开权重。
CosyVoice 各版本:1、2、3、Fun-CosyVoice 3.0 与 3.5
哪些版本可以下载,哪些只有论文或云端 API。
| 版本 | 模型 | 开放权重 | 时间 | 来源 |
|---|---|---|---|---|
| CosyVoice 1 | CosyVoice-300M(另有 -SFT 与 -Instruct) | 有 | 2024 年 7 月(论文) | arXiv |
| CosyVoice 2 | CosyVoice2-0.5B | 有 | 2024 年 12 月 | README |
| CosyVoice 3(论文) | 研究模型,最大 1.5B 参数 | 无 — 1.5B 模型只见于论文 | 2025 年 5 月(论文) | arXiv |
| Fun-CosyVoice 3.0 | Fun-CosyVoice3-0.5B-2512(基础版与 RL 版) | 有 | 2025 年 12 月 | README |
| CosyVoice 3.5 | cosyvoice-v3.5-flash、cosyvoice-v3.5-plus | 无 — 仅阿里云 API | 未公布 | 阿里云 |
CosyVoice 3 相比 CosyVoice 2 有哪些新东西
CosyVoice 3 论文的目标是“真实场景”语音:在不同语言和录音条件下都能生成自然、音色一致的声音,而不只是干净的录音棚数据。
多任务语音分词器
新的语音分词器用五个有监督任务联合训练——语音识别、情感识别、语种识别、音频事件检测和说话人分析——让韵律更自然。
奖励模型后训练
用可微分的奖励模型做后训练;论文指出这一方法同样适用于其他基于大语言模型的语音合成模型。
训练数据扩大 100 倍
训练数据从 1 万小时扩大到 100 万小时,覆盖 9 种语言和 18 种中文方言。
论文中的模型更大
论文中参数量从 0.5B 增加到 1.5B。开源的 Fun-CosyVoice 3.0 权重是 0.5B。
发音修正与文本规范化
可以用汉语拼音或英文 CMU 音素修正发音,数字和符号也能直接朗读,无需单独的文本前端。
双向流式与指令控制
支持文本输入和音频输出双向流式,延迟最低 150 毫秒;还能用指令控制语言、方言、情感、语速和音量。
支持的语言与中文方言
开源的 Fun-CosyVoice 3.0 覆盖 9 种语言和 18+ 种中文方言与口音,还能跨语种克隆声音——比如用一段中文录音的音色说英文。
- 9 种语言
- 中文、英语、日语、韩语、德语、西班牙语、法语、意大利语、俄语
- 18+ 种中文方言与口音,包括
- 广东话(粤语)、闽南话、四川话、东北话、陕西话、山西话、上海话、天津话、山东话、宁夏话、甘肃话
零样本声音克隆
“零样本”指 CosyVoice 3 在生成时直接从一小段参考录音复刻音色,不需要针对每个说话人训练。官方 README 把多语种、跨语种的零样本克隆列为核心功能。
在 CosyVoice.org,声音克隆由云端的 CosyVoice 第三代模型完成:上传一段你有权使用的样本,就能在浏览器里生成语音。 开始克隆声音
开源权重与云端模型
使用 CosyVoice 3 有两种方式:下载开源权重自己部署,或者通过阿里云百炼(Model Studio / DashScope)调用云端模型。
| 对比项 | 开源权重(Fun-CosyVoice 3.0) | 云端(阿里云百炼) |
|---|---|---|
| 模型 | Fun-CosyVoice3-0.5B-2512 及其 RL 版 | cosyvoice-v3-flash、cosyvoice-v3-plus、cosyvoice-v3.5-flash、cosyvoice-v3.5-plus |
| 获取方式 | GitHub、Hugging Face、ModelScope | 百炼 WebSocket API 以及 DashScope Python/Java SDK |
| 地域 | 部署在哪里都行 | v3:新加坡和中国(北京);v3.5:仅中国(北京) |
| 费用 | 免费下载(Apache-2.0),GPU 费用自理 | 按输入字符计费 |
| 上手成本 | Python 3.10 环境、下载模型、自备 GPU 服务器 | 一个 API Key,无需 GPU |
下载开源权重:QwenAudio/CosyVoice READMEHugging Face: Fun-CosyVoice3-0.5B-2512ModelScope: Fun-CosyVoice3-0.5B-2512
云端各型号的区别、官方价格和快速上手示例,见CosyVoice API 指南。
不用安装,直接试用 CosyVoice 3
在免费在线工具里输入一句话试听,或者收听官方演示句子在 CosyVoice 2.0、CosyVoice 3.0-0.5B 和 CosyVoice 3.0-1.5B 之间的对比。
CosyVoice 3 常见问题
CosyVoice 3.0 和 CosyVoice 3.5 有什么区别?
CosyVoice 3.0 是开源版本 Fun-CosyVoice3-0.5B-2512,可以下载后自己运行。CosyVoice 3.5 是阿里云百炼上的云端模型系列(cosyvoice-v3.5-flash 和 cosyvoice-v3.5-plus),列在中国(北京)地域;阿里云文档显示两者都支持声音复刻、声音设计和指令控制。截至 2026 年 10 月,官方 GitHub、Hugging Face 和 ModelScope 仓库里都没有 CosyVoice 3.5 的权重。
CosyVoice 3 开源吗?
开源。Fun-CosyVoice 3.0(Fun-CosyVoice3-0.5B-2512)连同训练和推理脚本以 Apache-2.0 协议发布。CosyVoice 3 论文中的 1.5B 模型尚未开放权重。
cosyvoice3 和 CosyVoice 3 是同一个东西吗?
是的。cosyvoice3、CosyVoice 3.0 和 Fun-CosyVoice 3.0 指的都是第三代;Fun-CosyVoice 3.0 是官方仓库对开源版本的叫法。
CosyVoice 3 可以商用吗?
开源模型采用 Apache-2.0 协议,但 README 也写明其内容仅用于学术和演示——请同时阅读两者,并咨询你自己的法律意见。在 CosyVoice.org,Pro 套餐包含商用授权。
CosyVoice 3 需要多大显存?
官方 README 和模型卡都没有给出最低 GPU 或显存要求,请在自己的硬件上实测。如果不想折腾 GPU,可以直接用本站或阿里云百炼的云端版本。
CosyVoice 3 支持多少种语言?
根据官方模型卡,支持 9 种语言——中文、英语、日语、韩语、德语、西班牙语、法语、意大利语和俄语——以及 18+ 种中文方言与口音。
资料来源
本页事实已于 2026 年 10 月 26 日对照以下官方资料核对。