什么是零样本声音克隆？
零样本声音克隆在生成时提供一小段参考录音，模型据此用新的声音说出你的文本。模型从没在这个说话人身上训练过，而是像大语言模型跟随提示词一样，从参考音频里“学”到声音。这正是它与少样本适配、微调的区别：
| 方式 | 新声音需要提供什么 | 是否为这个声音训练 |
|---|---|---|
| 零样本 | 一小段参考音频，随每次请求提供 | 不训练，生成时直接复刻声音 |
| 少样本 | 该说话人的少量录音 | 使用前做一次简短的适配 |
| 微调 | 该说话人更大规模、带文本标注的数据 | 训练出一个专属于该说话人的模型副本 |
零样本声音克隆的原理（以 CosyVoice 为例）
现代零样本系统把任务拆成“说什么”和“听起来像谁”两部分。下面是 CosyVoice 论文描述的流程，其他开源模型在细节上各有不同。
1. 把语音变成 token
语音分词器把音频转换成离散的语音 token。CosyVoice 的 token 来自语音识别模型，因此携带“说了什么”的信息，并能和文本对齐。
2. 用语言模型延续这个声音
文本-语音语言模型同时读取你的文本、参考音频的文字稿和语音 token，生成同样说话风格的新语音 token。CosyVoice 2 在这一步使用预训练的 Qwen2.5-0.5B 大语言模型。
3. 用流匹配加上音色
流匹配（flow matching）模型把语音 token 转成梅尔频谱。音色在这一步通过说话人嵌入和参考语音加入，所以输出听起来像参考音频里的人。
4. 合成音频
预训练的声码器把频谱还原成可以播放的波形。
开源零样本声音克隆模型对比
每一行都来自该项目自己的 README 或模型卡，核对于 2026 年 10 月 26 日。各模型差别最大的往往不是效果，而是许可证：好几个热门模型的权重只允许非商业使用。
| 模型 | 最新开源版本 | 语言 | 许可证 | 来源 |
|---|---|---|---|---|
| CosyVoice 3（Fun-CosyVoice 3.0） | Fun-CosyVoice3-0.5B-2512 | 9 种语言、18+ 种中文方言与口音；支持跨语言克隆 | Apache-2.0（README 另有“仅供学术用途”的免责声明） | QwenAudio/CosyVoice README |
| CosyVoice 2 | CosyVoice2-0.5B | 中文、英语、日语、韩语 | Apache-2.0 | Hugging Face: CosyVoice2-0.5B |
| F5-TTS | F5TTS_v1_Base | 中文和英语（基础模型用 Emilia 中英数据训练） | 代码 MIT；预训练模型 CC-BY-NC（非商业） | SWivid/F5-TTS (GitHub) |
| OpenVoice V2 | OpenVoice V2 | 英语、西班牙语、法语、中文、日语、韩语 | MIT，README 写明可免费商用 | myshell-ai/OpenVoice (GitHub) |
| IndexTTS | IndexTTS-2.5 | 中文、英语、日语、西班牙语、阿拉伯语 | bilibili 模型使用许可协议 | index-tts/index-tts (GitHub) |
| Spark-TTS | Spark-TTS-0.5B | 中文和英语 | 代码 Apache-2.0；权重 CC-BY-NC-SA-4.0（非商业） | Hugging Face: SparkAudio/Spark-TTS-0.5B |
| VoxCPM | VoxCPM2 | 30 种语言，另有 9 种中文方言 | 代码和权重均为 Apache-2.0，README 写明可商用 | OpenBMB/VoxCPM (GitHub) |
我们不按效果排名：每个项目都用自己挑选的测试集和设置报告指标，数字之间不能直接比较。最可靠的办法是挑两三个模型，用你自己的声音试一试。
CosyVoice 各版本的完整说明（开源权重与云端 3.5 模型的区别）见我们的 CosyVoice 3 详解。
三步在线克隆声音
不想自己部署模型？CosyVoice.org 在浏览器里用托管的 CosyVoice 模型完成零样本克隆，不需要 GPU，也不需要 Python。
- 1
上传或录制一段音频
3 到 30 秒、只有一个人说话的 MP3、WAV、M4A 或 OGG 文件（不超过 10 MB）。10 秒左右清晰的语音效果最好。
- 2
确认你有授权
只克隆你自己的声音，或已获得本人明确授权的声音。
- 3
输入文本并生成
克隆出的声音会朗读你的文本，并保存到「我的音色」以便下次使用。免费账号每月可克隆 2 个声音。
如何录一段好的参考音频
参考音频是模型了解这个声音的唯一依据，它的质量决定了效果的上限。
只有一个人说话，没有音乐
背景音乐、第二个人声或嘈杂的环境都会混进克隆结果。如果音频里有这些，先把人声分离出来。
10 秒左右，正常语速
几秒钟也能用，但 10 秒左右自然、清晰的完整句子能让模型捕捉到更多声音特征。
自己部署时保留文字稿
CosyVoice 的零样本模式需要同时提供参考音频和它的文字稿；跨语言模式只需要音频。
可以跨语言
用一种语言录制的声音可以说另一种语言 —— CosyVoice 的 README 把跨语言零样本克隆列为核心功能之一。
负责任地使用声音克隆
克隆出的声音可能被误认为是本人。只克隆你自己的声音或已获明确授权的声音，不要用它欺骗或冒充他人；在别人可能当真的场合，注明这是合成音频。
在 CosyVoice.org，这些规则写在我们的使用规范里。
零样本声音克隆常见问题
什么是零样本声音克隆？
用一小段参考录音生成新声音的语音，而不需要在这个说话人身上训练或微调模型。模型在生成时直接从参考音频复刻声音。
零样本声音克隆需要多长的音频？
几秒钟，而不是几小时。CosyVoice.org 接受 3 到 30 秒的音频，10 秒左右、单人清晰说话的效果最好。自己部署的模型各有要求，请查看对应项目的 README。
哪个开源声音克隆模型最好？
取决于你需要的语言和许可证。CosyVoice 3 覆盖 9 种语言和 18+ 种中文方言；VoxCPM2 列出 30 种语言；OpenVoice V2 和 VoxCPM2 允许商用，而 F5-TTS 和 Spark-TTS 的权重仅限非商业使用。各项目的评测用的是不同测试集，建议挑两三个用自己的声音试试。
开源声音克隆可以免费商用吗？
不一定。OpenVoice（MIT）和 VoxCPM2（Apache-2.0）写明允许商用；F5-TTS 和 Spark-TTS 的权重采用非商业的知识共享许可；IndexTTS 有自己的模型许可协议；CosyVoice 是 Apache-2.0，但 README 称其内容仅供学术用途。请以你所用模型版本的许可证为准，本文不构成法律意见。
零样本克隆和微调是一回事吗？
不是。微调是用某个说话人更多的数据训练一个模型副本；零样本克隆直接使用原模型，在生成时从一小段音频中获取声音，所以新声音可以马上使用。
不安装任何软件，能在线克隆声音吗？
可以。CosyVoice.org 的声音克隆工具在浏览器中运行：上传或录制 3 到 30 秒你有权使用的音频，再输入文本即可。免费账号每月可克隆 2 个声音，Pro 版不限次数。
资料来源
本页事实已于 2026 年 10 月 26 日对照以下官方资料核对。