MPS 七大 TTS 引擎横向对比
MPS 的语音合成接口本身不分引擎,靠扩展参数 ExtParam 里的 engine 字段决定由哪个引擎执行。目前已接入七个外部引擎:ElevenLabs、Gemini、MiniMax、TTS-Seed、Fish Audio、IndexTTS 和 Seed Audio。它们共用同一套接口、鉴权与计费,但能力边界差异不小。
这篇把七个引擎放在一起对比,便于选型。各引擎的完整参数与调用示例见文末的单篇文档。
一句话速选
| 你的需求 | 选它 | 关键能力 |
|---|---|---|
| 做卡拉 OK 字幕、音画逐字对齐 | TTS-ElevenLabs | with_timestamps 字符级时间戳 |
| 用一句自然语言描述口音、语气 | TTS-Gemini | engineCustom.prompt 自由描述 |
| 要克隆音色、或用文字设计新音色 | TTS-MiniMax | 合成 + 克隆 + 音色设计全支持 |
| 要新闻、广告、电台、ASMR 等播报风格 | TTS-Seed | 24 种 emotion 枚举 |
| 要自定义情绪标签,或不建音色就做克隆 | TTS-Fishaudio | Text 内联标签 + references 零样本克隆 |
| 拿一段音频当音色直接用,或音色与情绪分别取样 | TTS-Index | VoiceId 直填参考音频 URL + 8 维情感向量 |
| 要用图片生成语音,或一次引用多条参考音频 | TTS-Seedaudio | references 收图片 / 最多 3 条音频 + @音频N 点名 |
能力对比
| 能力 | ElevenLabs | Gemini | MiniMax | TTS-Seed | Fish Audio | IndexTTS | Seed Audio |
|---|---|---|---|---|---|---|---|
engine 取值 | tts-l1 | tts-gg | minimax | tts-s | tts-f | index-tts | tts-sa |
| 语音合成(同步 / 异步) | ✅ / ✅ | ✅ / ✅ | ✅ / ✅ | ✅ / ✅ | ✅ / ✅ | ✅ / ✅(推荐异步) | ✅ / ✅(推荐异步) |
音色克隆 CloneVoice | ✅ | ❌ 明确不支持 | ✅ | ❌ 暂不支持 | ✅ | ⏳ 未列出(但无需它) | ❌ 明确「暂不支持克隆」 |
| 零样本内联克隆(免建音色) | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ✅ references | ✅ 默认即是(VoiceId 填音频 URL) | ✅ references 传参考音频 |
| 图片参考生成语音 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ✅ 唯一支持(references.image_url) |
| 多条参考音频可在文本里点名 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ | ✅ 最多 3 条 + @音频N |
音色设计 DesignVoiceAsync | ⏳ 未列出 | ⏳ 未列出 | ✅ | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 |
| 情绪 / 风格控制 | ⏳ 未列出 | ✅ 自然语言 prompt | ✅ 7 种枚举 | ✅ 24 种枚举 | ✅ 24 种内联标签,可自定义 | ✅ 5 条路径(向量 / 音频 / 文本 / 随机) | ⏳ 无独立参数,靠参考资源与 text_prompt |
| 音色与情绪分别取样 | ❌ | ❌ | ❌ | ❌ | ❌ | ✅ emo_audio_url 独立于 VoiceId | ❌ |
音量调节 vol | ⏳ 未列出 | ⏳ 未列出 | ✅ | ✅ | ✅ | ⏳ 未列出 | ✅ [0.5, 2.0] 倍率 |
音调调节 pitch | ⏳ 未列出 | ⏳ 未列出 | ✅ [-12, 12] | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ✅ [-12, 12] |
采样控制(temperature / top_p) | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ✅ | ⏳ 未列出 | ⏳ 未列出 |
| 质量 / 延迟档位 | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ✅ latency 三档 | ⏳ 未列出 | ⏳ 未列出 |
| 时间戳 | ✅ with_timestamps(字符级) | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ⏳ 未列出 | ❌ 只给整段 duration | ✅ enable_subtitle(字级,默认关) |
指定模型版本 model | ✅ 6 个可选 | ✅ 3 个可选 | ✅ 2 个可选 | ⏳ 未列出 | ✅ 3 个可选 | ✅ 2 个可选 | ✅ 仅 tts-sa-v1 |
透传原厂参数 engineCustom | ✅ | ✅ | ✅ | ⏳ 未列出 | ✅ | ✅ 仅 2.0+ 模型 | ✅ |
✅ = 接入指引明确支持;❌ = 明确不支持;⏳ = 接入指引未提及,是否可用以实际调用为准。
⏳ 不等于不支持
表里的 ⏳ 只表示「该引擎的接入指引没有列出这项」。各引擎的接入指引详略不一,IndexTTS 的篇幅最短(只列 3 个接口、1 个归一化参数),TTS-Seed 次之,所以这两列的 ⏳ 也最多。真要用到某项能力,建议先用短文本实际调一次确认。
只有 Seed Audio 的输入端跳出了「文本 + 音频」
前六个引擎的输入永远是「文本(要念什么)+ 可选的音频(用谁的声音念)」。tts-sa 的 references 还能收图片(image_url / image_data,最多 1 张 ≤10 MB),由引擎从图片里取语音风格或场景线索,要念的内容仍在文本里。 接入指引把三种模式写成:纯文本、文本 + 图片、文本 + 音频。它没有给出图片内容与语音效果的对应规则,首次使用建议先用几张风格差异明显的图实测。
接口覆盖范围
七个引擎共用 MPS「Media AI – Dubbing APIs」目录下的接口,但各自接入指引列出的范围不同:
| 接口 | 作用 | ElevenLabs | Gemini | MiniMax | TTS-Seed | Fish Audio | IndexTTS | Seed Audio |
|---|---|---|---|---|---|---|---|---|
TextToSpeech | 短文本合成(同步) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
TextToSpeechAsync | 长文本合成(异步) | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
DescribeTextToSpeechAsyncTask | 查询异步任务 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
DescribeVoices | 查询可用音色 | ✅ | ✅ | ✅ | ✅ | ⏳ | ⏳ | ✅ |
CloneVoice | 音色克隆 | ✅ | ❌ | ✅ | ❌ | ✅ | ⏳ | ❌ |
DesignVoiceAsync / DescribeDesignTask | 音色设计与查询 | ⏳ | ⏳ | ✅ | ⏳ | ⏳ | ⏳ | ⏳ |
七个引擎都明确支持的最小公共集是前 3 个接口:合成(同步 / 异步)、查询任务。只用这 3 个接口写的代码,换引擎只需改 engine 一个值。
第 4 个接口不再是公共集的一部分
DescribeVoices 原本是四引擎共有的,但 Fish Audio 与 IndexTTS 的接入指引都没有列出它(Seed Audio 又把它补回来了,所以七个引擎里有五个支持)。如果你的代码靠 DescribeVoices 枚举音色,切到 tts-f 或 index-tts 时这一步可能拿不到结果。 两者各有退路:tts-f 可以用 CloneVoice 的返回值或 references 内联参考音频;index-tts 更彻底 —— 它的 VoiceId 本身就是参考音频 URL,压根不需要音色列表。
IndexTTS 的公共集最窄,但够用
index-tts 的接入指引只列了前 3 个接口,连 CloneVoice 都没有 —— 是七个引擎里最窄的。 这不代表它能力弱:克隆是它的默认行为,把参考音频 URL 填进 VoiceId 就完成了其它引擎要调 CloneVoice 才能做到的事。它少的是"音色管理"这一整层,而不是克隆能力。
音频参数对比
| 参数 | ElevenLabs | Gemini | MiniMax | TTS-Seed | Fish Audio | IndexTTS | Seed Audio |
|---|---|---|---|---|---|---|---|
音频格式 format | wav(默认)/ mp3 / opus / alaw / ulaw | wav(默认)/ mp3 / pcm / ogg_opus / alaw / mulaw | wav(默认)/ mp3 / pcm / flac / pcmu_raw / pcmu_wav / opus | ⏳ 未列出 | wav(默认)/ mp3 / opus | ⏳ 未列出 | wav(默认)/ mp3 / pcm / ogg_opus |
采样率 sampleRate | 8000 / 16000 / 22050 / 24000 / 32000 / 44100,默认 16000 | 8000–48000,默认 16000 | 同 ElevenLabs,默认 16000 | 同 ElevenLabs,外加 48000,默认 16000 | 同 ElevenLabs,默认 16000 | ⏳ 未列出 | 8000 / 16000 / 24000 / 32000 / 44100 / 48000,默认 16000,没有 22050 |
语速 speed | [0.7, 1.2] | ⏳ 未列出 | [0.5, 2] | [0.5, 2] | [0.5, 2] | ⏳ 未列出 | [0.5, 2] |
音量 vol | ⏳ 未列出 | ⏳ 未列出 | (0, 10] | (0, 10] | (0, 10] | ⏳ 未列出 | [0.5, 2.0] 倍率 |
指定时长 duration | ✅ | ⏳ 未列出 | ✅ | ✅ | ✅ | ⏳ 未列出(输出里有 ExtInfo.duration) | ⏳ 未列出 |
五家的默认格式都是 wav,不是 mp3
ElevenLabs、Gemini、MiniMax、Fish Audio、Seed Audio 不指定 format 时输出都是 wav。体积敏感的场景(比如移动端下发)记得显式指定 mp3。另外 opus / ogg_opus / alaw / ulaw 是 MPS 默认引擎不支持的格式,只有外部引擎才有。
IndexTTS 这一列整列 ⏳,不要拿别家的参数表套
index-tts 的接入指引只给了 model 一个 synExt 参数,格式、采样率、语速、音量、指定时长全部未提及 —— 这是七个引擎里唯一这样的。 需要控制输出格式或语速时,先用短文本实测这些字段是否被接受,别照抄 tts-f 或 tts-s 的参数表:那是另一个引擎的声明范围,不构成本引擎的依据。 输出侧倒是明确的:ExtInfo.duration 会返回整段语音时长(秒)。
语速区间、音量语义与采样率可选值都有差异
ElevenLabs 的语速只接受 [0.7, 1.2],而 MiniMax、TTS-Seed、Fish Audio、Seed Audio 是 [0.5, 2]。 音量的差异更隐蔽:MiniMax / TTS-Seed / Fish Audio 的 vol 是 (0, 10] 刻度,Seed Audio 却是 [0.5, 2.0] 倍率(0.5 半倍、2.0 两倍)—— 把 vol: 5 直接套到 tts-sa 上会超出范围被判参数错误。 采样率方面,只有 Gemini(上限 48000)、TTS-Seed 与 Seed Audio(可选 48000)能超过 44100,Fish Audio 的可选值里没有 48000;反过来 Seed Audio 的可选值里没有 22050。一套参数直接套到另一个引擎上,可能因超出范围被判参数错误。
Seed Audio 的 ogg_opus 是一组强约束
选 ogg_opus 时采样率只能是 48000,而默认采样率是 16000 —— 只写 format: "ogg_opus" 而不改 sampleRate,这组参数本身就是冲突的。要用 opus 必须两个一起写。
情绪与风格的五种流派
七个引擎控制"怎么念"的方式完全不同,这是选型时最容易踩的差异:
枚举式(MiniMax / TTS-Seed) —— 从固定列表里挑一个值,写在 synExt.emotion 里。可控、可复现,适合批量生产。
- MiniMax 7 种:
happy、sad、angry、fearful、disgusted、surprised、calm - TTS-Seed 24 种:在基础情绪之外,额外提供
news、advertising、storytelling、radio、ASMR等场景化播报风格
描述式(Gemini / IndexTTS) —— 用自然语言写一句话。Gemini 是 engineCustom.prompt("用温柔耳语的语气,语速放慢");IndexTTS 是 engineCustom.emo_text("你吓死我了!你是鬼吗?"),引擎把这句描述转成情感向量。灵活度最高,但同一句描述的效果不保证每次完全一致。
内联标签式(Fish Audio) —— 情绪不是参数,而是正文的一部分:在 Text 开头写 [excited] 这样的标签。常用标签 24 个,而且支持自定义,不是封闭枚举。
向量式(IndexTTS) —— 给一个 8 维浮点数组 [高兴, 愤怒, 悲伤, 害怕, 厌恶, 忧郁, 惊讶, 平静],每一维连续可调。这是七个引擎里精度最高、也最可复现的方式:枚举式只能在离散档位里挑,向量式能表达"0.8 的悲伤"。
不提供(ElevenLabs / Seed Audio) —— 都没有 emotion 之类的独立参数。ElevenLabs 的风格主要靠选音色本身决定;Seed Audio 的风格线索来自参考资源(音频 / 图片)与 text_prompt —— 是七个引擎里唯一「用参考资源代替情绪参数」的做法。
IndexTTS 横跨两种流派,且多两条路
index-tts 同时提供描述式(emo_text)与向量式(emo_vector),另外还有两条别家没有的:
- 情感参考音频(
emo_audio_url+emo_alpha)—— 从一段样音里取情绪,相当于"照着这个语气念"。 - 随机采样(
use_random)—— 主动要多样性,比如同一句话生成多个版本挑一条。
五条路径共存也带来一个问题:接入指引没有给它们之间的优先级。安全做法是一次只用一条。
内联标签的独特之处与代价
内联标签是唯一支持一段文本里逐句换情绪的机制 —— 枚举式、描述式、向量式都是整次请求一个基调,要换就得拆请求。 代价是标签混在正文里:上游拼接文案时,容易把方括号内容当正文念出来。建议在业务侧约定「情绪标签只允许出现在句首」并在入库前校验。
分工建议
emotion 决定整段的情感基调,pitch / vol 是叠加在基调上的物理调节。例如旁白要"压低且平静",用 emotion: calm + pitch: -3(MiniMax)比只调 pitch 更自然。Fish Audio 没有 pitch,但有 temperature 控制表现力的发散程度 —— 要稳就调低。IndexTTS 两者都没有,但 emo_vector 可以直接把"平静"这一维给高,等效于调基调。Seed Audio 有 pitch / vol 却没有基调参数 —— 要定基调只能换参考音频或改 text_prompt。
音色(VoiceId)怎么拿
前五个引擎的 VoiceId 都直接填各引擎自己的音色名,命名风格差别很大;IndexTTS 则完全不同,填的是一个音频 URL;Seed Audio 取决于有没有传 references:
| 引擎 | VoiceId 示例 | 音色来源 |
|---|---|---|
| ElevenLabs | ElevenLabs 音色 ID | 系统音色 + 克隆 |
| Gemini | Kore(共 30 个 Gemini 音色名) | 仅系统音色 |
| MiniMax | Chinese (Mandarin)_News_Anchor | 系统音色 + 克隆 + 设计 |
| TTS-Seed | zh_female_vv_uranus_bigtts | 仅系统音色 |
| Fish Audio | 7f92f8afb8ec43bf81429cc1c9199cb1 | 克隆音色 + references 内联参考音频 |
| IndexTTS | https://example.com/voice.wav | 参考音频 URL 本身,无音色概念 |
| Seed Audio | 系统音色名;传了 references 时可任意填 | 系统音色 或 references(音频 / 图片 / speaker) |
五个引擎都通过 DescribeVoices 查询(ElevenLabs、Gemini、MiniMax、TTS-Seed、Seed Audio),ExtParam 里指定 engine 即可。该接口支持按 VoiceType(system / clone / design / all)、Gender、Age、Languages.N、Labels.N 筛选并分页。
Fish Audio 与 IndexTTS 是两个例外,而且例外的方式不同:
tts-f的接入指引没列DescribeVoices,它的音色来自CloneVoice的返回值,或者把参考音频塞进engineCustom.references(此时外层VoiceId填什么都不生效)。index-tts更彻底:VoiceId这个字段本身就是参考音频 URL,没有"音色名"这个中间层,也不需要任何额外参数开启克隆。
四种克隆路径怎么选
建音色(ElevenLabs / MiniMax / Fish Audio 都支持):调一次 CloneVoice 拿到 VoiceId,之后反复使用。同一音色用量大时更省带宽。 内联参考(Fish Audio):每次请求在 engineCustom.references 里带上参考音频,省掉音色的创建与生命周期管理,但要同时提供音频和对应文本。 URL 即音色(IndexTTS):直接把音频 URL 写进 VoiceId,连 references 这层包装都没有,也不需要配对文本 —— 接入成本最低。 参考资源(Seed Audio):在 engineCustom.references 里传 audio_url / audio_data,不需要配对文本,而且一次可以带最多 3 条。它没有 CloneVoice,所以结果无法沉淀成可复用音色。 后三种都适合 UGC(一人一音色、用完即弃)或音色数量远大于复用次数的批量任务,代价都是每次请求都要重新拉取音频。IndexTTS 还多一条要求:那个 URL 必须长期可访问,不能用会过期的临时签名链接。
只有 IndexTTS 能把音色和情绪分开取
index-tts 的 VoiceId 决定"谁在说",engineCustom.emo_audio_url 决定"用什么情绪说" —— 两段音频相互独立。想要"A 的声音 + B 的情绪",七个引擎里只有它能做到。
只有 Seed Audio 能在一次请求里切多个音色
别家的参考音频都是「整次请求一个音色」。tts-sa 的 references 可以放最多 3 条音频,并在 text_prompt 里用 @音频1 / @音频2 点名用哪一条 —— 对白、多角色朗读不必拆成多次请求。 代价是编号靠上传顺序匹配,不是具名引用:数组第一条就是 @音频1。顺序乱了不会报错,只会静默出错音色。
迁移与踩坑提醒
ExtParam是字符串,不是对象:七个引擎一致,必须转义成 JSON 字符串传入,直接塞对象会被判参数错误。- 同名参数外层优先:
synExt.xxx覆盖synExt.engineCustom.xxx。想用原厂独有参数,只写在engineCustom里,别在两层重复。 - 例外是 Fish Audio 与 Seed Audio 的
references:传了它,实际音色以参考资源为准,外层VoiceId失效 —— 这是「外层优先」规则在七个引擎里唯一被明文豁免的参数,而且恰好这两家都叫references。 engine值精确匹配:前后不要带空格。TTS-Seed 与 Seed Audio 的接入指引示例里都曾出现前导空格(" tts-s"、" tts-sa"),均属笔误。- 换引擎先核对取值范围:语速、采样率、格式的可选值各不相同,尤其 ElevenLabs 的语速区间明显更窄、Fish Audio 没有
48000采样率、Seed Audio 没有22050且vol是倍率而非刻度,而 IndexTTS 这些参数一个都没声明。 VoiceId的语义会变:切到index-tts时它从"音色名"变成"参考音频 URL";切到tts-sa且带references时它变成一个被忽略的占位值 —— 跨引擎的封装层必须专门处理这一层。- 克隆与零样本的边界要分清:ElevenLabs、MiniMax、Fish Audio 支持
CloneVoice(可沉淀复用的音色);IndexTTS 没列CloneVoice但默认即克隆;Seed Audio 明确「暂不支持克隆」,但它可以用参考音频 —— 效果接近零样本克隆,区别是每次请求都要重新带音频,结果不可沉淀。Gemini 明确不支持,TTS-Seed 暂不支持。 - 时间戳现在有两家,但粒度不同:ElevenLabs 的
with_timestamps是字符级;Seed Audio 的audio_config.enable_subtitle是字级,且默认关闭,不传拿不到时间戳也不会报错。中文场景字级通常更好用。 - 情绪控制的"位置"会变:切到 Fish Audio 时情绪从
ExtParam搬到了Text正文里;切到 IndexTTS 时又变回ExtParam,但形态是向量或描述文本;切到 Seed Audio 则根本没有情绪参数,只能靠参考资源与text_prompt。跨引擎的封装层要把这几种差异吃掉。 - IndexTTS 的
emo_text不是合成正文:它只用于推导情绪,要念的内容在Text里 —— 搞混会把情感描述念出来。 - IndexTTS 与 Seed Audio 都建议走异步:两家接入指引都明确提示耗时较久,七个引擎里只有它们写了这句。
- IndexTTS 的情感参数绑定模型版本:
engineCustom下的情感参数仅index-tts-2(默认)支持,显式指定index-tts-1.5会让它们静默失效。 - Seed Audio 的
text_prompt未在参数表中定义:三种生成模式的说明都围绕它,但接入指引的参数表里没有这个字段,与 MPS 的Text的关系也未说明 —— 上线前务必实测确认。 - Gemini 有文本长度上限:文本与 prompt 各 ≤4000 字节、合计 ≤8000 字节;长文本要自行分段。
- Fish Audio 的默认模型未列刊例价:价目表只有
s2-pro与s1(均 $15.00/百万 UTF-8 字节),而不指定model时走的是tts-f-s2.1-pro。批量任务前先确认计费口径。
单篇文档
| 文档 | 引擎代号 | 特点 |
|---|---|---|
| TTS-ElevenLabs | tts-l1 | 字符级时间戳,6 个模型可选 |
| TTS-Gemini | tts-gg | prompt 控风格,不支持克隆 |
| TTS-MiniMax | minimax | 能力最全,克隆 + 设计都支持 |
| TTS-Seed | tts-s | 24 种情绪,场景化播报风格最多 |
| TTS-Fishaudio | tts-f | 内联情绪标签可自定义,零样本克隆免建音色 |
| TTS-Index | index-tts | VoiceId 直填音频 URL,8 维情感向量,音色与情绪可分开取样 |
| TTS-Seedaudio | tts-sa | 唯一支持图片参考生成,最多 3 条参考音频可在文本里点名,字级时间戳 |
| AI 配音 | — | MPS 配音能力总览与内置引擎 |
| Media AI – Dubbing APIs | — | 官网接口目录 |