跳到内容

TTS-Fishaudio ​

更新时间

本文整理 MPS 上调用 Fish Audio 语音合成的接口用法。Fish Audio 在 MPS 里以引擎代号 tts-f 接入:接口、鉴权、计费、任务查询、存储全部沿用 MPS 既有的语音合成接口,只在扩展参数 ExtParam 里写 "engine": "tts-f" 切到 Fish Audio,再按需带上模型、语速、参考音频等参数。

tts-f 有三件事跟 MPS 上的其它 TTS 引擎都不一样,也是选它的主要理由:

  1. 情绪写在正文里,不是单独的参数 —— 在 Text 开头加 [excited] 这样的标签,而且标签内容支持自定义。
  2. 零样本克隆可以内联完成 —— 在 engineCustom.references 里直接传一段参考音频,当次请求就按这个音色合成,不必先调 CloneVoice 拿 VoiceId。
  3. 提供 LLM 式的采样控制 —— temperature / top_p / repetition_penalty 调表现力与重复度,latency 在质量和延迟之间选档。

和另外五个引擎怎么选

七个引擎的完整横向对比(接口覆盖、情绪机制、音频参数、克隆能力)见 Blog 里的 MPS 七大 TTS 引擎横向对比。 一句话版本:要自定义情绪标签或不想先建音色就做克隆 → 本文。

接口与官网文档 ​

以下接口均属于 MPS「Media AI – Dubbing APIs」,官网接口地址统一在腾讯云国际站 Media AI – Dubbing APIs 目录下。

支持 tts-f 的接口 ​

《TTS-F 引擎接入指引》列出以下 4 个接口可通过 ExtParam.engine 切到 Fish Audio:

接口作用调用方式官网接口地址
TextToSpeech短文本转语音,直接返回音频同步1041/82311
CloneVoice用参考音频克隆音色,得到可复用的 VoiceId同步1041/82312
TextToSpeechAsync长文本转语音,返回 TaskId异步1041/79693
DescribeTextToSpeechAsyncTask查询异步合成结果(Status / AudioUrl)同步1041/79696

同目录的其它接口 ​

接口作用走 tts-f官网接口地址
DescribeVoices查询可用音色⏳ 接入指引未列出1041/79695
DesignVoiceAsync / DescribeDesignTask用文字描述设计新音色 / 查询结果⏳ 接入指引未列出1041/79694 / 1041/79598
UpdateVoice / DeleteVoice修改 / 删除克隆或设计的音色⏳ 接入指引未列出1041/81214 / 1041/81215
ChangeVoice音色转换⏳ 接入指引未列出1041/83750
SyncDubbing早期合一接口(克隆或合成)⏳ 接入指引未列出1041/77775

⏳ = 接入指引未提及,是否可切到 Fish Audio 以实际调用为准。

DescribeVoices 不在接入指引的列举范围内

七个引擎里只有 tts-f 和 index-tts 的接入指引没列 DescribeVoices(后来接入的 tts-sa 又把它列上了)。好在 tts-f 不太依赖它:要指定音色,既可以用 CloneVoice 返回的 VoiceId,也可以用下面的 references 内联传参考音频。真要枚举系统音色,先用短请求实测一次。

公共约定:

  • 版本号 2019-06-12;接入域名国际站 mps.intl.tencentcloudapi.com(中国站 mps.tencentcloudapi.com)。
  • 鉴权统一 TC3-HMAC-SHA256(SecretId / SecretKey),签名方法见 Quick Start。
  • 每个接口频率上限 20 次/秒。

引擎切换:ExtParam.engine ​

MPS 的语音合成接口本身不分引擎,靠 ExtParam 这个 JSON 字符串字段决定由哪个引擎执行。tts-f 用到三层:

层级作用说明
engine选引擎本文固定填 tts-f
synExt.*MPS 归一化后的合成参数模型、格式、采样率、时长、语速、音量
synExt.engineCustom.*透传给 Fish Audio 原厂的参数参考音频、采样控制、延迟档位

ExtParam 在请求里是字符串,不是对象 —— JSON 需要转义后作为字符串传入(见调用示例)。

同名参数外层优先,但 references 是例外

synExt.xxx 与 synExt.engineCustom.xxx 同名时外层优先。 唯一例外是 references:接入指引原文明确「相同参数外层优先(references 除外)」。也就是说传了 references,实际音色就以它为准 —— 哪怕外层 VoiceId 填了别的值。后来接入的 tts-sa 的 references 也有同样的豁免,七个引擎里只有这两个参数被明文豁免。

tts-f 主要参数 ​

参数类型必填描述
engineString是填 tts-f
synExtObject否语音合成扩展参数
synExt.modelString否指定模型,可选 tts-f-s2.1-pro(默认)、tts-f-s2-pro、tts-f-s1
synExt.formatString否生成音频格式,可选 wav、mp3、opus,默认 wav
synExt.sampleRateInteger否采样率,可选 8000、16000、22050、24000、32000、44100,默认 16000
synExt.durationFloat否指定音频时长
synExt.speedFloat否语速,取值 [0.5, 2],默认 1.0
synExt.volFloat否音量,取值 (0, 10],默认 1.0
synExt.engineCustomObject否引擎客制化参数,透传 Fish Audio 原厂请求参数

模型列表 ​

取值说明
tts-f-s2.1-pro默认模型,当前代际的 Pro 模型
tts-f-s2-pro上一代 Pro 模型
tts-f-s1S1 模型

默认模型未列刊例价

接入指引的刊例价只给了 s2-pro 与 s1(均 $15.00 / 百万 UTF-8 字节),默认模型 s2.1-pro 未列价。按默认参数跑批量前,建议先跟商务确认 s2.1-pro 的计费口径,或显式指定一个已列价的模型。

engineCustom 参数 ​

参数类型必填描述
referencesArray of Object否参考音频样本数组,需同时传音频和对应文本。传此参数时上层 VoiceId 可以 mock 一个,实际音色以本参数为准
references[].audio_dataString否参考音频 Base64 编码(请求包 10M 以内)。与 audio_url 二选一
references[].audio_urlString否参考音频 URL,支持远端引用。支持 WAV、MP3、FLAC;为获得最佳效果用 10–30 秒清晰人声,尽量减少背景噪音
references[].textString否音频样本中所说内容的准确文本。准确性对克隆质量至关重要
temperatureFloat否控制表现力。越高越多样,越低越稳定。取值 [0, 1],默认 0.7
top_pFloat否通过取样控制多样性。取值 [0, 1],默认 0.7
latencyString否延迟与质量的权衡:normal 最佳质量 / balanced 降低延迟 / low 最低延迟。默认 normal
repetition_penaltyInteger否重复音频模式的惩罚,大于 1.0 时重复次数减少。默认 1.2

audio_data 的"二选一"原文有笔误

接入指引对 references.audio_data 的描述写的是「与 audio_data 二选一」(自己跟自己二选一)。按上下文应为「与 audio_url 二选一」—— 两者给同一段参考音频,一个走 Base64、一个走 URL。本文按后者记录。

参数示例 ​

一份完整的 ExtParam 对象(展开后便于阅读,实际传参需转义为字符串):

json
{
  "engine": "tts-f",
  "synExt": {
    "speed": 0.9,
    "engineCustom": {
      "references": [
        {
          "audio_url": "https://example.com/ref.mp3",
          "text": "你好"
        }
      ],
      "temperature": 0.7,
      "latency": "normal"
    }
  }
}

接入指引的示例有两处格式问题,本文已更正

接入指引的扩展参数示例里:① "audio_url": "xxx.mp3" 与 "text": "你好" 之间缺一个逗号,照抄会是非法 JSON;② references 在参数表里声明为 Array of Object,但示例传的是单个对象。 本文按参数表的类型声明写成数组。若实测只接受对象,再按原示例改回。

情绪控制:Text 内联标签 ​

tts-f 不用单独的 emotion 参数,而是把标签写在 Text 正文开头:

text
[happy] What a beautiful day!
[sad] I'm sorry to hear that.
[excited] This is amazing news!

常用情绪标签 ​

接入指引给出 24 个常用标签,标签内容支持自定义(不是封闭枚举):

情绪标签语气描述典型场景
Happy[happy]欢快、上扬好消息、问候
Sad[sad]忧郁、低落慰问、坏消息
Angry[angry]愤怒、强硬投诉、警告
Excited[excited]有活力、热情发布、庆祝
Calm[calm]平和、放松操作指引、冥想
Nervous[nervous]焦虑、不确定免责声明、致歉
Confident[confident]自信、笃定演示、销售
Surprised[surprised]震惊、惊叹反应、发现
Satisfied[satisfied]满意、愉快确认、评价
Delighted[delighted]非常高兴、喜悦庆祝、称赞
Scared[scared]惊恐、害怕警告、恐怖故事
Worried[worried]担忧、烦扰关切、提问
Upset[upset]不安、难受投诉、问题反馈
Frustrated[frustrated]恼火、无奈技术故障、延期
Depressed[depressed]极度低落、绝望严肃话题
Empathetic[empathetic]理解、关怀支持、咨询
Embarrassed[embarrassed]羞愧、尴尬致歉、失误
Disgusted[disgusted]排斥、反感负面评价
Moved[moved]被打动温情时刻
Proud[proud]自豪、有成就感成就、表彰
Relaxed[relaxed]自在、随意日常对话
Grateful[grateful]感激、感谢致谢
Curious[curious]好奇、感兴趣提问、探索
Sarcastic[sarcastic]讽刺、调侃幽默、批评

内联标签的两面

好处:一段文本里可以逐句换情绪,不必拆成多次请求;标签可自定义,枚举列表之外的风格也能试。 代价:标签是正文的一部分,上游拼接文案时容易把方括号内容当正文念出来。建议在业务侧统一一个「情绪标签只允许出现在句首」的约定,并在入库前做一次校验。

音色(VoiceId) ​

tts-f 有两条拿音色的路,可以按场景挑:

场景做法VoiceId
音色要反复用(如固定主播)先调 CloneVoice 建音色用返回的 VoiceId,例如 7f92f8afb8ec43bf81429cc1c9199cb1
一次性、或音色数量很多直接传 engineCustom.references可以 mock 一个值,实际音色以 references 为准

零样本内联克隆适合什么

references 这条路省掉了「建音色 → 存 VoiceId → 管理音色生命周期」的全套流程,适合 UGC 场景(每个用户一个音色,用完即弃)或音色数量远大于复用次数的批量任务。反之,如果同一个音色要用成千上万次,走 CloneVoice 建一次更省带宽 —— 否则每次请求都要重传参考音频。

调用示例 ​

语音合成 TextToSpeech ​

json
{
  "Text": "[excited] 您好",
  "VoiceId": "7f92f8afb8ec43bf81429cc1c9199cb1",
  "ExtParam": "{\"engine\":\"tts-f\",\"synExt\":{\"speed\":0.9}}"
}

注意 ExtParam 的值是转义后的 JSON 字符串,不是嵌套对象;情绪标签 [excited] 写在 Text 里,不在 ExtParam 里。

零样本克隆:用 references 内联指定音色 ​

json
{
  "Text": "[calm] 欢迎收听本期节目",
  "VoiceId": "placeholder",
  "ExtParam": "{\"engine\":\"tts-f\",\"synExt\":{\"speed\":0.9,\"engineCustom\":{\"references\":[{\"audio_url\":\"https://example.com/ref.mp3\",\"text\":\"你好\"}]}}}"
}

VoiceId 这里填的是占位值 —— 传了 references,实际音色以参考音频为准。

音色克隆 CloneVoice ​

json
{
  "AudioData": "音频base64编码",
  "ExtParam": "{\"engine\":\"tts-f\"}"
}

返回的 VoiceId 可以在后续 TextToSpeech / TextToSpeechAsync 里反复使用。

异步合成与查询 ​

长文本用 TextToSpeechAsync 提交,ExtParam 写法与同步接口完全一致,返回 TaskId;再用 DescribeTextToSpeechAsyncTask 轮询 Status,完成后从 AudioUrl 取音频。

支持的语言 ​

共 24 种:

英文中文英文中文
Arabic阿拉伯语Japanese日语
Cantonese粤语Korean韩语
Chinese中文(普通话)Polish波兰语
Czech捷克语Portuguese葡萄牙语
Dutch荷兰语Romanian罗马尼亚语
English英语Russian俄语
Finnish芬兰语Spanish西班牙语
French法语Thai泰语
German德语Turkish土耳其语
Greek希腊语Ukrainian乌克兰语
Hindi印地语Vietnamese越南语
Indonesian印度尼西亚语

模型刊例价 ​

模型类型型号名称定价
TTSs2-pro$15.00 / 百万 UTF-8 字节
TTSs1$15.00 / 百万 UTF-8 字节

默认模型 s2.1-pro 不在价目表里

接入指引的刊例价表只列了 s2-pro 与 s1。默认模型 tts-f-s2.1-pro 未列价,不指定 model 就会走它 —— 批量任务前先确认计费口径。

限制与注意事项 ​

  • 情绪靠正文标签,不靠参数:标签写在 Text 开头,ExtParam 里没有 emotion 字段。
  • references 优先级高于 VoiceId:这是「外层优先」规则被明文豁免的参数(另一个是 tts-sa 的同名参数),传了参考音频,外层音色就不生效。
  • 参考音频用 10–30 秒清晰人声,references[].text 必须与音频内容一致 —— 文本不准直接拖垮克隆质量。
  • Base64 参考音频受请求包限制:audio_data 要求整个请求包 10M 以内,更大的素材走 audio_url。
  • ExtParam 是字符串:请求里必须是转义后的 JSON 字符串,直接塞对象会被判为参数错误。
  • engine 值精确匹配:写 tts-f,前后不要带空格。
  • 默认采样率 16000:高保真场景显式提到 44100;tts-f 的采样率可选值里没有 48000(TTS-Seed 有)。
  • 音量取值是开区间 (0, 10]:0 非法,最小值要大于 0。
  • 默认模型未列刊例价:见上一节。
  • ⏳ 标记的接口以实际调用为准:本文的 ✅ / ⏳ 依据《TTS-F 引擎接入指引》的列举范围,未列出的接口(含 DescribeVoices)不代表一定不可用。

相关文档 ​

文档说明
MPS 七大 TTS 引擎横向对比七个引擎的能力、参数与选型对比
AI 配音MPS 配音能力总览与内置引擎
TTS-ElevenLabs同一套接口的 ElevenLabs 引擎(tts-l1),支持字符级时间戳
TTS-Gemini同一套接口的 Google Gemini-TTS 引擎(tts-gg),用 prompt 控制风格
TTS-MiniMax同一套接口的 MiniMax 引擎(minimax),支持克隆与音色设计
TTS-Seed同一套接口的 TTS-Seed 引擎(tts-s),24 种情绪枚举
TTS-Index同一套接口的 IndexTTS 引擎(index-tts),VoiceId 直填参考音频 URL,8 维情感向量
TTS-Seedaudio同一套接口的 Seed Audio 引擎(tts-sa),唯一支持图片参考生成,字级时间戳
Quick Start鉴权与签名方法
Media AI – Dubbing APIs官网接口目录

基于 VitePress 构建 · 部署于腾讯云 EdgeOne Pages