Index-Translate

Index-Translate 系列模型从图文到声音,
让表达跨越语言

机器翻译不是区。— 是2017赛季 FMVP。

今天,我们带来 Index-Translate 系列模型。Index-Translate 是系列的主力模型,面向 150 种语言的文本与多模态图文翻译。我们强调翻译的泛化性,在泛化小语种翻译能力的同时,重点关注指令遵循和梗翻译能力,更贴近实际使用场景。在它的翻译能力之上,我们训练了三款衍生模型:Index-Echo、Index-Homura 和 Index-NativeLong(简称 Index-Nailong),分别探索语音翻译、配音长度控制与长文档翻译。

真实内容对翻译的要求,往往比“换一种语言”更具体:一句玩笑要保留意味,一段配音要适配原有节奏,一本小说需要连贯完整的译文,一段视频则要让另一种语言的观众听懂。我们从文本翻译出发,逐步将能力延伸到这些场景。

  • 主力文本与多模态模型:Index-Translate。 具有 2B/9B/35B-A3B 3种规模(其中 35B-A3B 为 preview,当前为还在训练中的版本),支持 150 种语言,通用翻译能力在同级别达到SoTA水平,与主流通用模型可比。特别强化了指令遵循翻译能力、梗翻译能力以及全系列(2B / 9B / 35B-A3B)原生视觉编码器带来的端到端多模态图片翻译(零外部 OCR 依赖)能力。
  • 语音衍生模型:Index-Echo。 基于 Index-Translate-2/9B 训练,包含端到端 S2TT(语音输入、译文文本输出)与完全端到端 S2ST(语音到语音翻译,直接生成配音)。S2TT 将 AuT encoder 接入 Index-Translate-2/9B 并以端到端方式训练语音翻译任务;S2ST 采用完全端到端语音到语音(Speech-to-Speech)架构,将翻译隐层表征与语音生成深度对齐并全链路端到端微调,无需级联外部系统,直接从输入语音端到端生成保留原说话人音色的目标语言配音;当前支持中英→6 种语言。
  • 长度控制衍生模型:Index-Homura。 基于 Index-Translate-9B 训练,按目标音节比范围控制译文长度,为配音时间窗口生成更合适的文案。当前支持中→4 种语言。
  • 长文档衍生模型:Index-NaiLong。 基于 Index-Translate-9B 训练,面向整本小说等长篇内容,探索一次生成连贯、完整的译文。当前支持中英互译。

下面,我们结合使用场景、真实案例与评测结果,分别介绍四类模型;各模型的详细评测集中展示于文末。

SHOWCASE / 真实案例实测

真实场景案例对比

直观对比 Index 模型与对标模型在语音翻译、复杂指令遵循、术语约束及网络热梗翻译上的实际表现。

语音到语音 · 端到端 S2S / S2TT 中/英 ↔ 6 种目标语言 S2ST 视频配音 & S2TT 实时字幕
Index-Echo S2ST 端到端视频翻译与配音演示
21 秒实机演示 · 原生人声分离与说话人音色保留,原声与配音流畅转场
S2ST 能力概览:实现真正的完全端到端语音到语音直译,无需中间文本中转,直接从源语音合成目标语言语音,推理极速、无级联误差累积。原生保留说话人音色与节奏韵律,配合自动 BGM 回填,实现自然地道的跨语言配音体验。
CAPABILITIES / 能力一览

四种模型,各有所长

从图文到声音,看看它们的代表性表现。

Index-Translate

理解指令,也理解梗
WMT26 评测20 目标语种 · GPT-5.6-Sol Judge (0–100) ↑
WMT26 通用翻译评测 · 20 目标语种 · GPT-5.6-Sol Judge (0–100) ↑ 越高越好。GPT-5.6-Sol 裁判打分(0-100):Index-Translate-35B(preview):76.76;Index-Translate-9B:75.35;Index-Translate-2B:60.26;Hy-MT2-30B-A3B:66.81;gpt-5.6-sol:89.10;gemini-3.5-flash-lite:79.52。 0 25 50 75 100 Index-Translate-35B (preview): 76.76 76.76 Index 35B preview Index-Translate-9B: 75.35 75.35 Index 9B Index-Translate-2B: 60.26 60.26 Index 2B Hy-MT2-30B-A3B: 66.81 66.81 Hy-MT2 30B gpt-5.6-sol: 89.10 89.10 GPT 5.6-sol gemini-3.5-flash-lite: 79.52 79.52 Gemini 3.5-Lite
通用翻译FLORES-200 与 WMT24++ · COMET-22 ↑(0.75–0.90)
通用翻译 · FLORES-200 与 WMT24++ · COMET-22 ↑ 越高越好。FLORES-200 / WMT24++:Index-Translate-35B(preview):0.8794 / 0.8586;Index-Translate-9B:0.8789 / 0.8601;Index-Translate-2B:0.8655 / 0.8489;Hy-MT2-30B-A3B:0.8787 / 0.8624;gpt-5.6-sol:0.8650 / 0.8469;gemini-3.5-flash-lite:0.8750 / 0.8497。 FLORES-200 WMT24++ 0.75 0.80 0.85 0.90 Index-Translate-35B (preview) · FLORES-200: 0.8794 0.8794 Index-Translate-35B (preview) · WMT24++: 0.8586 0.8586 Index 35B preview Index-Translate-9B · FLORES-200: 0.8789 0.8789 Index-Translate-9B · WMT24++: 0.8601 0.8601 Index 9B Index-Translate-2B · FLORES-200: 0.8655 0.8655 Index-Translate-2B · WMT24++: 0.8489 0.8489 Index 2B Hy-MT2-30B-A3B · FLORES-200: 0.8787 0.8787 Hy-MT2-30B-A3B · WMT24++: 0.8624 0.8624 Hy-MT2 30B gpt-5.6-sol · FLORES-200: 0.8650 0.8650 gpt-5.6-sol · WMT24++: 0.8469 0.8469 GPT 5.6-sol gemini-3.5-flash-lite · FLORES-200: 0.8750 0.8750 gemini-3.5-flash-lite · WMT24++: 0.8497 0.8497 Gemini 3.5-Lite
指令遵循instTrans 与 IFMTBench · Quality score / IFscore 均值 ↑
指令遵循 · instTrans 与 IFMTBench · Quality score / IFscore 均值 ↑ 越高越好。Quality score / IFscore(instTrans 与 IFMTBench 均值):Index-Translate-35B(preview):0.7414 / 0.8664;Index-Translate-9B:0.7364 / 0.8485;Index-Translate-2B:0.6552 / 0.7577;Hy-MT2-30B-A3B:0.6951 / 0.7722;gpt-5.6-sol:0.7424 / 0.8496;gemini-3.5-flash-lite:0.6916 / 0.7614。 Quality score IFscore 0 0.25 0.5 0.75 1 Index-Translate-35B (preview) · Quality score: 0.7414 0.7414 Index-Translate-35B (preview) · IFscore: 0.8664 0.8664 Index 35B preview Index-Translate-9B · Quality score: 0.7364 0.7364 Index-Translate-9B · IFscore: 0.8485 0.8485 Index 9B Index-Translate-2B · Quality score: 0.6552 0.6552 Index-Translate-2B · IFscore: 0.7577 0.7577 Index 2B Hy-MT2-30B-A3B · Quality score: 0.6951 0.6951 Hy-MT2-30B-A3B · IFscore: 0.7722 0.7722 Hy-MT2 30B gpt-5.6-sol · Quality score: 0.7424 0.7424 gpt-5.6-sol · IFscore: 0.8496 0.8496 GPT 5.6-sol gemini-3.5-flash-lite · Quality score: 0.6916 0.6916 gemini-3.5-flash-lite · IFscore: 0.7614 0.7614 Gemini 3.5-Lite
垂类翻译均值5项测试集 · COMET-22 ↑
垂类翻译均值 · 5项测试集 · COMET-22 ↑ 越高越好。OPUS-Books、医学等五项垂类等权均值:Index-Translate-35B(preview):0.8438;Index-Translate-9B:0.8451;Index-Translate-2B:0.8377;Hy-MT2-30B-A3B:0.8459;gpt-5.6-sol:0.8311;gemini-3.5-flash-lite:0.8131。 0 0.25 0.5 0.75 1 Index-Translate-35B (preview): 0.8438 0.8438 Index 35B preview Index-Translate-9B: 0.8451 0.8451 Index 9B Index-Translate-2B: 0.8377 0.8377 Index 2B Hy-MT2-30B-A3B: 0.8459 0.8459 Hy-MT2 30B gpt-5.6-sol: 0.8311 0.8311 GPT 5.6-sol gemini-3.5-flash-lite: 0.8131 0.8131 Gemini 3.5-Lite
梗翻译MEME · 文化表达 ↑
梗翻译 · MEME ↑ 越高越好。Index-Translate-35B(preview):0.7405;Index-Translate-9B:0.7387;Index-Translate-2B:0.6443;Hy-MT2-30B-A3B:0.5812;gpt-5.6-sol:0.7194;gemini-3.5-flash-lite:0.7034。 0 0.25 0.5 0.75 1 Index-Translate-35B (preview): 0.7405 0.7405 Index 35B preview Index-Translate-9B: 0.7387 0.7387 Index 9B Index-Translate-2B: 0.6443 0.6443 Index 2B Hy-MT2-30B-A3B: 0.5812 0.5812 Hy-MT2 30B gpt-5.6-sol: 0.7194 0.7194 GPT 5.6-sol gemini-3.5-flash-lite: 0.7034 0.7034 Gemini 3.5-Lite
小语种翻译FLORES_minor 与 instTrans_minor · COMET-22 / IFscore ↑
小语种翻译 · FLORES_minor 与 instTrans_minor · COMET-22 / IFscore ↑ 越高越好。FLORES_minor / instTrans_minor IFscore:Index-Translate-35B(preview):0.8168 / 0.7715;Index-Translate-9B:0.7992 / 0.7725;Index-Translate-2B:0.7377 / 0.6586;Hy-MT2-30B-A3B:0.6746 / 0.4449;gpt-5.6-sol:0.7669 / 0.6866;gemini-3.5-flash-lite:0.8122 / 0.5584。 FLORES 小语种 小语种指令 0 0.25 0.5 0.75 1 Index-Translate-35B (preview) · FLORES_minor: 0.8168 0.8168 Index-Translate-35B (preview) · instTrans_minor IFscore: 0.7715 0.7715 Index 35B preview Index-Translate-9B · FLORES_minor: 0.7992 0.7992 Index-Translate-9B · instTrans_minor IFscore: 0.7725 0.7725 Index 9B Index-Translate-2B · FLORES_minor: 0.7377 0.7377 Index-Translate-2B · instTrans_minor IFscore: 0.6586 0.6586 Index 2B Hy-MT2-30B-A3B · FLORES_minor: 0.6746 0.6746 Hy-MT2-30B-A3B · instTrans_minor IFscore: 0.4449 0.4449 Hy-MT2 30B gpt-5.6-sol · FLORES_minor: 0.7669 0.7669 gpt-5.6-sol · instTrans_minor IFscore: 0.6866 0.6866 GPT 5.6-sol gemini-3.5-flash-lite · FLORES_minor: 0.8122 0.8122 gemini-3.5-flash-lite · instTrans_minor IFscore: 0.5584 0.5584 Gemini 3.5-Lite
查看完整评测

Index-Echo

从语音到翻译语音
S2TT语音翻译质量MT judge ↑
S2TT语音翻译质量 · MT judge ↑ 越高越好。Index-Echo-9B:0.857;Index-Echo-2B:0.825;gemini-3.1-pro-think:0.849;firered_audio:0.448 0 0.25 0.5 0.75 1 Index-Echo-9B:0.857 0.857 Echo 9B Index-Echo-2B:0.825 0.825 Echo 2B gemini-3.1-pro-think:0.849 0.849 Gemini3.1 Pro-Think firered_audio:0.448 0.448 FireRed Audio
S2ST WER/CER 均值WER/CER ↓ · 仅显示均值
Index-Echo · S2ST WER/CER 对比均值 对比 Index-Echo-2B 落地版、级联 pipeline 与 SeamlessM4T-v2 均值。EN WER: Echo 0.039, Pipe 0.042, Seamless 0.066;ES WER: Echo 0.090, Pipe 0.131, Seamless 0.058;JA CER: Echo 0.027, Pipe 0.123, Seamless 0.468。WER/CER 越低越好。 Index-Echo Pipeline SeamlessM4T-v2 0 0.10 0.20 0.30 0.40 0.50 EN WER · Index-Echo: 0.0390.039 EN WER · Pipeline: 0.0420.042 EN WER · SeamlessM4T-v2: 0.0660.066 EN WER ES WER · Index-Echo: 0.0900.090 ES WER · Pipeline: 0.1310.131 ES WER · SeamlessM4T-v2: 0.0580.058 ES WER JA CER · Index-Echo: 0.0270.027 JA CER · Pipeline: 0.1230.123 JA CER · SeamlessM4T-v2: 0.4680.468 JA CER*

* 日语采用 raw CER,英、西语为 WER。

S2ST说话人相似度source-speaker cosine ↑
Index-Echo · S2ST 说话人相似度对比 对源说话人的音色 cosine 相似度均值。EN: Echo 0.715, Pipe 0.724, Seamless 0.077;ES: Echo 0.744, Pipe 0.748, Seamless 0.099;JA: Echo 0.785, Pipe 0.779, Seamless 0.140。SeamlessM4T-v2 未做音色克隆。越高越好。 Index-Echo Pipeline SeamlessM4T-v2 0 0.25 0.5 0.75 1.0 EN · Index-Echo: 0.7150.715 EN · Pipeline: 0.7240.724 EN · SeamlessM4T-v2: 0.0770.077 EN ES · Index-Echo: 0.7440.744 ES · Pipeline: 0.7480.748 ES · SeamlessM4T-v2: 0.0990.099 ES JA · Index-Echo: 0.7850.785 JA · Pipeline: 0.7790.779 JA · SeamlessM4T-v2: 0.1400.140 JA

对源说话人的音色相似度(cosine 均值,越高越好)。SeamlessM4T-v2 为原生端到端基线,未做音色克隆。

查看完整评测

Index-Homura

让译文适配配音长度
音节控制综合表现SandGlass · score ↑
音节控制综合表现 · SandGlass · score ↑ 越高越好。Index-Homura-9B:0.8660;Hy-MT2-7B:0.6700;Hy-MT2-30B-A3B:0.6566;Qwen3.5-9B:0.5946 0 0.25 0.5 0.75 1 Index-Homura-9B:0.8660 0.8660 Homura 9B Hy-MT2-7B:0.6700 0.6700 Hy-MT2 7B Hy-MT2-30B-A3B:0.6566 0.6566 Hy-MT2 30B-A3B Qwen3.5-9B:0.5946 0.5946 Qwen3.5 9B
长度控制命中率SandGlass · dev ≤ 10% ↑
长度控制命中率 · SandGlass · dev ≤ 10% ↑ 越高越好。Index-Homura-9B:81.92%;Hy-MT2-7B:18.86%;Hy-MT2-30B-A3B:22.39%;Qwen3.5-9B:16.39% 0 25 50 75 100 Index-Homura-9B:81.92% 81.92% Homura 9B Hy-MT2-7B:18.86% 18.86% Hy-MT2 7B Hy-MT2-30B-A3B:22.39% 22.39% Hy-MT2 30B-A3B Qwen3.5-9B:16.39% 16.39% Qwen3.5 9B
查看完整评测

Index-Native Long

走向更长的文档
GuoFeng · 中 → 英64K tokens · 原表分数 ↑
GuoFeng · 中 → 英 · 64K tokens · 原表分数 ↑ 越高越好。Index-NaiLong 9B:0.7382;North-Small:0.2353;Qwen3.8 Flash:0.4939;Hy-MT2-30B-A3B:0.0664 0 0.25 0.5 0.75 1 Index-NaiLong 9B:0.7382 0.7382 Nailong 9B North-Small: 0.2353 0.2353 North Small Qwen3.8 Flash:0.4939 0.4939 Qwen3.8 Flash Hy-MT2-30B-A3B:0.0664 0.0664 Hy-MT2 30B
BWB · 中 → 英64K tokens · 原表分数 ↑
BWB · 中 → 英 · 64K tokens · 原表分数 ↑ 越高越好。Index-NaiLong 9B:0.7440;North-Small:0.2196;Qwen3.8 Flash:0.5106;Hy-MT2-30B-A3B:0.1103 0 0.25 0.5 0.75 1 Index-NaiLong 9B:0.7440 0.7440 Nailong 9B North-Small: 0.2196 0.2196 North Small Qwen3.8 Flash:0.5106 0.5106 Qwen3.8 Flash Hy-MT2-30B-A3B:0.1103 0.1103 Hy-MT2 30B
查看完整评测

彩色为 Index 系列,灰色为对比模型。↑ 越高越好,↓ 越低越好;各图采用独立刻度。

Index-Translate:译出意思,也听懂要求

翻译人物对白时,我们关心角色说话的方式;翻译面向读者的说明时,我们关心语气与格式;遇到网络热梗时,还需要理解字面之外的语境。同一句话,可能需要不止一种合适的译法。

Index-Translate 将多语言翻译、指令控制与热梗理解结合起来。 除了原文和目标语言,你可以同时指定表达要求,例如保留人物之间的称谓、采用更口语化的语气,或只输出译文。模型据此完成翻译,让译文适合接下来的使用场景。

对于带有调侃、反话或文化背景的内容,翻译还需要理解它为何这样说。我们把社交与文化语境纳入评测,也单独考察翻译指令遵循,分别检查译文的质量与要求是否得到执行。

Index-Translate 以 Qwen 3.5 2B/9B/35A3B base 为底座(35B 当前为 preview 训练中版本),经过三个阶段训练:

Mid-train:这一阶段我们采用标准的 WSD scheduler,混合了基础预训练回放语料,多语种语料,平行语料和中转语料,探索了多种数据配比,平行度和平行组织方式,并在退火阶段特别提高了中转语料的比例,让模型学习不同语言的表达方式与跨语言语义对应,为后续翻译任务训练打下基础。

Post-train:在 mid-train 建立多语言基础之上,我们分别训练了通用翻译模型,指令遵循翻译模型和梗翻译模型三个专家模型,分别进行了 SFT 和 RaR RL(Rubric as Reward)或 RLVR。

Model-merge:我们结合线性插值/MOPD/Mix-RL,将多版本能力整合到统一模型。

INDEX-TRANSLATE / EVALUATION

后训练评测主表:核心指标对比

主表汇总后训练评测中的 Index-Translate-35B(preview)/9B/2B 与对比模型。涵盖通用翻译(FLORES-200、WMT24++、WMT26)、翻译指令遵循(instTrans、IFMTBench)、五项垂类翻译均值、文化表达(MEME 梗翻译)与小语种翻译(FLORES_minor_pair)。Index-Translate-35B(preview)在 FLORES-200(0.8794)、instTrans IFscore(0.8336)、MEME(0.7405)与小语种(0.8168)均取得全场最优或位列前茅;9B 在同尺寸模型中大幅领先;2B 亦在各维度领先同级别基准。

模型 FLORES-200
COMET-22 ↑
WMT24++
COMET-22 ↑
WMT26
Judge ↑
instTrans
IFscore ↑
IFMTBench
IFscore ↑
垂类均值
COMET-22 ↑
梗翻译
MEME ↑
小语种
COMET-22 ↑
Index-Translate 主力模型
Index-Translate-9B0.87890.860175.350.82090.87600.84510.73870.7992
Index-Translate-2B0.86550.848960.260.75690.75840.83770.64430.7377
Index-Translate-35B-A3B (preview)0.87940.858676.760.83360.89910.84380.74050.8168
对比模型
Hy-MT2-1.8B0.85220.840149.350.49320.71610.83140.36430.3163
Hy-MT2-7B0.87470.859360.510.60790.87410.83350.51390.4626
Hy-MT2-30B-A3B0.87870.862466.810.64150.90290.84590.58120.6746
translategemma-12b-it0.87320.852471.190.30680.28920.83470.42810.8021
CohereLabs/North-Small-Translate-1.0 (218A25B)0.87840.857868.370.52940.86350.83570.68360.6855
gpt-5.6-sol0.86500.846989.100.76240.93670.83110.71940.7669
gemini-3.5-flash-lite0.87500.849779.520.63740.88540.81310.70340.8122

WMT26 为 20 目标语种 GPT-5.6-Sol Judge(0–100 分制)。垂类均值为 OPUS-Books、WMT Biomedical、MTNT、MuST-Cinema 与 GuoFeng-Webnovel 五项成绩的等权平均。小语种为 FLORES_minor_pair (COMET-22)。加粗表示各列最高分。↑ 越高越好。

小语种翻译与指令遵循(FLORES_minor_pair 与 instTrans_minor)

FLORES_minor_pair 使用 62 种语言之间的 1,040 个翻译方向、104,000 条输入;instTrans_minor 包含 2,793 条中文或英文到小语种的指令翻译任务,质量与 IFscore 分别统计,评判模型为 GPT-5.6-Sol。off-target 表示未使用目标语言的输出比例(%),越低越好;其余分数取值为 0–1,越高越好。加粗标注每列最优值。

模型 FLORES_minor
COMET-22 ↑
FLORES_minor
XCOMET-XXL ↑
FLORES_minor
off-target ↓
instTrans_minor
Quality ↑
instTrans_minor
IFscore ↑
instTrans_minor
off-target ↓
Index-Translate-35B-A3B (preview)0.81680.71642.4%0.51510.77154.05%
Index-Translate-9B0.79920.68054.0%0.52220.77253.47%
Index-Translate-2B0.73770.48174.2%0.30500.65863.97%
Hy-MT2-1.8B0.31630.201454.2%0.04120.131365.27%
Hy-MT2-7B0.46260.333435.7%0.11210.240545.40%
Hy-MT2-30B-A3B0.67460.535914.5%0.22460.444915.47%
TranslateGemma-12B0.80210.62171.7%0.24120.26825.37%
North-Small-Translate (218B-A25B)0.68550.491913.2%0.24360.290226.89%
DeepSeek-V4.1-Flash0.83330.72971.3%0.47930.58545.73%
GPT-5.6-Sol0.76690.691810.4%0.57570.68667.73%
Gemini 3.5 Flash Lite0.81220.69953.3%0.39270.558412.18%

在三个 Index-Translate 模型中,35B-A3B (preview) 的 FLORES_minor_pair COMET-22 和 XCOMET-XXL 最高,分别为 0.8168 / 0.7164,off-target 为 2.4%。在 instTrans_minor 上,Index-Translate-9B 在全部对比模型中取得最高 IFscore(0.7725)和最低 off-target(3.47%),译文质量为 0.5222。

查看 Index-Translate 详细评测:七类结果与交互雷达图 ↘

典型翻译案例(多模态图片翻译、多语言指令遵循、网络热梗地道转译、结构化格式保持)已整合至上方展示区。查看真实场景案例对比 ↑
Index-Translate 官网角色图文本与图片 → 译文
在线体验流程
  1. 放入原文或图片。 选择源语言与目标语言,输入需要翻译的文本或上传图片。
  2. 写下要求。 指定语气、称谓、专业术语或输出格式;自定义要求与多模态图片翻译支持 2B / 9B / 35B 全系列。
  3. 查看译文。 译文随生成过程逐步呈现,便于阅读和检查。

Index-Echo:让另一种语言,也能被听见

视频里的讲述、对话和解说,需要通过声音传递给另一种语言的观众。Index-Echo 以源语音为输入,将翻译结果继续生成为目标语言语音,让内容以新的语言被听见。

Index-Echo 是端到端 S2S(Speech-to-Speech)语音翻译模型,支持 6 种语言的语音翻译与配音。 模型具备快速推理能力,面向短句对白与视频片段的翻译、配音需求,让从听到原声到获得目标语言语音的过程更加高效。

S2TT:语音输入、译文文本输出。 将 AuT encoder 接入 Index-Translate-2/9B,并以端到端方式训练语音翻译任务,翻译输出默认包含对齐时间戳,支持句子级字幕时序同步呈现。

S2ST:完全端到端语音到语音直译(语音输入、译文语音输出)。 采用完全端到端架构,彻底摒弃传统 ASR+MT+TTS 级联。在 S2TT 的基础上移除 CosyVoice3 的 tokenizer,将 LLM 的 last hidden 表征与 CosyVoice3 语义层深度对齐。训练分两阶段:首先冻结主干网络,蒸馏训练约 30M 参数的映射器完成表征对齐;随后解冻参与参数,使用 DiffRO 进行全链路端到端联合训练。说话人音色信息直接从源音频提取并注入生成链路,实现端到端语音到语音配音生成;当前支持中英到 6 种目标语言的翻译与配音。

Index-Echo 架构:从语音翻译(S2TT)到语音生成(S2ST)。S2TT 主干连接 Qwen3-Omni AuT 语音编码器、音频连接器与 Index-Translate 解码器生成目标语言文本;S2ST 阶段将译文与最后一层 hidden 表征对齐至 CosyVoice3 token 位置,经 Hidden2CV 映射器接入 CosyVoice3 语义 LLM 预测语音 codec,再由 DiT flow 解码器与 HiFT 声码器合成目标语音。源音频同时提供参考提示与 CampPlus 说话人音色嵌入。训练先冻结主干进行表征对齐,再以 DiffRO 完成端到端微调。

评测摘要

在 S2TT 评测中,Index-Echo-9B 的 MT judge 为 0.857,位列本次对比第一;Index-Echo-2B 的 TS st_MAE 为 0.395,取得最低时间偏差(9B 为 0.488,位列第二)。

查看 Index-Echo 完整评测 ↘

Index-Echo 六种语言视频翻译演示已整合至上方展示区(首项演示)。观看语音翻译视频演示 ↑

当前在线体验提供两条语音链路:按住说话直接把中文译成另一种语言的声音(英语、西班牙语、日语),或者上传一段中文/英文音频拿到译文文本,目标语种支持中、英、日、韩、阿、西、葡七种,模型可选 Index-Echo-9B 或 Index-Echo-2B。

Index-Echo 官网角色图按住说话 / 上传音频
在线体验流程
  1. 按住说话。 选好目标语言,按住麦克风说话(最长 10 秒),松开自动翻译。
  2. 听到译文。 直接播放目标语言的译文语音,同时给出识别原文与译文文本。
  3. 上传音频译文字。 也可以拖入一段音频(最长 60 秒),获得识别原文与译文文本(默认带对齐时间戳)。

Index-Homura:把译文放进配音的节奏

一句原本几秒钟说完的对白,换一种语言后可能长出一截。跨语言配音因此需要同时处理两件事:传达原意,以及让文案长度适合原有的时间窗口。

Index-Homura 是面向配音的音节可控翻译模型。 你可以设定目标音节比范围,让长度要求直接参与翻译过程,为后续语音制作提供文案。音节比指“译文音节数 ÷ 原文音节数”;当前在线体验则用目标音节数来设置译文长度。

让长度控制进入训练目标。 HOMURA 方法采用 GRPO 强化学习,将动态音节比奖励与翻译质量奖励结合,同时优化长度约束、语义保留与语言流畅性。音节比的奖励区间会考虑目标语言差异与短句的计数粒度,让模型在预算内学习如何选择更合适的措辞。

评测摘要

在 Sandglass 评测中,Index-Homura-9B 的综合分为 0.8660,位列本次总榜第一;音节偏差不超过 10% 的比例为 81.92%,控制斜率为 0.968(理想值为 1)。

查看 Index-Homura 完整评测 ↘

Index-Homura 不同音节预算配音对比案例已整合至上方展示区。查看音节约束配音案例 ↑
Index-Homura 官网角色图对白与音节数 → 配音文案
在线体验流程
  1. 输入中文对白。 选择英语、阿拉伯语、西班牙语或日语作为目标语言。
  2. 设定目标音节数。 使用滑杆或数字输入,给译文一个明确的长度要求。
  3. 查看翻译文案。 检查译文的表达与长度,为配音准备文本。
体验 Index-Homura · 音节控制翻译 ↗
🤗 Hugging Face:2B · 9BModelScope:2B · 9B

Index-Native Long:整本小说,一次译完

长文档翻译暴露了翻译专用模型的明显短板。 在这组中文到英文的评测中,Hy-MT2-7B 在 GuoFeng 上从 4K 档位的 0.7334 降至 64K 的 0.0001(Hy-MT2-30B-A3B 从 0.7535 降至 0.0664),在 BWB 上也从 0.7167 / 0.7301 降至 0.0001 / 0.1103;到 16K 时,两项分数已分别降至 0.0197 / 0.1615 和 0.0334 / 0.1432。翻译专项能力并没有自然延伸为稳定的长文档翻译能力。

即使是 frontier 模型,长输出也可能成为严重瓶颈。 LongWriter(2024)在当时受测的前沿模型中观察到:模型能够接收很长的上下文,却仍难以按要求生成足够长的文本。对于整本小说翻译,模型必须持续覆盖原文、保持人物与情节衔接,并把译文完整写到结尾;单纯扩大上下文窗口无法证明这些能力。

Index-NaiLong 面向超长输入与输出,支持在一次生成中输出单本小说的完整译文。 我们把长篇内容的全文翻译作为核心任务,同时检查输出完整性、人物称谓一致性和前后文衔接,让长篇翻译得到一份可以继续使用的完整作品。

评测摘要

在 64K tokens 档位,Index-NaiLong 9B 在 GuoFeng 与 BWB 中→英翻译上的分数分别为 0.7382 和 0.7440,跨领域书籍英→中翻译为 0.8514;三域五档均值分别达 0.7891、0.7683 与 0.8848,均为全场第一且 274/274 例全量计分。完整结果同时展示各长度档位表现。

查看 Index-Native Long 完整评测 ↘

在在线体验中,你可以直接上传文档、阅读生成中的译文并下载结果。当前体验页采用分段处理和逐段呈现的工作流,提供中文到英文的文档翻译。

Index-Native Long 官网角色图长文档 → 可下载译文
在线体验流程
  1. 上传长文档。 提供 TXT 或 Markdown 格式的中文内容。
  2. 逐段查看译文。 体验页分段处理文档,随进度呈现英文结果。
  3. 下载翻译文档。 选择 Markdown 或 PDF,保存译文继续使用。
体验 Index-Native Long · 长文本翻译 ↗
🤗 Hugging Face:2B · 9BModelScope:2B · 9B

评测结果

以下集中展示 Index-Translate、Index-Echo、Index-Homura 和 Index-Native Long 的详细评测。各模型采用与自身任务对应的测试集和指标。

Index-Translate:文本与多模态图片翻译

我们从七个核心维度整理文本翻译评测:WMT、FLORES 通用翻译,通用指令遵循,小语种翻译,字幕翻译,MEME 梗翻译,以及书籍网文翻译(GuoFeng / OPUS-Books)。

在当前 14 款参评模型中,Index-Translate-35B(preview)在 FLORES(0.87940)和指令遵循(0.86635)两项取得全场第一,并在小语种翻译(0.81680)与 MEME 梗翻译(0.74050)位居前二;9B 模型在 WMT、FLORES、字幕翻译与书籍网文翻译均位列前二;2B 亦在同级别尺寸中显著领先。

评测维度 Index-Translate-2B Index-Translate-9B Index-Translate-35B-A3B (preview) 最优排名 / 14 款参评模型
WMT (WMT24++) 0.84890 0.86010 0.85860 2 / 14 (9B 第 2 · 最优 0.86240)
FLORES (FLORES-200) 0.86550 0.87890 0.87940 1 / 14 (35B preview 全场第 1)
通用指令遵循 0.75765 0.84845 0.86635 1 / 14 (35B preview 全场第 1)
小语种翻译 0.73770 0.79920 0.81680 2 / 14 (35B preview 第 2 · 最优 0.83330)
字幕翻译 0.82975 0.83515 0.83430 2 / 14 (9B 第 2 · 最优 0.83590)
MEME 梗翻译 0.64430 0.73870 0.74050 2 / 14 (35B preview 第 2 · 最优 0.74240)
书籍网文翻译 (GuoFeng / OPUS-Books) 0.80950 0.81775 0.81520 2 / 14 (9B 第 2 · 最优 0.81820)

表中为组内原始指标均值,越高越好;全部 7 个维度均包含 14 款参评模型。通用指令遵循为 instTrans 与 IFMTBench IFscore 均值;字幕翻译为 OpenSubtitles 与 MuST-Cinema 均值;书籍网文为 OPUS-Books 与 GuoFeng-Webnovel 均值。

具体到单项,Index-Translate-35B(preview)在 FLORES-200 取得全场最高的 0.8794,在 instTrans 的 IFscore 为 0.8336,在 MEME 取得全场最高的 0.7405,小语种取得 0.8168;9B 模型在 IFMTBench IFscore(0.8760) 与字幕测试集 MuST-Cinema(0.8979) 均取得顶尖成绩。

Index 文本模型七维评测概览;启用 JavaScript 可使用交互图表
七维评测 · 原始图表

图中各维度独立归一化至 0–100,展示相对位置;距离与面积不代表原始分差或综合能力。

排名为当前数据中的数值排序,未做显著性检验。例如字幕类别第一与第二的均分相差 0.00065,不据此宣称显著领先。

查看 12 项原始成绩 · 查看全部模型的七类均分

SPEECH-TO-SPEECH / EVALUATION

Index-Echo:语音翻译

Index-Echo 评测涵盖 S2TT(语音输入、译文文本输出) 与 S2ST(端到端语音输入、译文语音输出) 两个核心任务。S2TT 考察翻译语义质量与字幕时序对齐,S2ST 考察目标语言生成语音的内容准确性(WER/CER)、翻译质量(MT judge)与说话人音色保真度(Cosine 相似度)。

S2TT 评测结果:语音输入、译文文本输出

S2TT 评测基于 in-house 视频字幕测试集。Index-Echo-2B 在 TS st_MAE 取得最低时间偏差(0.395),9B 位列第二(0.488)。 在 MT judge 上,Index-Echo-9B 得分为 0.857,位列对比模型第一;Index-Echo-2B 为 0.825,显著优于开源模型 firered_audio(0.448)。

模型MT judge ↑TS st_MAE ↓
Qwen3.8-Omni-Flash0.8871.004
Index-Echo-9B0.8570.488
gemini-3.1-pro-think0.8491.824
Qwen3.8-LiveTranslate0.833—
Index-Echo-2B0.8250.395
gemini-2.5-flash-think0.8172.402
gemini-2.5-flash0.7571.746
Qwen3-Omni0.7001.145
firered_audio0.4480.765
SeamlessM4T-v20.060—

评测基于 in-house 视频字幕测试集。↓ 表示越低越好,↑ 表示越高越好;加粗为该列最佳成绩。

S2ST 评测结果:端到端语音输入、译文语音输出

S2ST 评测基于 eval36(中→英/西/日)与 e2x(英→中/西/日)共 6 个方向测试集,系统对比端到端配音模型(e2e)与级联管线(Native Pipeline)在 2B 与 9B 规模下的表现。日语与汉语采用 CER,英语与西班牙语采用 WER;说话人保真度采用对源音频的 Speaker Cosine 相似度。Index-Echo 端到端模型在全方向平均内容错误率上全面优于级联 Pipeline(9B 均值 0.0551 vs 0.0596;2B 均值 0.0554 vs 0.0610),并在西班牙语双向、中→日及英→中(2B 端到端相对 Pipeline 错误率降低近 40%)等方向取得显著增益;音色保真度全面持平(~0.72),端到端表征映射不损音色。

方案 / 模型 翻译质量
MT judge ↑
内容错误率
Content WER/CER ↓
音色保真度
Speaker Cosine ↑
Index-Echo-9B
端到端配音(fd_rft)
0.812 0.0551 0.722
Native Pipeline (9B)
ST LM 9B + CV3 直读
0.812 0.0596 0.719
Index-Echo-2B
端到端配音(sw_lam20)
0.790 0.0554 0.720
Native Pipeline (2B)
ST LM 2B + CV3 直读
0.790 0.0610 0.719
SeamlessM4T-v2
开源端到端基线
0.348 — <0.140

评测基于 eval36 与 e2x 共 6 个翻译方向(中→英/西/日,英→中/西/日)。MT judge 为基于 gemini-3.1-pro 的翻译语义评分(端到端与 Pipeline 共享相同 ST LM 译文);Content 考察生成语音内容错误率(英/西语为 WER ↓,日/汉语为 CER ↓,剔除 >0.3 离群取均值);Speaker 为目标语音与源语音的音色 Cosine 相似度 ↑。表中数值均为 6 个方向均值。加粗为该列最佳成绩。

查看 6 个方向详细评测数据(zh→en/es/ja,en→zh/es/ja)
语种方向 方案 / 模型 MT judge ↑ Content (WER/CER均值) ↓ Speaker Cosine ↑
中→英 (zh→en)
WER · eval36 n=100
Index-Echo-9B (e2e)0.8400.06150.739
Native Pipeline (9B)0.8400.04770.718
Index-Echo-2B (e2e)0.8300.07090.743
Native Pipeline (2B)0.8300.04500.722
中→西 (zh→es)
WER · eval36 n=200
Index-Echo-9B (e2e)0.7930.07730.746
Native Pipeline (9B)0.7930.09160.746
Index-Echo-2B (e2e)0.7280.07040.743
Native Pipeline (2B)0.7280.08110.747
中→日 (zh→ja)
CER · eval36 n=200
Index-Echo-9B (e2e)0.8150.04360.782
Native Pipeline (9B)0.8150.05520.778
Index-Echo-2B (e2e)0.7600.04930.780
Native Pipeline (2B)0.7600.05750.777
英→中 (en→zh)
CER · e2x n=200
Index-Echo-9B (e2e)0.8000.04850.623
Native Pipeline (9B)0.8000.04630.632
Index-Echo-2B (e2e)0.8250.03720.623
Native Pipeline (2B)0.8250.06140.630
英→西 (en→es)
WER · e2x n=200
Index-Echo-9B (e2e)0.8200.06600.729
Native Pipeline (9B)0.8200.08190.736
Index-Echo-2B (e2e)0.8050.07020.735
Native Pipeline (2B)0.8050.08670.732
英→日 (en→ja)
CER · e2x n=200
Index-Echo-9B (e2e)0.8030.03370.710
Native Pipeline (9B)0.8030.03470.705
Index-Echo-2B (e2e)0.7900.03450.698
Native Pipeline (2B)0.7900.03420.707
SANDGLASS / SYLLABLE CONTROL

Index-Homura:音节控制

在 Sandglass 音节控制评测中,Index-Homura-9B 以 0.8660 的综合分位列本次 20 个模型与训练版本的总榜第一。 在 3,600 条评测中,81.92% 的输出音节偏差不超过 10%;控制斜率为 0.968,接近理想值 1;Index-Homura-2B 亦取得 63.08% 偏差命中率与 0.947 控制斜率。

评测覆盖 300 句真实字幕、英语 / 日语 / 阿拉伯语 / 西班牙语四个目标语种,以及短、自然、长三档目标长度。下表选取 Index-Homura-9B 与全部八组外部基线配置进行对比。

模型 综合分 ↑ 音节奖励 ↑ 翻译质量 ↑ 偏差 ≤10% ↑ 控制斜率 ≈1
Index-Homura-9B 0.8660 0.9457 0.7863 81.92% 0.968
Index-Homura-2B 0.7937 0.8259 0.7615 63.08% 0.947
Hy-MT2-7B 0.6700 0.4839 0.8560 18.86% 0.195
Hy-MT2-30B-A3B 0.6566 0.5577 0.7554 22.39% 0.340
Qwen3.5-9B 0.5946 0.4708 0.7183 16.39% 0.430
Qwen3.5-35B-A3B 0.5937 0.4011 0.7863 13.25% 0.249
Hunyuan-MT-7B 0.5455 0.3722 0.7188 15.11% 0.031

↑ 表示越高越好;控制斜率越接近 1 越好。加粗为本表该列最佳值;每个模型均评测 3,600 条。

综合分同时衡量长度控制与翻译质量。Hy-MT2-7B 的翻译质量分为 0.8560,高于 Index-Homura-9B 的 0.7863;Index-Homura-9B 的音节奖励为 0.9457,偏差不超过 10% 的比例为 81.92%,体现了针对配音长度约束的训练收益。

Index-Homura-9B 分语种结果

目标语言 评测条数 综合分 ↑ 翻译质量 ↑ 偏差 ≤10% ↑
英语 900 0.8675 0.7950 78.67%
日语 900 0.8941 0.8300 86.67%
阿拉伯语 900 0.8527 0.7661 79.89%
西班牙语 900 0.8496 0.7539 82.44%
INDEX-NATIVE-LONG / LONG DOCUMENTS

Index-Native Long:长文档翻译

本次评测覆盖 GuoFeng、BWB 与跨领域书籍三套冻结测试集,包含中→英、英→中两个方向,共 274 例,测试 4K–64K tokens 五个长度档位。在 64K tokens 超长档位,Index-NaiLong 9B 在 GuoFeng 与 BWB 分别达到 0.7382 与 0.7440,跨领域书籍英→中翻译达到 0.8514;五档均值分别为 0.7891、0.7683 与 0.8848,均为全场最高。

GuoFeng · 中→英

模型4K8K16K32K64K五档均值
Index-NaiLong 9B0.78360.80740.80800.80840.73820.7891
Index-NaiLong 2B0.77040.77960.65080.60360.54600.6701
Qwen3.8 Flash0.79740.79560.75720.68260.49390.7053
GLM-5.3-Flash(部分)0.79310.79570.79210.60180.54440.7054
North-Small-Translate-1.0 (218A25B)0.79520.79140.73090.52720.23530.6160
Hy-MT2-7B0.73340.28720.01970.00060.00010.2082
Hy-MT2-30B-A3B0.75350.45660.16150.01420.06640.2904

BWB · 中→英

模型4K8K16K32K64K五档均值
Index-NaiLong 9B0.77330.76950.77900.77560.74400.7683
Index-NaiLong 2B0.76880.76690.72010.71000.68430.7300
Qwen3.8 Flash0.76830.76760.73870.62620.51060.6823
GLM-5.3-Flash(部分)0.76320.76220.71070.63440.47480.6691
North-Small-Translate-1.0 (218A25B)0.77170.77040.77150.60770.21960.6282
Hy-MT2-7B0.71670.23870.03340.00240.00010.1983
Hy-MT2-30B-A3B0.73010.44080.14320.07460.11030.2998

跨领域书籍 · 英→中

模型4K8K16K32K64K五档均值
Index-NaiLong 9B0.90160.87710.89580.89800.85140.8848
Index-NaiLong 2B0.89080.87360.87350.84350.84390.8651
Qwen3.8 Flash0.89450.89100.88370.85820.57560.8206
GLM-5.3-Flash(部分)0.90450.86070.89740.84780.88710.8795†
CohereLabs/North-Small-Translate-1.0 (218A25B)0.89700.89520.86270.78730.73300.8350
Hy-MT2-7B0.82460.31570.03350.00040.00570.2360
Hy-MT2-30B-A3B0.86070.43950.14670.00970.19620.3306

注:评分采用 document-segale (max_size=8) 流程。加粗表示各列最高值;† 表示 GLM 在 Books 缺少 7 例(三域共计分 267/274 例),均值仅针对可计分子集。Gemini 3.8 Flash 因官方最大输出为 65,536 tokens,低于 64K 档预留的 131,072 输出预算,多次触顶,不列入主比较。North-Small 在 32K/64K 档为超出其官方 16K 支持范围的实验性扩窗结果。

评测基准 (Benchmarks)

为促进行业及学术界对实用翻译、复杂约束与端到端语音长文本能力的深入研究,我们正式开源四大评测基准与数据集。所有数据与元数据收录于 🤗 Index-Translate Benchmarks 合集,评测脚本、固定版本数据下载工具与运行指南见 GitHub benchmarks/ ↗。

评测基准 公开内容 数据下载 评测代码与说明
instTrans 3,000 条翻译指令任务;10 类约束(格式、术语、风格、句式等) 🤗 InstTrans-Bench ↗ GitHub · insttrans ↗
MEME 3,638 条中译英样例;包含 703 个网络热词、857 个词义 🤗 Meme-Translation-Bench ↗ GitHub · meme ↗
SandGlass 3,600 条案例:300 句影视字幕 × 4 种目标语言 × 3 档严格长度预算 🤗 Sandglass-Bench ↗ GitHub · sandglass ↗
NAtIveLong BWB / GuoFeng 各 84 条长文档案例的元数据、评测代码和获取说明 🤗 NAtIveLong ↗ GitHub · nativelong ↗

注:NAtIveLong 不包含小说原文或参考译文;BWB 需自行获取官方语料,GuoFeng 提供本地重建工具。以上 instTrans 发布包不包含主评测表中的 2,793 条低资源扩展任务。评测脚本保留原有 Prompt;审查修复与验证范围记录在各目录的 RELEASE_REVIEW.md,历史成绩未重新评测。各 benchmark 的许可分别见其目录,不能直接套用仓库根目录许可。完整评测设置与 IFMTBench 处理说明见 GitHub 文档。

开始使用

Index-Translate 系列模型提供四类模型。选择你手中的内容和希望得到的输出,即可进入对应的体验页面或获取开源模型权重。全系列官方 GGUF(llama.cpp)、FP8 与 NVFP4(vLLM)量化权重已在 Hugging Face 集合 同步开放。

模型 版本 核心能力 体验入口 开源模型
Index-Translate 2B / 9B / 35B-A3B (preview) 150 种语言文本与多模态图片翻译、指令控制、热梗理解 文本/图片翻译 ↗
🤗 Hugging Face:2B · 9B · 35B (preview)
ModelScope:2B · 9B · 35B (preview)
Index-Echo 2B / 9B 完全端到端 S2S、S2TT、6 种语言翻译配音 语音翻译 ↗
S2TT:🤗 2B · 9B | MS 2B · 9B
S2ST:🤗 2B · 9B | MS 2B · 9B
Index-Homura 2B / 9B 按目标音节比范围控制译文长度 音节控制翻译 ↗
🤗 Hugging Face:2B · 9B
ModelScope:2B · 9B
Index-NaiLong 2B / 9B 超长文本生成、单本小说完整译文输出 长文档翻译 ↗
🤗 Hugging Face:2B · 9B
ModelScope:2B · 9B

交流社区 (Community)

欢迎加入官方技术交流群,交流使用体验、反馈线上问题与建议。你也可以直接扫描下方二维码加入群聊。

💬

Index-Translate 官方 QQ 交流群

960123527

欢迎加入官方交流群,与开发者及模型用户一起交流使用心得、反馈线上问题、讨论提示词与术语干预技巧、获取最新版本发布与模型下载动态。

点击一键加入 QQ 群 群号:960123527
官方 QQ 交流群 960123527 二维码 扫码加入群聊
🌟

社区开源项目与友情链接

感谢开发者基于 Index-Translate 打造的优秀衍生工具与开源应用:

simul-subtitle Android 同传字幕
手机端实时识别日语/英语,通过 Index-Translate 翻译成 22 种语言,支持以悬浮窗在任意 App 上实时播放。
GitHub ↗
Index-Translate · 七维评测
Index-Echo · 演示视频