MING 3.0 · 语音识别

Ming-3.0-asr-tiny

听懂中英文、方言,也听懂上下文。

中英文转写 · 方言识别 · 热词与对话上文增强

一个模型,识别中英文、方言与真实场景中的复杂语音。加入热词或对话上文,帮助听清陌生的人名、地名与专业术语。

Bailing logo Bailing · Ant Group

中文通用识别 · CER ↓
3.55%

公开中文评测平均

英文通用识别 · WER ↓
3.99%

公开英文评测平均

方言测试集 · 错误率 ↓
8.42%

自建方言评测平均

五个业务领域 · 错误率 ↓
1.67%

五领域算术均值

中英文指标为公开评测集平均 · 五领域均值由单项结果等权计算 · 数值越低越好
MING 3.0 · 发版视频

听见更丰富的世界

通过这段短片了解 Ming-3.0-asr-tiny 的语音识别能力与使用场景。

01 / 模型概览

从通用转写,到真实场景

从通用中英转写、地方方言,到热词与对话上文增强,Ming-3.0-asr-tiny 将不同语音识别需求融入同一模型。下面分别展示四项核心能力及对应指标,完整结果见评测部分。

中英双语,稳定转写

在公开中文与英文评测中,平均错误率分别为 3.55 和 3.99。下图分别比较中文 CER 与英文 WER。

中英双语识别
公开中英文评测 · 平均错误率(%)↓
Ming-3.0-asr-tiny对比模型
Ming-3.0-asr-tiny3.553.99
Qwen2.5-Omni4.055.04
Qwen3-Omni-30B-A3B3.333.69
Qwen3-ASR-1.7B3.664.63
Fun-ASR 1.5闭源4.244.30
Qwen3-ASR-Flash闭源3.363.72

每行上柱为中文 CER,下柱为英文 WER;两项分别比较,不合并计算。

方言测试集,多样表达

方言测试集平均错误率为 8.42,低于 Qwen3-ASR-1.7B 的 15.30,接近 Fun-ASR 1.5 的 8.00。

方言覆盖
方言测试集 · 平均错误率(%)↓
Ming-3.0-asr-tiny对比模型
Ming-3.0-asr-tiny8.42
Qwen2.5-Omni19.82
Qwen3-Omni-30B-A3B16.36
Qwen3-ASR-1.7B15.30
Fun-ASR 1.5闭源8.00
Qwen3-ASR-Flash闭源13.25

采用评测图公布的方言平均值;不同方言的单项结果见完整评测图。

理解上下文,关注术语

支持以热词和对话上文辅助识别专有名词与领域术语。Context ASR 综合 Average 为 4.36,与 Qwen3-Omni 的 4.34 接近。

上下文增强识别
Context ASR · 综合 Average ↓
Ming-3.0-asr-tiny对比模型
Ming-3.0-asr-tiny4.36
Qwen3-Omni-30B-A3B-Instruct4.34
Gemini-2.5-Pro闭源6.30
Qwen3-ASR-1.7B4.23

Average 为评测图中的综合指标,不等同于单项 WER,也不表示有无上下文的提升幅度。

面向具体使用场景

覆盖聊天、政务、健康、知识、本地生活及高噪场景。五领域平均错误率为 1.67,在图中所列模型中最低。

真实场景评测
五类业务领域 · 平均错误率(%)↓
Ming-3.0-asr-tiny对比模型
Ming-3.0-asr-tiny1.67
Qwen2.5-Omni3.03
Qwen3-Omni-30B-A3B3.75
Qwen3-ASR-1.7B2.49
Fun-ASR 1.5闭源4.14
Qwen3-ASR-Flash闭源1.80

对聊天、政务、健康、知识、本地生活的错误率等权平均。

02 / 模型架构

语音感知,与语言理解相连接

Audio Encoder × Ling-tiny-v3

模型架构:音频编码器经 MLP Projector 连接语言骨干;KDA 与 Gated MLA 混合注意力及 MoE。
Ming-3.0-asr-tiny 模型架构
音频 → 文本

统一语音与文本输入

音频经过 Audio Encoder 与 MLP Projector,文本通过 Tokenizer,汇入语言模型完成转写。

混合注意力

3 : 1 混合注意力

采用 3 层 Kimi Delta Attention 与 1 层 Gated MLA 的组合,并结合 MoE 结构。

CONTEXT ASR

以提示补充识别上下文

使用相关热词或前序对话引导领域术语识别。长音频可分块编码,仍受模型上下文长度限制。

模型架构详见上图;评测结果见下方原始评测图。

03 / 语音样例

听一听,从转写到上下文增强

试听三段语音样例,比较参考文本与识别结果。

查看 Cookbook

下面的音频可以直接试听。参考文本与识别结果均去除标点,英文统一为小写,方便并排比较。识别结果来自 HF 模型的单条推理,不代表整体评测成绩。样例中的转写文本、主题和热词保留原语言。

中文语音识别

中文转写

5.90 秒
参考文本
漓江和湘江有秦代开凿的灵渠沟通
识别结果
漓江和湘江有秦代开凿的灵渠沟通
运行此样例
python examples/transcribe.py --model "$MODEL_DIR" \
  --audio examples/cases/audio/chinese_common_voice.wav
英文语音识别

英语转写

2.26 秒
参考文本
same way you did
识别结果
same way you did
运行此样例
python examples/transcribe.py --model "$MODEL_DIR" \
  --audio examples/cases/audio/english_common_voice.wav
CONTEXT ASR

Context ASR:热词纠正片名

6.57 秒

同一段音频,仅第二次加入主题与热词。

参考文本
你们看了黄国权那部同囚没我昨晚看完到现在还缓不过来
主题
同囚
热词
同囚、黄国权、游学修、关楚耀、赵永洪、赵咏瑶、狱警、长镜头、吞玻璃戏、糖化玻璃、真实案例数据
不加上下文的识别结果
你们看了黄国权那部同球没我昨晚看完到现在还缓不过来
加入主题与热词的识别结果
你们看了黄国权那部同囚没我昨晚看完到现在还缓不过来
运行此样例
python examples/transcribe.py --model "$MODEL_DIR" \
  --manifest examples/cases/context.jsonl \
  --output outputs/context-demo.jsonl \
  --language-hint zh --max-new-tokens 256

音频来源:Context 样例来自 ContextASR-Bench;中英文样例来自 Mozilla Common Voice。音频来源说明

04 / 评测结果

评测结果

中英文、方言、领域与上下文语音识别的评测表现,点击图片可放大查看。

所有错误率指标均越低越好。通用识别、方言与 Context ASR 分别按对应指标比较。

01

ASR 综合表现

中英文、方言与领域识别概览

点击放大 ↗
02

中英文语音识别

中英双语识别

点击放大 ↗
03

方言与领域识别

方言与业务领域

点击放大 ↗
04

Context ASR

上下文增强语音识别

点击放大 ↗
05 / 快速开始

探索 Ming-3.0-asr-tiny

访问项目主页,查看当前版本的模型说明、权重文件与使用方法。

前往 Hugging Face
HUGGING FACE / 模型 ID
inclusionAI/Ming-3.0-asr-tiny

模型使用与许可信息以项目仓库中的当前说明为准。

快速开始

在仓库根目录运行以下命令与 Python 示例。

GitHub README

验证环境:Python 3.12 · Linux · Transformers 5.12.1 · fla-core 0.5.2 · PyTorch 2.11.0+cu130。推理需要支持 KDA 内核的 CUDA GPU。模型依赖以下载目录中的 requirements.txt 为准;GitHub 仓库提供文档、图表和调用示例,完整权重从 Hugging Face 下载。

01 · 准备模型与安装依赖
python -m pip install "huggingface_hub[cli]"
hf download inclusionAI/Ming-3.0-asr-tiny --local-dir ./Ming-3.0-asr-tiny-model
export MODEL_DIR=./Ming-3.0-asr-tiny-model
python -m pip install -r "$MODEL_DIR/requirements.txt"
python tools/verify_repository.py --checkpoint "$MODEL_DIR"
02 · 转写一段音频
python examples/transcribe.py \
  --model "$MODEL_DIR" \
  --audio /path/to/speech.wav \
  --output outputs/transcript.json

PyTorch / Transformers 原生推理

与仓库可执行脚本使用相同的核心调用。将 speech.wav 换成自己的音频文件。

03 · Python 示例
import soundfile as sf
import torch
from transformers import AutoModelForCausalLM, AutoProcessor
from examples.hf_runtime import decode_transcript, prepare_asr_request

checkpoint = "./Ming-3.0-asr-tiny-model"
processor = AutoProcessor.from_pretrained(checkpoint, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    checkpoint, trust_remote_code=True, dtype=torch.bfloat16,
    device_map="cuda:0", attn_implementation="sdpa",
).eval()

waveform, sample_rate = sf.read("speech.wav", dtype="float32", always_2d=True)
inputs = prepare_asr_request(processor, (waveform.T, sample_rate)).to(model.device)

with torch.inference_mode():
    eos = model.config.text_config.eos_token_id
    output = model.generate(
        **inputs, max_new_tokens=256, do_sample=False,
        eos_token_id=eos, pad_token_id=eos, no_repeat_ngram_size=10,
    )

print(decode_transcript(
    processor.tokenizer, output[0, inputs.input_ids.shape[1]:].tolist(),
))

普通转写和 Context ASR 默认使用同一种音频输入格式:cuda:0、BF16、SDPA、greedy decoding、10-gram 重复限制和最多 256 个新 token。Context ASR 仅在 <AUDIO> 前连续拼接主题、热词或上文,--device 和 --max-new-tokens 可按需调整。

使用说明

音频混音并重采样至 16 kHz,长音频按块编码,输入和输出总长度仍受上下文限制。输出为纯文本,不提供词级时间戳或说话人分离,不支持图像和视频输入;当前验证范围不包含量化、分布式生成与流式音频输入。

06 / 引用

引用本项目

如果 Ming-3.0-asr-tiny 对你的研究或产品有帮助,请引用项目的 GitHub 仓库。

查看 GitHub 仓库 ↗
BibTeX
@misc{ming_3_0_asr_tiny_2026,
  author = {{inclusionAI}},
  title = {Ming-3.0-asr-tiny: Context-Aware Speech Recognition},
  year = {2026},
  url = {https://github.com/inclusionAI/Ming-3.0-asr}
}
评测图