2
1
0
最早我做字幕翻译的时候，语音转文字是用的 Whisper，但是 Whisper 有几个问题：
一个问题是时间戳不准，时间戳不准拆分的就是就可能字幕和语音对不上，很影响效果，需要人工去从头到尾校对一遍
一个问题是中英文混排支持不好，中文其实支持也不算太好，所以中文的转录就效果很差
IT技术
(
github.com
)
由
宝玉
提交
最早我做字幕翻译的时候，语音转文字是用的 Whisper，但是 Whisper 有几个问题：
一个问题是时间戳不准，时间戳不准拆分的就是就可能字幕和语音对不上，很影响效果，需要人工去从头到尾校对一遍
一个问题是中英文混排支持不好，中文其实支持也不算太好，所以中文的转录就效果很差
一个问题是不直接支持识别发言人
虽然这些问题都可以通过收费的云端模型来解决，但是成本相对高一些。
最近测试了 Qwen3 ASR，效果是真的很不错，配合 Qwen3-ForcedAligner 模型，可以识别后把词级时间戳对的很精准。0.6b 就足够了，本地运行资源占用也不高。https://t.co/yFDhPkBk2j
发言人识别也有开源的模型：Pyannote + WeSpeaker。不过这个发言人一多尤其是一起说话识别的不够准，但配合 Agent 结合上下文就能做到相对比较准了。
如果真的要求高，也可以走云端模型，比如火山引擎上的豆包录音文件识别模型 2.0 就质量挺好，速度也快，就是要额外花钱。
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
1
588
587
587
7
163
162
162
9
407
406
406
12
307
306
306
21
117
116
116
