2
1
0
DeepSeek V3.1 出现了 Glitch Tokens 的问题，随机高频冒出 " extreme" / "极" / "極"。
在 post-training 时代之前，Glitch Tokens 通常指的是某些在自然语料里极少/异常的 token，会扰乱本应正常的生成行为。
在 post-training 时代，大量自制 DSL / 控制标记作为 added tokens
时政
(
twitter.com
)
由
马东锡 NLP
提交
DeepSeek V3.1 出现了 Glitch Tokens 的问题，随机高频冒出 " extreme" / "极" / "極"。
在 post-training 时代之前，Glitch Tokens 通常指的是某些在自然语料里极少/异常的 token，会扰乱本应正常的生成行为。
在 post-training 时代，大量自制 DSL / 控制标记作为 added tokens 被引入，用来更精细地驱动模型行为，例如
DS 的 Glitch Tokens 问题，看着非常像把 " extreme" / "极" / "極" 这类本是自然语言token，在某些上下文里学成了 DSL token，从而被异常地高概率选中。
一些思考：
自制 DSL 的本意是增强自然语言的准确性与可控性。但当 DSL 标记越加越多，如果部分 Glitch Tokens 与这些控制语义（无论显式还是隐式）发生了错误耦合，就可能在推理时反过来干扰自然语言的正常分布，值得警惕。
点击图片查看原图
Markdown支持
评论加载中...
您可能感兴趣的：
2
3848
3847
3847
3
3210
3209
3209
4
580
579
579
5
980
979
979
6
333
332
332
9
1591
1590
1590
10
489
488
488
11
375
374
374
13
496
495
495
17
599
598
598
18
50
49
49
19
50
49
49
20
586
585
585
22
1025
1024
1024
23
215
214
214
25
648
647
647
