智谱联合创始人唐杰老师关于 GLM 5.3 以及模型训练的一些分享：智谱 GLM-5.3 没有换基模底座，纯靠后训练让编码能力提升 50%。GLM-5.3 模型的底座是 GLM-5.2，约 743B 参数的混合专家（MoE）模型，每次推理只激活约 40B 参数。团队花了一个月，在长周期环境中做强化学习，编码能力比 GLM-5.2

发布时间: 2026-08-20 08:10:17

1分

数据加载中

关注推特

收听电报

2

1

0

智谱联合创始人唐杰老师关于 GLM 5.3 以及模型训练的一些分享：
智谱 GLM-5.3 没有换基模底座，纯靠后训练让编码能力提升 50%。
GLM-5.3 模型的底座是 GLM-5.2，约 743B 参数的混合专家（MoE）模型，每次推理只激活约 40B 参数。团队花了一个月，在长周期环境中做强化学习，编码能力比 GLM-5.2
IT技术
( twitter.com )

昨天由宝玉提交

智谱联合创始人唐杰老师关于 GLM 5.3 以及模型训练的一些分享：

智谱 GLM-5.3 没有换基模底座，纯靠后训练让编码能力提升 50%。

GLM-5.3 模型的底座是 GLM-5.2，约 743B 参数的混合专家（MoE）模型，每次推理只激活约 40B 参数。团队花了一个月，在长周期环境中做强化学习，编码能力比 GLM-5.2 提升了 50%。

这里解释一下 MoE：传统模型每次推理要跑完所有参数，MoE 相当于把模型拆成一群“专家”，每次只调用其中几个，推理速度更快、成本更低。

推文中特别区分了两个概念：

总参数量决定模型学习了多少知识
激活参数量和有效深度决定模型能想多深。

比如说，让模型去找安全漏洞，主要是依赖的是推理能力，能把一条二十步的推理链完整走到底，相对来说各种安全数据库是次要的。

至于为什么不换底座也能大幅提升呢？

AI 模型的扩展（scaling）不止堆参数这一条途径。

如果梳理下这些年模型训练的发展路线：
- 2020 年 Kaplan 等人的研究建议参数增长要远快于数据，GPT-3、Gopher 都是这个思路的产物。
- 2022 年 DeepMind 的 Chinchilla 论文则认为参数和数据应该同步增长，参数大的模型反而是最浪费算力的。
- 再后来，大家发现模型上线后推理成本远超训练成本，最优解又变成了用更小的模型训更久，比如 Llama-2-7B 每个参数喂了约 290 个 token，Gemma-2-9B 更是喂了 889 个。
  
  模型能力由很多因素决定：底座大小、预训练数据量、每次前向传播的计算量、后训练。
  
  对于现阶段，模型后训练还有很大潜力可以挖掘。

Markdown支持

评论加载中...

您可能感兴趣的：

1

601

600

600

《透明时装秀》NO.17季
看露出
最爽的莫过于时装表演
各个肤白貌美大长腿
袒胸露乳无视人前
刺激你的每一根神经
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

2

457

456

456

大一女生的校园恋（2）“你只爱我一个吗？”“只爱你一个，永远！”
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 3 评论

3

255

254

254

Watch video
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 2 评论

4

391

390

390

情色隔离室男同事把我打晕后在我面前强插顶级龙凤鲍鱼女友
完整版点击下方链接观看
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

5

95

94

94

刚回家，有点喝多了，好晕。今天是真空出门的哦，不知道有没有被人看出来，全身就只有一件衣物哦，老公们快来检查检查。#反差婊 #骚货 #母狗 #露出
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 1 评论

6

386

385

385

Watch video
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 2 评论

7

273

272

272

Watch video
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

8

208

207

207

Watch video
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

9

1158

1157

1157

两头都忙不过来了，美女们都456了
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 6 评论

10

45

44

44

应个景，此系列过段时间更新
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

11

18

17

17

Watch video
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 1 评论

12

540

539

539

乡村学生妹和表哥乱仑直播,假期在家赚生活费,疫情原因男友不能来，只能找帅气表哥凑合啦！插入的一瞬间无比销魂！
投稿@pubccs @yuziqoq感谢

完整版观看地址在评论区

porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 2 评论

13

1023

1022

1022

尝尽了男欢女爱,人生也没有什么遗憾了呀。
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 5 评论

14

969

968

968

今年看到最好的医疗剧，医技太好了，希望自己也能参演！
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 4 评论

15

144

143

143

Watch video
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

16

355

354

354

真心不能换真心但速度可以换声音
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

17

913

912

912

Watch video
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

18

430

429

429

一时的鬼迷心窍却被猥琐店长摁到在地上，丢失了自己的第一次还被射满了小穴，我下次再也不敢了~

（更多H动漫成人视频请留意评论区，或还可全屏视频点击链接）
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

19

53

52

52

互换女友（下），绿帽男友的心机复仇记，趁虚而入干得翻白眼大仇得报！

完整版链接在评论区首条或视频中间弹幕
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 1 评论

20

10

9

9

Watch video
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 1 评论

21

119

118

118

夏天快点到来吧，短裤美腿
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

22

46

45

45

Watch video
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 1 评论

23

337

336

336

连着被小弟弟搞了3天，逼逼都被玩肿了，弟弟也被我榨干精尽了，今晚终于能休息了，，，
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

24

225

224

224

我遇到的黑爹他们都喜欢拍性爱照片和视频，拍后还会发给你看，但也怕隐私被泄露，网上每天骂人的太多，萝卜青菜各有所爱我喜欢黑爹怎么了，爱着他们什么事了，是伤着你那可怜的自尊了吗？不喜欢，不用关注，省的你看我顺眼，我更懒得搭理
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 3 评论

25

826

825

825

今天是个库存@pubccs
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 2 评论