好吧，有一点我确实是忽略了，就是在一个rack内部，72个GPU之间的通信可能比我想象的要频繁比如如果infra将模型分成了多个expert，或者将不同层的模型放在不同的gpu上，那么同一个inference，特别是agentic

发布时间: 2026-05-18 11:00:27

1分

数据加载中

关注推特

收听电报

2

1

0

好吧，有一点我确实是忽略了，就是在一个rack内部，72个GPU之间的通信可能比我想象的要频繁
比如如果infra将模型分成了多个expert，或者将不同层的模型放在不同的gpu上，那么同一个inference，特别是agentic
时政
( twitter.com )

2小时前由勃勃OC 提交

好吧，有一点我确实是忽略了，就是在一个rack内部，72个GPU之间的通信可能比我想象的要频繁

比如如果infra将模型分成了多个expert，或者将不同层的模型放在不同的gpu上，那么同一个inference，特别是agentic inference任务可能会在不同主板的gpu/hbm中计算，最后reduce到一个cpu上汇总，这需要板间通信。

这种model/expert parallelism是我刚才忽略的地方，毕竟现在模型太大，一个gpu确实放不下，甚至2个也放不下。

但问题是，rack里面用nvlink/nvswitch就够了，这是铜线。等到scale-up到一个rack里有144，288，甚至1000多个gpu的时候，那么铜线交换机带宽不足，确实会要用到cpo，但那一定是2028年之后才会发生的事

这个光的叙事逻辑，以及它对推理的重要性，其实和存储完全不同

存储是现在就需要，而且他能直接影响inference speed。

hbm处理kv-cache，超过部分offload到nand，所以两者的订单，价格和营收暴涨

我觉得如果投资存储和光通信，你一定要明白这些看起来没用的道理

谢谢大家

Markdown支持

评论加载中...

您可能感兴趣的：

1

7

6

6

Kisses and hugs are never too much

白色的床单是空旷的平原，而我们是两座纠缠的、起伏的山峦。
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

2

665

664

664

两头都忙不过来了，美女们都456了
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 6 评论

3

607

606

606

老公既然同意了,那享受就完了。
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 3 评论

4

355

354

354

男人只顾着自己爽，虽然我是带鸡吧骚秘书，那就拿你养的小情人发泄一下。

（更多H动漫请留意评论区，或还可全屏视频点击链接）
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 2 评论

5

286

285

285

一时的鬼迷心窍却被猥琐店长摁到在地上，丢失了自己的第一次还被射满了小穴，我下次再也不敢了~

（更多H动漫成人视频请留意评论区，或还可全屏视频点击链接）
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

6

73

72

72

上个视频吧，最近找不到什么衣服拍了，你们还有什么想看的可以给我提议哦，前提是180能穿得下的，没准我下次就上身了
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 0 评论

7

152

151

151

宝子们，我不加微信不要问我要了，我也不要礼物不要门槛，聊的来的就在推特或者电报联系，合适的大家就聚聚，彼此平等、公平的和朋友一样对待就行了！能够想明白的人再私信我，最近比较忙，没有意义的招呼太多就不一一回复了！
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

8

387

386

386

如果你喜欢乖的又拒绝不了骚的我就白天叫你老公晚上叫你爸爸白天披头发晚上双马尾又乖又骚
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 3 评论

9

63

62

62

好久没发视频了
发一个存货⑧
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

10

99

98

98

用小穴给哥哥们变个魔术
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

11

43

42

42

早安,提前祝大家国庆快乐
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

12

266

265

265

又要睡着了，抓紧时间发
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

13

461

460

460

#精东影业这是健身教练偷拍的从没有发过的录像，平时男友有时候心血来潮让我跪下给他口，我要么说地上脏，或者说跪着累拒绝他，然而面对健壮的肌肉教练，跪的如此卖力熟练顺滑且标准，可能这就是给男友最好的回报吧～
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 4 评论

14

11

10

10

Watch video
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 0 评论

15

17

16

16

昨天全身汗。今天全身酸。
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

16

22

21

21

问就是在喝酒蹦他个十天八天
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

17

49

48

48

天然温泉
冬天泡个温泉是最舒服的事了
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

18

57

56

56

看我做作吗？哈哈哈哈哈哈
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

19

21

20

20

Watch video
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

20

39

38

38

Watch video
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

21

5

4

4

宝今天有想我吗？
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

22

32

31

31

有没有让你眼花缭乱？
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

23

294

293

293

很困但是不想睡，想搞个黄涩。
给哥哥看粉裙下的小穴！
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 2 评论

24

42

41

41

男生都喜欢女生叫他什么？
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

25

66

65

65

好久没更了，来点库存
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论