解密 Groq 的速度惊人的 K2 instruct 模型：最近 Groq 部署的K2 推理速度真的震惊了我和我的小伙伴。其超过 300 tokens/s 的表现，远超主流 MaaS 平台普遍低于 50 tokens/s 的水平，带来了近乎实时的交互体验。这背后的核心是其自研的 LPU (Language Processing Unit)

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

1873 位用户此时在线

24小时点击排行 Top 10：

20K-50K 招聘远程 Python AI 工程师（图片与文本处理方向）

能把中国🇨🇳不间断一直加速⏩可持续搞到今天这田地，不得不说习近平确实是个人才😅😅！ B站up主Losider做的视频里说得很对：历史会铭记2012年11月15号这一天👌

10月30日，福建省惠安市，一女子发视频称，她买的双汇火腿肠里出现不少蛆虫。当事人称，她做早餐时拆开火腿肠时发现蛆虫，火腿肠还在保质期内。 31日，厂家回应称，初步核查蛆虫是苍蝇幼虫，系产品流通过程产生，目前正在和对方协商解决。

这妹子模仿能力太强了，绝对专业八级！

把她当成方脸抓了

从王毅出现开始，马仔们很好的诠释了什么是“团结紧张严肃活泼”

11月1日，上海市大学路附近到处都是保安和警察。

Russian fighter ignored her Indian counterpart’s handshake and the rest is history. 🤣😁😁Watch till the end. 🫡 Do you know her name? Google her.

10多岁的孩子在这哭，6个器官被错误切除，他说：“让我死了去吧！”； 70多岁的“孩子”在那笑，和另一独裁者畅谈器官移植，他说：“预测本世纪可以活到一百五”🙂👌

习近平给李在明送了几部小米手机做礼物，他指着小米手机说：“看里面有没有后门儿？”

熊膽不是很厲害嗎？漢醫五寶藥方之一就是熊膽，怎麼還嚇成這樣？ #HappyHalloween

10月31日，韩国庆州，亚太经合组织（APEC）峰会的开幕式，习近平观看了BIGBANG团队GD权志龙的表演。

卧槽，居然还有这么打架的。

從太空視角認識人類

11月1日，海南琼中爆发大规模群体抗争事件后续：海胶公司大楼已人去楼空，网友拍摄的视频显示，当局在海胶公司路段增加警力排查防止村民再次聚集维权。

网友投稿：湖南省耒阳市，耒阳一中学生集体喊楼，抗议学校拒绝执行双休政策。学校先是强制学生“被自愿”到校自习，又占用正常休息时间举办校运会。好不容易等到月假，高一高二学生仍需上完周五全天课程及晚自习才准离校，周日下午必须返校——原本两天的假期，实际仅剩1天。

媳妇看见别人吃菠萝嘴馋，老公直接去要了一块，并拿饮料回赠…

#DngGentle

11月1日，“苏超”决赛，南通队与泰州队巅峰对决，90分钟激战双方0:0平。点球大战中，泰州队4:3战胜南通队，夺得首届“苏超”冠军。

11月1日，上海巨鹿路，三步一辆警车。

钱塘江观潮，站对位置很重要！

网友投稿：11月1日晚，兰州大学接连发布紧急通知，要求昨晚参加万圣节的学生立即“自首”并退出相关群聊。并强调，作为共产党员和团员不能信仰宗教。

麻省理工大学公开课：人工智能和深度学习将改变世界。这堂课要听！ .

10月30日，广州多名网友反映，广州地铁App乘车码功能频繁出现弹窗广告，尤其是“摇一摇”触发方式严重影响早晚高峰过闸效率。对此，广州地铁客服回应称，“并非所有人都不喜欢广告”，若乘客有相关诉求，可提供信息由技术部门处理。

习近平给李在明送了几部华为手机做礼物，他指着华为手机说：“看里面有没有后门儿？”

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

解密 Groq 的速度惊人的 K2 instruct 模型：
最近 Groq 部署的K2 推理速度真的震惊了我和我的小伙伴。
其超过 300 tokens/s 的表现，远超主流 MaaS 平台普遍低于 50 tokens/s 的水平，带来了近乎实时的交互体验。
这背后的核心是其自研的 LPU (Language Processing Unit)
时政
( twitter.com )

3个月前由 Yinsen 提交

解密 Groq 的速度惊人的 K2 instruct 模型：

最近 Groq 部署的K2 推理速度真的震惊了我和我的小伙伴。
其超过 300 tokens/s 的表现，远超主流 MaaS 平台普遍低于 50 tokens/s 的水平，带来了近乎实时的交互体验。

这背后的核心是其自研的 LPU (Language Processing Unit) 芯片，一种专为语言模型推理设计的硬件。在2024年2月，Groq 就已火一把了，与通用目的的 GPU 不同，LPU 架构旨在消除外部内存瓶颈，最大化每个时钟周期的计算效率，从而实现极致的低延迟和高吞吐量。

然而，在惊人的性能演示之后，贾扬清对成本的分析揭示了另一面现实，这也是评估其商业可行性的关键。要实现 Groq 所宣称的旗舰性能，成本差异是巨大的：

Groq 方案: 硬件成本高达 1144万美元，年电费约 25.4万美元。这意味着实现其顶级推理速度的初期总成本接近 1171万美元。
英伟达方案: 作为对比，实现同等性能，一个 8 卡 H100 盒子的硬件成本约为 30万美元，年电费仅 2.4万美元。
此外，即使是密度更高的英伟达 H200，也能在更小的空间（如1/4服务器机架）内高效运行这些模型，这进一步凸显了 Groq 在当前阶段面临的成本效益挑战。

但无论如何，Groq 团队的工作显然揭示了一些新的可能性与其价值。

对于 AI 的进化，我们应持有更乐观、也更审慎的心态，期待技术在竞争与迭代中找到成本与性能的最佳平衡点。

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
400
下一页

1

3

2

2

可以的，了解到 Groq key 兼容 OpenAI 后，我把沉浸式翻译改为 Groq 这样设置，翻译速度之快简直感人。而且目前还是白嫖，赶紧去申请体验一下吧
IT技术
( console.groq.com)

1年前 • Geek • -- 点击 0 评论

2

2

1

1

可以的！ Groq 也嫖到了： Groq2API，速度堪称光速！
- Docker 搭建这个项目
- F12 搜索 authenticate
模型：
- Gemma-7b-I
- Llama2-70b-4096
- Mixtral-8x7b-3276
搞定🎉
Groq官网
Groq2API
IT技术
( twitter.com)

1年前 • Geek • -- 点击 0 评论

3

2

1

1

Groq 真是神速，Groq API Key 获取地址
IT技术
( console.groq.com)

1年前 • Geek • -- 点击 • 下载视频 0 评论

00:00:10

4

2

1

1

Groq 的 QwQ-32B 以 453.20 T/s 的惊人速度运行时，看到「思考1秒」的标签还以为是系统偷懒，点开却发现它生成了大量中间推理内容，但结果却差强人意……突发奇想尝试用 DeepClaude 混合模型，试着将 Groq 的推理过程传给 GPT-4o 分析，结果速度太快，连 DeepClaude 都没捕捉到推理内容就结束了。😂
IT技术
( twitter.com)

7个月前 • Geek • -- 点击 0 评论

5

2

1

1

我发现阿里这次解决安替的速度比他们解决女员工被“过度亲密”的速度可快太多了
推特中文圈
( twitter.com)

4年前 • twitter机器人 • -- 点击 0 评论

6

2

1

1

速度超快，类似Groq, 我使用的是它提供的免费的Qwen2.5-Coder-32B-Instruct大模型，再搭配无论任何问题一般不会超过4秒。
编程速度起飞！
时政
( twitter.com)

10个月前 • linear uncle • -- 点击 0 评论

7

2

1

1

弹涂鱼（mudskipper）惊人的的反应速度。

有趣
( twitter.com)

2年前 • 环球猎奇🏅 • -- 点击 • 下载视频 0 评论

00:00:07

8

3

2

2

逃跑速度惊人！
图片
( ww4.sinaimg.cn)

12年前 • 葵花点穴手 • -- 点击 0 评论

9

2

1

1

前几年我购物时就观察到Made in China 的东西减少，越南产的增加，越南在第一季度GDP增长速度高于中国新加坡，进出口贸易增长速度惊人。
越南将成为下一个世界工厂。
时政
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

10

2

1

1

【360度环游空中成都】成都二环快速公交K2线，1个小时内可以看到很近的成都，也可以看到很远的成都。
大陆资讯
( mp.weixin.qq.com)

2年前 • 七仙女坐台 • -- 点击 0 评论

11

2

1

1

资金有序进场。BUSD的进场速度，非常惊人
图片
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

12

2

1

1

伯汀斯基的照片以令人不安的视角让我们深刻了解到，人类正以惊人的速度消耗地球，污染溪流和湖泊......

大陆资讯
( bbc.in)

5年前 • bbcChinese • -- 点击 0 评论

13

2

1

1

令人惊叹的中国速度！结果你猜到了吗？😉
视频
( twitter.com)

2年前 • Tursunali_10（图尔荪艾力，永远和大家在一起！） • -- 点击 • 下载视频 0 评论

14

2

1

1

这口号进化速度有点惊人
推特中文圈
( twitter.com)

2年前 • twitter机器人 • -- 点击 0 评论

15

2

1

1

"轰!"
开源 LLaMA 3 （on Groq） vs. 闭源 GPT-4。
Prompt: code a snake game in Python.
没有可比性。
来源：
IT技术
( twitter.com)

1年前 • Will • -- 点击 • 下载视频 0 评论

00:00:44

16

2

1

1

Does extraterrestrial life exist on planet K2-a8b?
JWST detected carbon dioxide and methane in its atmosphere.
K2-18b is potentially habitable, covered by an ocean and about 2.6 times the size of Earth. It is located 120 light-years from our planet.
有趣
( twitter.com)

1年前 • Curiosity • -- 点击 0 评论

17

2

1

1

这绝对是一周以来最重要的新闻，但却没有人报道也很少人发现。
Groq和sambanova开放了对普通开发者的付费权限！
他们不是简单的 API 提供商，他们是飞速的 API 提供商。和几十token每秒的生成速度相比，几百几千token每秒不只是速度上量级的改变，对应用场景来说也是会带来质变的。
时政
( twitter.com)

8个月前 • Haoshan Hong • -- 点击 0 评论

18

2

1

1

限量1000个人。密码fashion
速度，冲！
币圈
( twitter.com)

2年前 • sanyi.eth/sanyi.bnb • -- 点击 0 评论

19

2

1

1

南极"末日冰川“融化速度惊人，科学家多年来百思不得其解，现在终于找到原因了
大陆资讯
( bbc.in)

5年前 • bbcChinese • -- 点击 0 评论

20

2

1

1

新冠病毒的传播速度如此惊人，原来跟人体的鼻腔组成有关。
大陆资讯
( twitter.com)

5年前 • bbcChinese • -- 点击 0 评论

21

2

1

1

实验显示果蝇惊人的演化速度：四个月基因组变了60%
大陆资讯
( mp.weixin.qq.com)

3年前 • 微信公众号 • -- 点击 0 评论

22

2

1

1

科学家发现热气泡以“令人震惊的速度”围绕黑洞旋转
大陆资讯
( www.cnbeta.com)

3年前 • cnbeta • -- 点击 0 评论

23

2

1

1

美战略司令部司令：中国的核能力正在以惊人的速度发展
推特中文圈
( www.rfi.fr)

4年前 • 法广网 • -- 点击 0 评论

24

2

1

1

【难以置信的速度！美国大学生接力赛惊人速度夺冠】密歇根大学运动会4*400接力赛，18岁新生霍尔曼在最后一棒中，以惊人的速度冲刺夺得胜利。她在两圈200米中各赶超一名选手，最后以半秒优势获胜！热血沸腾！在接力赛前一个半小时，霍尔曼还参加了600米，以1分29秒27夺冠。
大陆资讯
( weibo.com)

4年前 • 微博 • -- 点击 0 评论

1
2
3
4
5
6
...
400
下一页

0.08585 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特