没想到有人不相信低资源推理的可行性。用WizardLM-30B参数模型在4090 24 GB 显卡上，使用 GPTQ 4bit量化。这个速度大家满意么。控制台显示速度：14.11 tokens/s显存占用：20333Mi…

发布时间: 2023-06-25 19:13:01

1分

数据加载中

关注推特

收听电报

2

1

0

没想到有人不相信低资源推理的可行性。

用WizardLM-30B参数模型在4090 24 GB 显卡上，使用 GPTQ 4bit量化。这个速度大家满意么。

控制台显示速度：14.11 tokens/s
显存占用：20333Mi…
推特中文圈
( twitter.com )

2年前由九原客提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

简单汇总了下资料，没时间写指南了。可以具体点到资料中看具体实现。

只包括推理，低资源训练和微调以后再补充。
推特中文圈
( twitter.com)

2年前 • 九原客 • -- 点击 0 评论

2

2

1

1

年轻人啊，不要相信那些极擅长混圈子的人。这些都是猴精，ta们眼里没有人，只有资源。所以呢，当你没有资源又想跟着混的时候，往往自己就变成了资源。
全世界低语境人团结起来，重要的不是在圈子黑话的高语境里解释世界，而是要把世界改造成无需解释的。
推特中文圈
( twitter.com)

2年前 • 章工GPT • -- 点击 0 评论

3

2

1

1

在网上要相信不相信一个人，主要还是看利益。
没有利益，别人就没动力骗你；就算别人言行不一，也不是针对你，你也没损失。当然，利益不只是钱，还有感情什么的。
所以，对网上的人不出钱、不付出感情就行了。关注我的网友比较偏理性，不太容易上当。
至今我都没从推上挣到钱，我是值得信任的啊。
推特中文圈
( twitter.com)

2年前 • 章工GPT • -- 点击 0 评论

4

1

0

0

自古以来，中国人没有像今天的中国人一样：素质底下、道德败坏、文化没落、人性冷漠。谈理想，没理想；谈道德，没道德；谈传承，没传承；要文化，没文化；不思悔改，没有制约；不肯融入世界，无创新；模仿抄袭，低端制造；浪费资源，愚民教育！
究竟是谁把中国人都带坏了？！
时政
( twitter.com)

2年前 • 蝶恋花💮 • -- 点击 0 评论

5

2

1

1

自古以来中国人没有像今天的中国人一样，素质底下，道德败坏，文化没落，人性冷漠。谈理想，没理想；谈道德，没道德；谈传承，没传承；要文化，没文化；不思悔改，没有制约；不肯融入世界，无创新；模仿抄袭，低端制造；浪费资源，愚民教育！究竟是谁把中国人都带坏了？
推特中文圈
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

6

2

1

1

自古以来盅国人没有像今天的盅国人一样，素质底下，道德败坏，文化没落，人性冷漠。谈理想，没理想；谈道德，没道德；谈传承，没传承；要文化，没文化；不思悔改，没有制约；不肯融入世界，无创新；模仿抄袭，低端制造；浪费资源，愚民教育！究竟是谁把盅国人都带坏了？
推特中文圈
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

7

2

1

1

自古以来中国人没有像今天的中国人一样，素质底下，道德败坏，文化没落，人性冷漠。谈理想，没理想；谈道德，没道德；谈传承，没传承；要文化，没文化；不思悔改，没有制约；不肯融入世界，无创新；模仿抄袭，低端制造；浪费资源，愚民教育！究竟是谁把中国人都带坏了？
推特中文圈
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

8

2

1

1

傻子不可怕，可怕的是傻子手中有权，有资源，而且还有远大理想。
时政
( twitter.com)

2年前 • Petrichor • -- 点击 0 评论

9

2

1

1

最近发现我真的单纯到蠢的地步，我到底是靠什么活到现在的。

我在年初在链上被盗了20W-30W人民币左右的资产。后面有人在推特上私信我说可以帮我追回资产。我虽然没有让他帮我追，但是我相信这个人是真心想帮我。

直到前天这个人在推特…
币圈
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

0.12528 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特