据公开资料，GPT-3训练数据集中中文仅占不到0.2%。互联网上中文语料本就质量不高，等AIGC开始流行后，很可能我们日常所接触到的大多数中文文本都是将基于这不到0.2%的数据变换重整而来，更糟糕的是这些海量文本还会被用作训练…

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

3203 位用户此时在线

关注推特

收听电报

20K-50K 招聘远程 Python AI 工程师（图片与文本处理方向）

10月31日，海南琼中爆发大规模群体抗争事件因海南天然橡胶产业集团加钗分公司偷砍农民的槟榔田，引发当地民众不满。民众聚集在公司大楼外抗议，掀翻车辆，向公司人员和防暴警察投掷石块。

上海交大采访留学生，不会说中文，学校给全额奖学金，每个月还给5500元人民币补贴。他们俩来上海留学六七年了，不花一分钱……开心到跳舞

10月31日，上海静安寺，一名女生cos“哆啦A梦”后被当地警察带走问话。

“How bad are the Dolphins?”

李诞自曝不生孩子的原因

更多现场视频：

传统型小粉红论述

10月30日，习近平和川普韩国釜山会晤时，媒体镜头拍下了习近平的小本本上面写着“中美两国完全可以相互成就、共同繁荣。……，我多次公开讲，中美两国应当做伙伴、做朋友，这是历史的启示，也是现实的要求……”

刚刚，上海愚园路和安西路交叉口几名市民与警察发生冲突，随后被带走。市民大喊“我一定会投诉你们”

网友投稿：一名视频博主挑战在日本景点挥舞中国国旗，博主惊呼：“居然没有人阻止，日本人难道不爱国吗？”

网友投稿：南京万圣节一些有趣的cos。

截至目前，官方没有通报任何野人小孩事件的最新进展。有大量网友在大雁塔直播下刷屏留言，请官方关注云南爬行宝宝。

10月31日，万圣节现场有网友cos小黑羊后被保安和警察带走。

海南海胶，面对愤怒的村民，当局鸣枪驱离。

10月31日晚上，湖南省长沙市，潮宗街店面墙体倒塌，砸中路人。

川普不知道使出什么招术，让向来紧绷着脸的中共高官，一改苦大仇身的面孔，笑得眉飞色舞，特別是面对一个并不喜欢的对手，连战狼外长王毅也使出吃奶的劲挤出了尴尬的笑容。透过这幅照片可以看出，美中关系在接下来的一年里，应该风平浪静，不至于触礁翻船。这对一向敏感的资本市场来说是好事，也让跨境

现场的农民们情绪激动，不仅掀翻了汽车，还有人高喊“打倒土匪窝”。部分农民更是爬上公司的平台，直接砸毁了企业的招牌。

为战犯铺红地毯扶送独裁者上车那些阿谀奉承，谄媚讨好川普的其它国家领导人，你们羡慕吧，在川普心目中这两位才是他最尊重的人。😁

网友投稿：上海，一名coser在派出所对面的广场带头套cos劫匪，被赶来的警察带走

10月31日，韩国庆州，亚太经合组织（APEC）峰会的开幕式，习近平观看了BIGBANG团队GD权志龙的表演。

愤怒的村民将被海胶公司砍伐的槟榔树直接堆放在公司门口，以示抗议。

10月31日晚，上海成都南路，大量警察站成人墙清场。

郑智化谈论机场事件始末。并注销微博。

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

据公开资料，GPT-3训练数据集中中文仅占不到0.2%。

互联网上中文语料本就质量不高，等AIGC开始流行后，很可能我们日常所接触到的大多数中文文本都是将基于这不到0.2%的数据变换重整而来，更糟糕的是这些海量文本还会被用作训练…
推特中文圈
( twitter.com )

2年前由象牙山刘能提交

1周内 1个月内 1年内全部时间

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了
大陆资讯
( www.jiqizhixin.com)

2年前 • 观光团 • -- 点击 0 评论

“中国因为疫情闭关的三年，正是OpenAI的GPT发展、壮大、产品化的三年。我们的中文互联网不足以提供高质量的训练数据。没有好的中文数据，我们就只能搭全球互联网的数据顺风车。上面这些优质数据的产生，需要开放的社区，我们似乎无解。”
时政
( chinadigitaltimes.net)

2年前 • 中国数字时代 • -- 点击 0 评论

闪电预览

【OpenAI CTO：不确定Sora的训练数据来自哪里】记者询问Murati关于Sora训练数据来源时，她仅以含糊的官方话术搪塞：“我们使用的是公开可用数据和许可数据。”当记者追问具体来源是否包含YouTube视频时，Murati表示“我实际上并不确定”，并拒绝回答有关Instagram或Facebook视频是否被纳入训练集的问题。
大陆资讯
( www.ithome.com)

1年前 • 不知道 • -- 点击 0 评论

闪电预览

OpenAI开发者大会亮点：
GPT-4 Turbo
支持128K上下文，相当于同时处理300多页文本内容；
训练数据更新至2023年4月；
添加JSON模式，更新了多个函数调用能力；
支持图像输入，集成DALL·E 3，自动总结图片内容；
价格比GPT-4输入便宜3倍，输出便宜2倍。

自定义GPT…
时政
( twitter.com)

2年前 • 外汇交易员 • -- 点击 0 评论

开源之光:RedPajama重塑大语言模型的未来
LLaMA最强平替，超12万亿训练数据，全开源
1. 开源12万亿训练数据，参考LLaMA数据集配比。
2. 模型马上开源
*标题由Claude生成…
推特中文圈

开源推荐
( twitter.com)

2年前 • nash_su • -- 点击 0 评论

！！真正的全过程开源的中英文双语大模型。
1. 4.7T tokens 的中英文清洗后语料，配比挺合理。
2. 扫描PDF 转 Markdown 的工作流，可以识别图片、表格和公式！！！
3. 中英文的预训练数据处理 Pipeline，拿来即用～
4. 最终的 7B…
时政
( twitter.com)

1年前 • 九原客 • -- 点击 0 评论

从下面文章里，GPT-4的细节已经大量泄露

GPT-4架构、基础设施、训练数据集、成本、愿景和MoE
揭秘GPT-4：OpenAI在其架构方面做出的工程权衡。

英文可以参考：

下面情况具体的细节：
IT技术
( semianalysis.com)

2年前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

该模型基于 LLaMA2 微调，具备 OpenAI Function Call 功能。目前数据集和训练过程还没有完全公开。
时政
( github.com)

2年前 • 九原客 • -- 点击 0 评论

目前英文 7B 规模的 SOTA 模型是 zephyr-7b-beta。它放弃了质量参差不齐的开源数据集，使用ChatGPT和GPT-4 全新标注了 UltraChat 和 UltraFeedback 数据集（已开源）。是 llama-index 项目实测出来唯一能够支持 Agent 的小参数模型。

与之相比，中文开源模型虽多，数据集却很少开源。
时政
( twitter.com)

2年前 • 九原客 • -- 点击 0 评论

GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB…
推特中文圈
( twitter.com)

2年前 • 硅谷王川 Chuan • -- 点击 0 评论

微软称其13亿参数AI超千亿级GPT-3.5效果!

微软最近发布了一款名为phi-1的13亿参数的语言模型，该模型的训练数据来自网络的"教科书等级"的高质量资料集，甚至包括了由GPT-3.5处理过的"逻辑严密"的内容。微软的研发…
IT技术
( twitter.com)

2年前 • GPTDAOCN • -- 点击 0 评论

AI“数据荒”怎么办？微软、谷歌等公司正使用“合成数据”训练AI
大陆资讯
( www.chinastarmarket.cn)

1年前 • 葵花点穴手 • -- 点击 0 评论

政协委员，央视副召集人张勤提案大模型训练: 如果我们训练的大模型持续用西方价值观数据、西方应用场景来训练中国大模型，中国式的认知将被湮没。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

弱智吧竟成最佳中文AI训练数据？中科院等：8 项测试第一，远超知乎豆瓣小红书
大陆资讯
( www.qbitai.com)

1年前 • 猪八戒 • -- 点击 0 评论

闪电预览

科普更正：GPT的语料库不依赖自己爬取链接，主要的海量数据源来源于还有维基，在，现在做AI训练爬虫不是关键，重点…
时政
( twitter.com)

2年前 • Jixian Wang • -- 点击 0 评论

毫不怀疑快手是用自己的数据集训练的可灵模型😀
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:00:05

恐怖，但在预料中。

阿里达摩院的论文研究了GPT-4在金融领域数据分析方面的表现,与人类高级数据分析师的表现进行了比较。… …
时政
( twitter.com)

2年前 • 偶像派作手 • -- 点击 0 评论

中国遭遇史上最大规模数据泄露事件：近日，网络安全研究团队Cybernews最新发现，一个未设密码的631GB数据库公开暴露了逾40亿条记录，涉及数亿中国用户的财务数据、微信及支付宝信息等敏感个人资料。研究人员指出，该数据库包含16个按数据类型命名的数据集，其中"wechatid_db"（8.05亿条）疑似源自微信
时政
( twitter.com)

4个月前 • 李老师不是你老师 • -- 点击 0 评论

跟大家分享一个日本这边大模型AI行业的一个分析报告。
关于语料集这一块，因为我们的贡献，中国现在语料数据远远甩开了日本！
在今年年初我们启动这个项目的时候，国内开源语料集的数据规模也都是以G来计数的。
而今天，我们把中文语料集推到了32T！
欢迎对AI感兴趣的人加入MNBVC中文语料集项目！！
IT技术
( twitter.com)

2年前 • 零零發 • -- 点击 0 评论

今天我们发布了中文播客领域的第一个授权明确、质量有保障的文本-语音数据集，可用于TTS，ASR等领域模型的训练和微调，涵盖了百万级的数据对、超过三万期播客节目。
时政
( twitter.com)

1年前 • 朱峰 • -- 点击 0 评论

理论上最接近ChatGPT的模型，终于有人训练出来了， orca_mini_3b！

基于OpenLLaMa-3B模型，运用WizardLM，Alpaca和Dolly-V2数据集的指导及输入，并采用Orca研究论文的数据集构建方法…
IT技术
( twitter.com)

2年前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

为了预防人工智能灾难性的影响，公司和机构应该自由合作，向公众开放专利和研究成果。
—— OpenAI，2015

我们决定不发布GPT-2的训练模型数据，也不发布预训练后的参数，因为如此强力的模型有遭到恶意滥用的风险。
—— Op…
推特中文圈
( twitter.com)

2年前 • 象牙山刘能 • -- 点击 0 评论

根据英伟达的幻灯片显示，GPT-4 是 1.8T 参数的混合专家模型。现在用 Blackwell 系统实际上可以在大约十天内训练一个像 GPT-4 这样拥有 1.8 万亿参数的大模型，而在两年前 Hopper 世代开始时，即使是几百亿参数的模型也很难在几个月内完成训练。
IT技术
( baoyu.io)

1年前 • 宝玉 • -- 点击 0 评论

8个月时间，我们低调而坚定的建设的中文语料集开源项目MNBVC，伴随着团队不断成长，和不断积累的代码工作开始产出成果，我们的数据量吨位也将迎来爆发。
到今天（9月3日），我们已经有7984GB的语料数据，毫无疑问的是全球最大的中文语料集项目，而且还是开源的。
本月破10T！

IT技术
( www.253874.net)

2年前 • 零零發 • -- 点击 0 评论

推特中文圈

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了 大陆资讯 ( www.jiqizhixin.com)

大陆资讯

时政

大陆资讯

时政

开源之光:RedPajama重塑大语言模型的未来 LLaMA最强平替，超12万亿训练数据，全开源 1. 开源12万亿训练数据，参考LLaMA数据集配比。 2. 模型马上开源 *标题由Claude生成… 推特中文圈 开源推荐 ( twitter.com)

推特中文圈

开源推荐

时政

从下面文章里，GPT-4的细节已经大量泄露 GPT-4架构、基础设施、训练数据集、成本、愿景和MoE 揭秘GPT-4：OpenAI在其架构方面做出的工程权衡。 英文可以参考： 下面情况具体的细节： IT技术 ( semianalysis.com)

IT技术

该模型基于 LLaMA2 微调，具备 OpenAI Function Call 功能。目前数据集和训练过程还没有完全公开。 时政 ( github.com)

时政

时政

GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB… 推特中文圈 ( twitter.com)

推特中文圈

IT技术

AI“数据荒”怎么办？微软、谷歌等公司正使用“合成数据”训练AI 大陆资讯 ( www.chinastarmarket.cn)

大陆资讯

政协委员，央视副召集人张勤提案大模型训练: 如果我们训练的大模型持续用西方价值观数据、西方应用场景来训练中国大模型，中国式的认知将被湮没。… IT技术 ( twitter.com)

IT技术

弱智吧竟成最佳中文AI训练数据？中科院等：8 项测试第一，远超知乎豆瓣小红书 大陆资讯 ( www.qbitai.com)

大陆资讯

科普更正：GPT的语料库不依赖自己爬取链接，主要的海量数据源来源于 还有维基，在，现在做AI训练爬虫不是关键，重点… 时政 ( twitter.com)

时政

毫不怀疑快手是用自己的数据集训练的可灵模型😀 IT技术 ( twitter.com)

IT技术

恐怖，但在预料中。 阿里达摩院的论文研究了GPT-4在金融领域数据分析方面的表现,与人类高级数据分析师的表现进行了比较。… … 时政 ( twitter.com)

时政

时政

IT技术

今天我们发布了中文播客领域的第一个授权明确、质量有保障的文本-语音数据集，可用于TTS，ASR等领域模型的训练和微调，涵盖了百万级的数据对、超过三万期播客节目。 时政 ( twitter.com)

时政

理论上最接近ChatGPT的模型，终于有人训练出来了， orca_mini_3b！ 基于OpenLLaMa-3B模型，运用WizardLM，Alpaca和Dolly-V2数据集的指导及输入，并采用Orca研究论文的数据集构建方法… IT技术 ( twitter.com)

IT技术

推特中文圈

IT技术

IT技术

创建一个新帐户

登录

终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了
大陆资讯
( www.jiqizhixin.com)

开源之光:RedPajama重塑大语言模型的未来
LLaMA最强平替，超12万亿训练数据，全开源
1. 开源12万亿训练数据，参考LLaMA数据集配比。
2. 模型马上开源
*标题由Claude生成…
推特中文圈

开源推荐
( twitter.com)

从下面文章里，GPT-4的细节已经大量泄露

GPT-4架构、基础设施、训练数据集、成本、愿景和MoE
揭秘GPT-4：OpenAI在其架构方面做出的工程权衡。

英文可以参考：

下面情况具体的细节：
IT技术
( semianalysis.com)

该模型基于 LLaMA2 微调，具备 OpenAI Function Call 功能。目前数据集和训练过程还没有完全公开。
时政
( github.com)

GPT-4 用于训练的数据量据说在 5到9万亿 token 之间。假设是 9 万亿，这就等价于 45 terabyte. 普通一本英文书的数据量大约在 1 MB (一个英文字母相当于一个 byte), 所以 45 TB…
推特中文圈
( twitter.com)

AI“数据荒”怎么办？微软、谷歌等公司正使用“合成数据”训练AI
大陆资讯
( www.chinastarmarket.cn)

政协委员，央视副召集人张勤提案大模型训练: 如果我们训练的大模型持续用西方价值观数据、西方应用场景来训练中国大模型，中国式的认知将被湮没。…
IT技术
( twitter.com)

弱智吧竟成最佳中文AI训练数据？中科院等：8 项测试第一，远超知乎豆瓣小红书
大陆资讯
( www.qbitai.com)

科普更正：GPT的语料库不依赖自己爬取链接，主要的海量数据源来源于还有维基，在，现在做AI训练爬虫不是关键，重点…
时政
( twitter.com)

毫不怀疑快手是用自己的数据集训练的可灵模型😀
IT技术
( twitter.com)

恐怖，但在预料中。

阿里达摩院的论文研究了GPT-4在金融领域数据分析方面的表现,与人类高级数据分析师的表现进行了比较。… …
时政
( twitter.com)

今天我们发布了中文播客领域的第一个授权明确、质量有保障的文本-语音数据集，可用于TTS，ASR等领域模型的训练和微调，涵盖了百万级的数据对、超过三万期播客节目。
时政
( twitter.com)

理论上最接近ChatGPT的模型，终于有人训练出来了， orca_mini_3b！

基于OpenLLaMa-3B模型，运用WizardLM，Alpaca和Dolly-V2数据集的指导及输入，并采用Orca研究论文的数据集构建方法…
IT技术
( twitter.com)