“当我们训练一个庞大的神经网络，让它准确预测互联网上各式各样文本中的下一个单词时，我们实际上是在学习一个“世界模型”。乍一看，好像我们只是在学习文本中的统计关联性。但事实上，为了精确地学习文本中的统计关联并有效地压缩这些信息，神经网络实际上学习到的是产生这些文本的过程的某种表示。”

发布时间: 2024-11-11 13:00:46

1分

数据加载中

关注推特

收听电报

2

1

0

“当我们训练一个庞大的神经网络，让它准确预测互联网上各式各样文本中的下一个单词时，我们实际上是在学习一个“世界模型”。乍一看，好像我们只是在学习文本中的统计关联性。但事实上，为了精确地学习文本中的统计关联并有效地压缩这些信息，神经网络实际上学习到的是产生这些文本的过程的某种表示。”
IT技术
( twitter.com )

1年前由宝玉提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

ChatGPT 类系统是如何运作的呢？
让我们通过下面的图解来探索它的运作机制。整个过程主要分为两大部分。
1. 训练过程。要打造一个 ChatGPT 模型，我们需要经历两个关键阶段：
- 预训练：在这一阶段，我们会对一个 GPT 模型（一种仅包含解码器的…
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

2

2

1

1

大模型训练超参可视化出现“分形”效果！
有人将神经网络训练中超参数（学习率）和收敛的关系进行了可视化，发现了神奇的分形效果，不得不感叹规律和数学之美无处不在啊。
本质上分形就是重复调用同一个方法，这跟模型训练本质是类似的，这也可能是出现“分形”的原因。
原文：
时政
( sohl-dickstein.github.io)

1年前 • nash_su - e/acc • -- 点击 • 下载视频 0 评论

00:01:12

3

2

1

1

前段时间611项目遭到了不明人士(99.9999%中共)的网络攻击，直接导致了网页的崩溃😭
但是经过我们程序员的抢修，网站终于重新上线了
感谢中共训练我们网页防御能力🫡
时政
( twitter.com)

7个月前 • 多伦多方脸 • -- 点击 0 评论

4

2

1

1

我发现了把GPT-4O生成的图片怎样让它生成正确的汉字呢我的思路是先让它设计海报的时候全部生成英文然后我们把这张图片生成的英文的海报把它放在微信当中通过微信它有一个图片翻译的功能它会直接把英文准确翻译成汉字然后汉字生成都是完全正确的
时政
( twitter.com)

8个月前 • 丹尼尔士 • -- 点击 0 评论

5

2

1

1

OpenAI 12 天的第 2 天，强化微调，通过少量数据，让模型在专业领域到达专家水平。
跟之前的微调不一样，它不是通过把数据记住答案，而是在微调的过程中训练自己在某个领域的推理能力找到正确答案，有点像给 AI 一本棋谱，让它自己训练自己下棋。
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

6

2

1

1

我觉得 GPT-4.5 主要意义在于：它是一个类似于 GPT-4 （没有 o）的大基座模型，参数量估计是 GPT-4 的 10 倍，它确实又慢又贵，可能很多人忘记了当年的 GPT-4，也是又慢又贵，但是 GPT-4 训练出来了 GPT-4o，参数量小 10 倍，速度快而且便宜，然后 GPT-4 又通过 RL（强化学习）训练出了 o1
IT技术
( twitter.com)

10个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:13:13

7

3

2

2

这么庞大的一个群体
全人类最顽固，最难现代化的14亿人
咱们党能把它们每个人都控制的这么好
已经算是一个
奇迹
时政
( twitter.com)

1年前 • 勃勃OC • -- 点击 0 评论

8

2

1

1

关于三种类型的专家混合模型 (Mixture of Experts, MoE) 的简短教程，包括预训练的 MoE、升级的 MoE 和 FrankenMoE。
作者还提供了推荐的论文列表，可以去原贴查看。
MoE 概述
MoE 使用稀疏的 MoE 层替换前馈层。这些层包含一定数量的专家(例如8个),每个专家都是一个神经网络(通常是前馈网络…
IT技术
( twitter.com)

1年前 • 歸藏 • -- 点击 0 评论

9

2

1

1

【OpenAI CTO：不确定Sora的训练数据来自哪里】记者询问Murati关于Sora训练数据来源时，她仅以含糊的官方话术搪塞：“我们使用的是公开可用数据和许可数据。”当记者追问具体来源是否包含YouTube视频时，Murati表示“我实际上并不确定”，并拒绝回答有关Instagram或Facebook视频是否被纳入训练集的问题。
大陆资讯
( www.ithome.com)

1年前 • 不知道 • -- 点击 0 评论

0.46223 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特