我当年还在Meta做NLP技术的时候，Tokenizer就是“分词”的意思显然，按照英文的文法，Token的意思就是“词”当然我们之前也分析过，汉字因为方块字组合造词的缘故，几乎每一个字都已被“污染”，单独使用会充满歧义所以一定要要加一个“元”，把它变得不伦不类、难读拗口

发布时间: 2025-12-30 15:00:15

1分

数据加载中

关注推特

收听电报

2

1

0

我当年还在Meta做NLP技术的时候，Tokenizer就是“分词”的意思
显然，按照英文的文法，Token的意思就是“词”
当然我们之前也分析过，汉字因为方块字组合造词的缘故，几乎每一个字都已被“污染”，单独使用会充满歧义
所以一定要要加一个“元”，把它变得不伦不类、难读拗口
时政
( twitter.com )

13小时前由勃勃OC 提交

我当年还在Meta做NLP技术的时候，Tokenizer就是“分词”的意思

显然，按照英文的文法，Token的意思就是“词”

当然我们之前也分析过，汉字因为方块字组合造词的缘故，几乎每一个字都已被“污染”，单独使用会充满歧义

所以一定要要加一个“元”，把它变得不伦不类、难读拗口

才能让14亿没读过大学、没读过书、没出过国、没用过计算机的中国人觉得有逼格

能听懂

谢谢大家

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

关注最新的NLP/AI的学术和技术，可以考虑关注我创建的这个列表。
列表里包含了我关注的最优秀的AI研究员，以PhD为主，会保持更新列表成员。
时政
( twitter.com)

3个月前 • 马东锡 NLP • -- 点击 0 评论

2

2

1

1

最近和很多团队交流的时候，我都会说，面对llm/agent这样一个新技术，它的边界，可行性，远景还未形成大众共识时，如何能指望产品经理提出一个可靠的产品方向呢。新技术落地的草莽阶段，一定是从技术人员里选拔培养产品出来。还停留在移动互联网时代组织架构的团队，只会是产品很茫然，技术很无力，大
时政
( twitter.com)

4个月前 • yan5xu • -- 点击 0 评论

3

2

1

1

又到了讲故事的时候了。
1
2015年左右吧，我和朋友创业。
在五道口的清华科技园，启迪之星的孵化器里办公。
认识了一群搞技术的小伙伴。
其中有个哥们，做iOS开发的。
人特别热心。
当时有朋友公司程序有问题，他无偿地帮过好几次忙。
后来我们拿到了点钱。
搬到了对面的财智科技大厦。
时政
( twitter.com)

10个月前 • 徹言 • -- 点击 0 评论

4

5

4

4

近日，一博主用他爸的经历警示大家，人生不只有工作。
他爸从19岁开始，12小时两班倒的干了35年活，现在却查出了癌症。
他爸做手术的时候还在问医生，做完手术能不能回去上班。
时政
( twitter.com)

5个月前 • 李老师不是你老师 • -- 点击 • 下载视频 0 评论

00:00:58

5

2

1

1

技术派出牛逼创新的时候“跟”
CEX炒热点的时候“蹭”
华尔街资金进场的时候“冲”
多线思维并行，才有属于我们散户的大机会。
btc
( twitter.com)

3个月前 • 撒幣哥 Mr. CashCash • -- 点击 0 评论

6

2

1

1

认识Kevin老板也有两年了，线下也见过两次，非常典型的技术人才。
在很多人认为BTCfi式微，或许是伪命题的时候，他还在坚定的搞BTC ZK-Rollup，搞BitVM，今天他的GOAT发布了BitVM2白皮书。
或许不是特别善于包装和吹泡泡，但他对技术方向的执着和纯粹还是让我印象挺深刻的。我觉得
btc
( twitter.com)

7个月前 • 土澳大狮兄BroLeon • -- 点击 0 评论

7

2

1

1

今天在小镇遇到了2022年在附近小镇做临时工时候认识的华人医生，她还记得我，当时我和她给一个老白男插了一根导尿管，那时候死活插不进去，。。。今天她也来这个小镇客串医生临时工。
时政
( twitter.com)

8个月前 • 澳洲护士卡子弟 • -- 点击 0 评论

8

2

1

1

技术营销对产品非常重要。我就是比较典型的技术不懂营销被窃取了
2020年疫情我第一个做了英国疫情的数据分布可视化（我知道同期还有一个爱丁堡上学的前腾讯的小伙伴也在做），我甚至还搞了外出拼车功能。为了优化功能我做的是拉了个群，接收用户反馈，继续改进。
时政
( twitter.com)

3个月前 • francis404 • -- 点击 0 评论

9

2

1

1

想起当时学习k8s设计模式，还是陈皓的博客写的最透彻底，时隔一年多，每每研究技术，我都会想起这位已故的前辈，他给开发者和技术社区留下了很多有价值的内容，即便人已经不在了，这些内容仍然在帮助人们。
---
我们总是想获得更多，索取更多，实际上真正能保留下来
时政
( twitter.com)

2个月前 • Mr Panda • -- 点击 0 评论

0.19277 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特