中文没有空格，分词就是个大问题。中文一词多义，"意思"和"意思"可能是完全不同的意思。中文语序灵活，"我打了他"和"他被我打了"，主语都不一样。所以，中文太复杂，机器搞不定。我以前也这么想。直到我理解了 Word2Vec 是怎么工作的。它根本不在乎语言的语法规则。

发布时间: 2025-11-25 15:41:21

1分

数据加载中

中文没有空格，分词就是个大问题。
中文一词多义，"意思"和"意思"可能是完全不同的意思。
中文语序灵活，"我打了他"和"他被我打了"，主语都不一样。
所以，中文太复杂，机器搞不定。
我以前也这么想。
直到我理解了 Word2Vec 是怎么工作的。
它根本不在乎语言的语法规则。
IT技术
( twitter.com )

中文没有空格，分词就是个大问题。

中文一词多义，"意思"和"意思"可能是完全不同的意思。

中文语序灵活，"我打了他"和"他被我打了"，主语都不一样。

所以，中文太复杂，机器搞不定。

我以前也这么想。

直到我理解了 Word2Vec 是怎么工作的。

它根本不在乎语言的语法规则。

它只看一件事：这个词周围都是谁。

"苹果"周围经常是"水果""香蕉""新鲜"。

"蘋果"周围也是。

"apple"周围也是。

对 Word2Vec 来说，这三个词是一回事。

因为它们的用法一样。

中文有一词多义？没关系。

"苹果"（水果）周围是"吃""甜""新鲜"。

"苹果"（公司）周围是"手机""电脑""发布会"。

Word2Vec 会给它们不同的向量。

因为它们的上下文不一样。

中文分词难？也没关系。

Word2Vec 可以直接在字符级别上训练。

不需要分词，直接看字和字之间的关系。

甚至有研究发现，字符级别的中文词向量，效果不比分词后的差。

因为对机器来说，语言不是规则，是统计。

它不需要懂语法，它只需要看够多的数据。

看多了，它自己就知道：

哪些字经常一起出现，哪些词意思相近，哪些句子表达相似的意思。

英文也好，中文也好，对 Word2Vec 来说，都是一样的：

一堆符号，和这些符号之间的统计关系。

所以，中文 AI 不如英文？

不是语言的问题。

是数据的问题。

英文数据多，所以英文模型好。

中文数据少，所以中文模型差。

但这不是中文的错。

Word2Vec 证明了：

任何语言，只要有足够的数据，机器都能学会。

语言的复杂性，对人是障碍。

对机器，只是统计模式的区别。

---
另一个AI生成版本。

Markdown支持

评论加载中...

您可能感兴趣的：更多

网名“推墙大师”发来一篇征文，“推墙大师”认为中国的问题，就是中共的问题。没有中共，中国就没有问题。我们这一代的使命，就是拚尽全力，彻底终结中共武装犯罪集团对中国大陆的暴虐统治，终结中共对全体中国人的奴役。
讨中共檄
张灭共，于民国 113年
时政
( twitter.com)

11个月前 • 蔡慎坤 • -- 点击 0 评论

铁链女事件刚曝光的时候，一位女士朋友说“董志民就是中国人民的代表”。她不是女权，只是个很独立、各方面都相当优秀的职业女性。中国不是没有现代文明化的人，而是少得可怜。中文世界有句自我麻痹的流行语“大部分人是好的”。中国的问题恰恰是，大部分中国人配不上现代文明化了的少数中国人。董志民+铁
时政
( twitter.com)

3个月前 • 徒步的骑手 • -- 点击 0 评论

我再说一下这个“反共” 和 “支黑”的问题。在不反共上，王老师说可能不是共产党的问题，而是中国人的文化问题、习俗问题，这其实就是“支黑”，也是被王志安批评的大部分“支黑”的基本观点。
时政
( twitter.com)

10个月前 • 勃勃OC • -- 点击 0 评论

从高善文和其他一些有见识、有能力的中国人的遭遇看，用电脑打个比方，中国是CPU出了问题，整个操作系统出了问题，所有的APP在上面都没法正常运转。
时政
( twitter.com)

10个月前 • 徒步的骑手 • -- 点击 • 下载视频 0 评论

00:07:38

奇怪了，欧洲分裂大家相安无事，中国分裂为什么就一定要内战，要争做那一个皇帝？
是不是教育有问题？
现在台湾的去中国化教育就挺好的
去掉了王道、大一统和皇帝思想
没人想统一，没人想做那个“老百姓”
大陆现在还想统一的，脑子多少有点问题
时政
( twitter.com)

25天前 • 勃勃OC • -- 点击 1 评论

我再说一下王志安“反共” 和 “支黑”的问题。
在不反共上，王老师说可能不是共产党的问题，而是中国人的文化问题、习俗问题，这其实就是“支黑”，也是被王志安批评的大部分“支黑”的基本观点。
时政
( twitter.com)

10个月前 • 勃勃OC • -- 点击 0 评论

suno4.5 生成的音乐，虽然还有很多瑕疵，但意思到了。
只需要输入主题，比如第一性原理，或诗词原文，让claude3.7写正负风格标记。
另外发现，豆包写中文歌词更押韵
IT技术
( twitter.com)

6个月前 • 向阳乔木 • -- 点击 • 下载视频 0 评论

00:02:34

全文如下：
前置条件：
你的英文词汇量已经达到高三人教版教材要求的水平，也就是掌握英文常用单词数目2000个。如果你还没达到，建议你退学重读高一。我有很多高中可以推荐，例如郴州市明星学校。需要的可以私信我。
这2000个单词，我分为如下几个部分：
1.
时政
( twitter.com)

6个月前 • 勃勃OC • -- 点击 0 评论

阮一峰老师写过一篇文章：《技术写作的首要诀窍》
我自己写技术文章常用的有两个简单的结构：
1. 是什么？为什么？怎么办？
2. 提出问题；分析问题；解决问题。
IT技术
( www.ruanyifeng.com)

19天前 • 宝玉 • -- 点击 0 评论

IT技术

时政

时政

我再说一下这个“反共” 和 “支黑”的问题。在不反共上，王老师说可能不是共产党的问题，而是中国人的文化问题、习俗问题，这其实就是“支黑”，也是被王志安批评的大部分“支黑”的基本观点。 时政 ( twitter.com)

时政

从高善文和其他一些有见识、有能力的中国人的遭遇看，用电脑打个比方，中国是CPU出了问题，整个操作系统出了问题，所有的APP在上面都没法正常运转。 时政 ( twitter.com)

时政

时政

我再说一下王志安“反共” 和 “支黑”的问题。 在不反共上，王老师说可能不是共产党的问题，而是中国人的文化问题、习俗问题，这其实就是“支黑”，也是被王志安批评的大部分“支黑”的基本观点。 时政 ( twitter.com)

时政

suno4.5 生成的音乐，虽然还有很多瑕疵，但意思到了。 只需要输入主题，比如第一性原理，或诗词原文，让claude3.7写正负风格标记。 另外发现，豆包写中文歌词更押韵 IT技术 ( twitter.com)

IT技术

时政

阮一峰老师写过一篇文章：《技术写作的首要诀窍》 我自己写技术文章常用的有两个简单的结构： 1. 是什么？为什么？怎么办？ 2. 提出问题；分析问题；解决问题。 IT技术 ( www.ruanyifeng.com)

IT技术

创建一个新帐户

登录

我再说一下这个“反共” 和 “支黑”的问题。在不反共上，王老师说可能不是共产党的问题，而是中国人的文化问题、习俗问题，这其实就是“支黑”，也是被王志安批评的大部分“支黑”的基本观点。
时政
( twitter.com)

从高善文和其他一些有见识、有能力的中国人的遭遇看，用电脑打个比方，中国是CPU出了问题，整个操作系统出了问题，所有的APP在上面都没法正常运转。
时政
( twitter.com)

我再说一下王志安“反共” 和 “支黑”的问题。
在不反共上，王老师说可能不是共产党的问题，而是中国人的文化问题、习俗问题，这其实就是“支黑”，也是被王志安批评的大部分“支黑”的基本观点。
时政
( twitter.com)

suno4.5 生成的音乐，虽然还有很多瑕疵，但意思到了。
只需要输入主题，比如第一性原理，或诗词原文，让claude3.7写正负风格标记。
另外发现，豆包写中文歌词更押韵
IT技术
( twitter.com)

阮一峰老师写过一篇文章：《技术写作的首要诀窍》
我自己写技术文章常用的有两个简单的结构：
1. 是什么？为什么？怎么办？
2. 提出问题；分析问题；解决问题。
IT技术
( www.ruanyifeng.com)