直接在手机本地运行大语言模型！没想到这么快就实现了。“MLC LLM 是一种通用解决方案，允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone，电脑支持Ma…

发布时间: 2023-04-30 14:28:22

1分

数据加载中

关注推特

收听电报

直接在手机本地运行大语言模型！没想到这么快就实现了。
“MLC LLM 是一种通用解决方案，允许将任何语言模型本地部署在各种硬件后端和本地应用程序上，并提供一个可以进行模型优化的高效框架。”手机目前只支持iPhone，电脑支持Ma…
推特中文圈
( twitter.com )

2年前由 sundyme 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法”
大陆资讯
( wallstreetcn.com)

2年前 • 拉拉么 • -- 点击 0 评论

闪电预览

推荐阅读：把大语言模型封装成桌面应用
作者使用Electron+Transformer.js，把大语言模型打包成桌面应用，这样就可以本地运行大语言模型。
另外作者开发了一个框架叫ollama（ 2、Mistral等，但目前只支持Mac和Linux，还不支持Windows。…
IT技术
( github.com)

2年前 • 宝玉 • -- 点击 0 评论

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。
大陆资讯
( zhidx.com)

2年前 • 墙头看世界 • -- 点击 0 评论

闪电预览

推荐阅读：《深入了解大语言模型运维 (LLMOps) [译]》
这篇文章 5 月份的，但并没有过时，对于大语言模型的运维(LLMOps)讲的非常系统。
随着大语言模型的普及，未来的 Ops 肯定离不开 LLMOps ，甚至于需要专门的团队做 LLMOps。
文章中把 LLMOps 分成了几个关键步骤：
第 1 步：选择基础模型…
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

【Meta 开发了实时翻译闽南语的 AI】该模型目前仍在开发中，并且只适用于那类具有中间语言可以桥接两个不同语言的语言，如果两个语言之类没有密切相似的可桥接语言的话，将无法使用这个新模型，但该模型仍然为通用翻译开辟了更多的新语言。
大陆资讯
( www.oschina.net)

3年前 • 你妹的溢达 • -- 点击 0 评论

闪电预览

来自OpenAI的Safety团队的负责人Lilian Weng发表的新文章：《Adversarial Attacks on LLMs | 大语言模型遭受的对抗性攻击》
现在随着大语言模型的流行，针对大语言模型的攻击也日渐增多。她在文章中将针对大语言模型的攻击分成了5类：
1. Token 操纵
微调输入文本的少量…
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

没想到现在中国海警的日语已经这么好了，可以直接用日语和日本人吵架了（这发音比池袋99%的留学生都上手）——
时政
( twitter.com)

2年前 • 纵横日本 • -- 点击 • 下载视频 0 评论

MetaAI的MMS 模型在HF的demo地址：

🌍 支持超过1,000种语言。
🎙️ 1,107种语言的多语种自动语音识别模型、语音合成模型
🔍 4,017种语言的语种识别模型。
📉与Whisper相比，词错误率减少了一…
IT技术
( twitter.com)

2年前 • Jeffery Kaneda　金田達也 • -- 点击 0 评论

大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期7——用Transformer生成文本

#大型语言模型与生成式AI… …
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

推特中文圈

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法” 大陆资讯 ( wallstreetcn.com)

大陆资讯

IT技术

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。 大陆资讯 ( zhidx.com)

大陆资讯

IT技术

大陆资讯

IT技术

没想到现在中国海警的日语已经这么好了，可以直接用日语和日本人吵架了（这发音比池袋99%的留学生都上手）—— 时政 ( twitter.com)

时政

MetaAI的MMS 模型在HF的demo地址： 🌍 支持超过1,000种语言。 🎙️ 1,107种语言的多语种自动语音识别模型、语音合成模型 🔍 4,017种语言的语种识别模型。 📉与Whisper相比，词错误率减少了一… IT技术 ( twitter.com)

IT技术

大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期7——用Transformer生成文本 #大型语言模型与生成式AI… … IT技术 ( twitter.com)

IT技术

创建一个新帐户

登录

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法”
大陆资讯
( wallstreetcn.com)

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。
大陆资讯
( zhidx.com)

没想到现在中国海警的日语已经这么好了，可以直接用日语和日本人吵架了（这发音比池袋99%的留学生都上手）——
时政
( twitter.com)

MetaAI的MMS 模型在HF的demo地址：

🌍 支持超过1,000种语言。
🎙️ 1,107种语言的多语种自动语音识别模型、语音合成模型
🔍 4,017种语言的语种识别模型。
📉与Whisper相比，词错误率减少了一…
IT技术
( twitter.com)

大型语言模型与生成式AI——介绍LLM和生成式AI项目的生命周期7——用Transformer生成文本

#大型语言模型与生成式AI… …
IT技术
( twitter.com)