昨天尝试微调了一下4o-mini，总结如下：- 训练成本还是有点高了，$3/M - 简单试了一下，共消耗了19M token，减去2M 免费额度，计费17M token，$50；不太敢敞开了调超参数...- Max step 判定有bug，看规划需要118个step，但是一直训练到186 步才结束，导致overfit了；-

发布时间: 2024-07-25 23:30:12

1分

数据加载中

关注推特

收听电报

昨天尝试微调了一下4o-mini，总结如下：
- 训练成本还是有点高了，$3/M - 简单试了一下，共消耗了19M token，减去2M 免费额度，计费17M token，$50；不太敢敞开了调超参数...
- Max step 判定有bug，看规划需要118个step，但是一直训练到186 步才结束，导致overfit了；
-
时政
( twitter.com )

1年前由 Simon 提交

昨天尝试微调了一下4o-mini，总结如下：

训练成本还是有点高了，$3/M
- 简单试了一下，共消耗了19M token，减去2M 免费额度，计费17M token，$50；不太敢敞开了调超参数...
Max step 判定有bug，看规划需要118个step，但是一直训练到186 步才结束，导致overfit了；
中间保留了几个checkpoints，效果比3.5/babbage微调要好；

接下来试试llama 3.1 8b，如果效果一样，还是用开源训练成本低～

Markdown支持

评论加载中...

您可能感兴趣的：更多

GitHub Copilot 的代码自动完成（输入代码后灰色的提示部分）终于从 GPT-3.5 换到了微调后的 GPT-4o mini 模型，也就是 GPT-4o Copilot 模型，这个新模型基于 GPT-4o mini，额外训练了超过 275,000 个高质量的公共代码库，覆盖 30 多种主流编程语言。
不过要 VS Code
IT技术
( twitter.com)

10个月前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:00:12

关键在于，GPT-4o-mini 是真便宜啊😂
时政
( twitter.com)

1年前 • Wang Shuyi • -- 点击 0 评论

chatgpt 的降智识别和解决，简要写一下：
# 降智的定义
所谓的降智，并不是model 本身问题，而是openai 会根据使用者偷偷更换chatgpt底层调用的model，前端没有任何提示或显示，例如
o1-pro 变 o1
o1 变 gpt-4o
gpt-4o 变 gpt-4o-mini
等情况
# 降智的识别
主要针对 o1-pro
1.
时政
( twitter.com)

10个月前 • LotusDecoder • -- 点击 0 评论

《狮兄今日小总结之5月16》
昨天尝试了一下当日机会小总结，看起来效果还可以，比如关于冒险岛的大热，那我就尽量坚持一下。
这个栏目主要用来总结当天可能出现的各种机会，或者我关心的项目进展，如果有你们觉得不错的项目或者机会可以评论区发我，好的话我也可以加入未来的观察列表。
btc
( twitter.com)

7个月前 • 土澳大狮兄BroLeon • -- 点击 0 评论

OpenAI气数已尽，Altman不干实事
看今天发的GPT-4.1，我感觉OpenAI大概率气数已尽了。高端打不过Gemini和Claude，nano估计也打不过Gemini Flash（看得分就不如4o-mini），只敢跟两年前的4o比，但还不能替换4o，因为不是多模态的。
时政
( twitter.com)

8个月前 • WY • -- 点击 0 评论

一个基于GPT-4o-mini 的PDF OCR工具：Zerox
Zerox先将PDF 文件转换成图像，再由GPT-4o-mini识别并输出Markdown，最后将所有页面对应的 Markdown 结果汇总在一起形成完整的Markdown 文档
支持零样本 OCR、精度高、提供API接口；可以处理包含表格、图表等复杂布局文件，支持多种格式，包括扫描版
时政
( twitter.com)

1年前 • AIGCLINK • -- 点击 0 评论

如果没有被灰度到 gpt-4o，可以试试这个 URL：
时政
( chatgpt.com)

1年前 • 𝙋𝙖𝙨𝙨𝙡𝙪𝙤 • -- 点击 0 评论

OpenAI 终于开放了 GPT-3.5 的微调的API，如果嫌开源模型不够好用，又舍得花钱的话，真的是个好的选择。

花了点时间研究了一下官方的文档和Cookie Book，帮大家总结一下微调的一些常见问题。

1. 什么是微调（Fine-tuning）？…
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

尝试复刻了下，效果和提示词如下
时政
( twitter.com)

8个月前 • dangjin • -- 点击 • 下载视频 0 评论

00:00:05

时政

IT技术

关键在于，GPT-4o-mini 是真便宜啊😂 时政 ( twitter.com)

时政

时政

btc

时政

时政

如果没有被灰度到 gpt-4o，可以试试这个 URL： 时政 ( chatgpt.com)

时政

IT技术

尝试复刻了下，效果和提示词如下 时政 ( twitter.com)

时政

创建一个新帐户

登录

关键在于，GPT-4o-mini 是真便宜啊😂
时政
( twitter.com)

如果没有被灰度到 gpt-4o，可以试试这个 URL：
时政
( chatgpt.com)

尝试复刻了下，效果和提示词如下
时政
( twitter.com)