OpenAI开放大模型微调功能！上传自己数据就可定制GPT-3.5Turbo，开发者狂喜-程序员宅基地

技术标签： gpt-3 人工智能

白交发自凹非寺
量子位 | 公众号 QbitAI

现在，GPT-3.5 Turbo支持自定义微调了！

只需上传自己的数据，就可以运行专属的定制大模型。

开发者狂喜！不少人惊呼：Awesome！

早期测试表明，经过微调的GPT-3.5 Turbo版本在某些任务中甚至可以超越GPT-4。

更新之余，OpenAI还直接明示了定价计划，微调费用主要分为初始训练费用和使用费用。

一个具有10万tokens训练数据集的微调工作（3个epoch训练）成本大概在2.40美元。

此外，OpenAI还透露了GPT-4微调将于今年秋天推出。

不过也有人不吃这套，吐槽微调成本太高，其生成成本是基础模型的8倍，必须要按照他们所说“将提示大小减小90%”，才能从中获取效益。

开发者自己进行监督微调

OpenAI首先给出了指南手册，微调可以用来改进这些模型性能。

可操纵性的改进，模型能够更好地遵循指令。比如输出简洁回答或始终以给定的语言响应。
一致的格式化响应，开发人员可用微调将用户提示转换为高质量JSON代码片段，随后用于自己的系统。
定制语气，微调可以更好磨炼模型输出的质感，比如语气，让它更适合企业品牌的声音。

除了提高性能之外，还能缩短提示时间，确保类似性能。另外，微调目前仅支持处理4000 tokens，这也是此前微调型号的两倍。16k tokens微调将于今年秋季推出。

早期测试人员通过对模型本身指令进行微调，加快了API调用还降低成本，让prompt减少了90%。

对函数调用结合和 gpt-3.5-turbo-16k的微调支持将在今年秋季晚些时候推出。

具体微调步骤，分为四步：

准备数据

{
  "messages": [
    { "role": "system", "content": "You are an assistant that occasionally misspells words" },
    { "role": "user", "content": "Tell me a story." },
    { "role": "assistant", "content": "One day a student went to schoool." }
  ]

上传文件

curl -https://api.openai.com/v1/files \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "purpose=fine-tune" \
  -F "file=@path_to_your_file"

创建微调作业

curl https://api.openai.com/v1/fine_tuning/jobs \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "training_file": "TRAINING_FILE_ID",
  "model": "gpt-3.5-turbo-0613",
}'

使用微调模型

curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "model": "ft:gpt-3.5-turbo:org_id",
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that occasionally misspells words"
    },
    {
      "role": "user",
      "content": "Hello! What is fine-tuning?"
    }
  ]
}'

OpenAI透露，未来他们将推出微调UI，这样轻松访问正在进行中的工作。

定价方面，分为训练成本和使用成本。

训练：0.008美元/1000 tokens；
使用输入：0.012美元/1000 tokens；
使用输出：0.016 美元/1000 tokens。

不过可以看到的是，价格确实比基础模型高了不少。

更新了GPT-3模型

与此同时，OpenAI还在API端口更新了GPT-3模型：babbage-002 和 davinci-002。

这些模型都可以用新的API端点进行微调。

原始基础模型 (ada, babbage, curie, 和 davinci)将于明年*（2024年）1月4日关闭。

好了，感兴趣的朋友可以开始定制自己的GPT-3.5Turbo了。

参考链接：
[1]https://openai.com/blog/gpt-3-5-turbo-fine-tuning-and-api-updates
[2]https://news.ycombinator.com/item?id=37227139

— 完 —

「量子位智库·仿生机器人沙龙」招募中

9月6日，「量子位智库·仿生机器人沙龙」将在北京中关村举办，欢迎全行业仿生机器人玩家参与 ~

点击图片了解详情，企业报名可联系活动负责人王琳玉（微信：iris_wang17，请备注企业+姓名）。沙龙观众通道后续开放，敬请期待 ~

点这里关注我，记得标星哦～

本文链接：https://blog.csdn.net/QbitAI/article/details/132463330

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

5个超厉害的资源搜索网站，每一款都可以让你的资源满满！_最全资源搜索引擎-程序员宅基地

文章浏览阅读1.6w次，点赞8次，收藏41次。生活中我们无时不刻不都要在网站搜索资源，但就是缺少一个趁手的资源搜索网站，如果有一个比较好的资源搜索网站可以帮助我们节省一大半时间！今天小编在这里为大家分享5款超厉害的资源搜索网站，每一款都可以让你的资源丰富精彩！网盘传奇一款最有效的网盘资源搜索网站你还在为找网站里面的资源而烦恼找不到什么合适的工具而烦恼吗？这款网站传奇网站汇聚了4853w个资源，并且它每一天都会持续更新资源；..._最全资源搜索引擎

Book类的设计(Java)_6-1 book类的设计java-程序员宅基地

文章浏览阅读4.5k次，点赞5次，收藏18次。阅读测试程序，设计一个Book类。函数接口定义：class Book{}该类有四个私有属性分别是书籍名称、价格、作者、出版年份，以及相应的set 与get方法；该类有一个含有四个参数的构造方法，这四个参数依次是书籍名称、价格、作者、出版年份。裁判测试程序样例：import java.util.*;public class Main { public static void main(String[] args) { List <Book>_6-1 book类的设计java

基于微信小程序的校园导航小程序设计与实现_校园导航微信小程序系统的设计与实现-程序员宅基地

文章浏览阅读613次，点赞28次，收藏27次。相比于以前的传统手工管理方式，智能化的管理方式可以大幅降低学校的运营人员成本，实现了校园导航的标准化、制度化、程序化的管理，有效地防止了校园导航的随意管理，提高了信息的处理速度和精确度，能够及时、准确地查询和修正建筑速看等信息。课题主要采用微信小程序、SpringBoot架构技术，前端以小程序页面呈现给学生，结合后台java语言使页面更加完善，后台使用MySQL数据库进行数据存储。微信小程序主要包括学生信息、校园简介、建筑速看、系统信息等功能，从而实现智能化的管理方式，提高工作效率。

有状态和无状态登录

传统上用户登陆状态会以 Session 的形式保存在服务器上，而 Session ID 则保存在前端的 Cookie 中；而使用 JWT 以后，用户的认证信息将会以 Token 的形式保存在前端，服务器不需要保存任何的用户状态，这也就是为什么 JWT 被称为无状态登陆的原因，无状态登陆最大的优势就是完美支持分布式部署，可以使用一个 Token 发送给不同的服务器，而所有的服务器都会返回同样的结果。有状态和无状态最大的区别就是服务端会不会保存客户端的信息。

九大角度全方位对比Android、iOS开发_ios 开发角度-程序员宅基地

文章浏览阅读784次。发表于10小时前| 2674次阅读| 来源TechCrunch| 19 条评论| 作者Jon EvansiOSAndroid应用开发产品编程语言JavaObjective-C摘要：即便Android市场份额已经超过80%，对于开发者来说，使用哪一个平台做开发仍然很难选择。本文从开发环境、配置、UX设计、语言、API、网络、分享、碎片化、发布等九个方面把Android和iOS_ios 开发角度

搜索引擎的发展历史

搜索引擎的发展历史可以追溯到20世纪90年代初，随着互联网的快速发展和信息量的急剧增加，人们开始感受到了获取和管理信息的挑战。这些阶段展示了搜索引擎在技术和商业模式上的不断演进，以满足用户对信息获取的不断增长的需求。

随便推点

控制对象的特性_控制对象特性-程序员宅基地

文章浏览阅读990次。对象特性是指控制对象的输出参数和输入参数之间的相互作用规律。放大系数K描述控制对象特性的静态特性参数。它的意义是：输出量的变化量和输入量的变化量之比。时间常数T当输入量发生变化后，所引起输出量变化的快慢。（动态参数） ..._控制对象特性

FRP搭建内网穿透(亲测有效)_locyanfrp-程序员宅基地

文章浏览阅读5.7w次，点赞50次，收藏276次。FRP搭建内网穿透1.概述：frp可以通过有公网IP的的服务器将内网的主机暴露给互联网，从而实现通过外网能直接访问到内网主机；frp有服务端和客户端，服务端需要装在有公网ip的服务器上，客户端装在内网主机上。2.简单的图解：3.准备工作：1.一个域名（www.test.xyz）2.一台有公网IP的服务器(阿里云、腾讯云等都行)3.一台内网主机4.下载frp，选择适合的版本下载解压如下：我这里服务器端和客户端都放在了/usr/local/frp/目录下4.执行命令# 服务器端给执_locyanfrp