【论文阅读】Instruct GPT论文阅读

最新推荐文章于 2024-01-16 21:27:29 发布
最新推荐文章于 2024-01-16 21:27:29 发布
阅读量696 收藏 1
点赞数
分类专栏： 论文阅读 文章标签： 论文阅读 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjutkarma/article/details/129588277
版权

openAI给出chatGPT的四个功能

  1. fix code
  2. chatgpt是有道德的
  3. chatgpt是理解上下文的，8000字以内是可以联系上下文的
  4. chatgpt是理解自己的局限性

GPT可以支持多轮对话

一般openAI是先发模型和博客，再发论文

InstructGPT

发表在2022.3.4

训练语言模型，使他能预测你问的东西

标一点数据，然后再做一点微调

OpenAI Alignment openAI的联合项目 有两个team leader

摘要

把语言模型做大不是用户的本意，在AI模型的落地上，安全性和有效性是非常重要的。

语言模型的输出非常灵活，这也导致输出错误的概率会更大一些。

大家对创业公司（openAI）的容忍度会更大一些

把语音模型和人类意图做align，方法是把语言模型和人类反馈做微调

在openAI的API收集了很多问题，然后对模型做了微调

又收集了一些数据，收集了他一个问题的很多答案，做了一个排序的数据集，看哪个回答更好点

Introduction

问题、方法、结果

训练的目标函数和想要让他干的事情是不一样的，目标函数是按照预测下一个词是什么来做的，但是我们想让他干的事情是能够有帮助的无害的事情

方法：RLHF 强化学习 让模型来生成符合人偏好的答案

Step1

首先写了一堆问题，作为模型的输入的数据

让人来写答案

问题+答案，拼成一段话，用这些数据去训练GPT-3

SFT有监督的微调

训练出了第一个模型

Step2

给一个问题，给SFT生成答案

生成四个问题的答案

让人来标四个答案谁好谁坏，得到排序的标注

训练一个RM模型(rewarded model)

给prompt，给输出，并得到一个答案的分数

Step3

微调SFT

用RM的分数去微调SFT，使得他的参数更加可以得到比较高的分数

最后训练出来的模型就叫intruct GPT

工作人员觉得instructGPT的答案会比GPT3好很多

在某一个任务上做微调，在别的任务上的效果可能会下降

微调对数据还是比较敏感的

模型具有泛化性

模型还是会犯一些简单的错误

更像一个玩具，而不是一个工具

数据集

prompt的来源

  1. 标注人员去写了很多问题
  2. 让标注人员写一个指令
  3. 用户给提供了一些支持

训练了第一个instructGPT

放在他们的playground里，再把问题采集回来做了一些筛选

得到了更多的prompt，按照用户来划分，并把用户的个人信息过滤掉

Human-in-the-loop

数据集的use-case: Generation、openQA、brainstorming、classification、extract

scaleAI数据标注的公司，怎么样去挑人 Human data collection

长对话的判断都是比较模棱两可的任务

并且要同意对方的评测

数据标注有很多技术是可以借鉴的

训练

RM:pairwise排序损失

对9个答案排序，产生了36对排序的信息

有两两比较信息

RL

PPO目标函数+原始GPT3的目标函数

在强化学习里，模型叫Policy

环境会发生变化

学习一个人的排序来给一个实时的反馈

结论

给定一些标注数据，在一个大的语言模型上去训练

优化帮助性

小松不菜
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【论文阅读】InstructGPT: Training language models to follow instructions with human feedback
orangerfun的博客
03-22 6567
把语言模型变大并不意味着会让模型更好的理解用户意图，例如大的语言模型会生成一些不真实、有害的、没有帮助的输出给用户，换句话说，这些模型并没有和用户的意图对齐（aligned）。在这篇论文中我们展示了通过使用用户反馈来微调模型的方法，从而使得语言模型在一系列任务上与用户意图对齐。首先通过人工撰写和OpenAI API两种方式收集问题(prompts)，然后人工来写这些问题的答案，从而构建成一个数据集，再使用这些数据集对GPT3进行有监督的微调；
InstructGPT论文详解（学习ChatGPT必看论文）
大模型天花板
03-16 6720
这篇文章企图解决的问题：已有的大型语言模型（例如GPT3.5）并非模型越大越好。越大的模型仍然会生成假的、有害的、简单的和没有用的内容。简单的说，得不到用户想要的内容。解决方法：1.人工引导，使用监督学习。2.强化学习，人工帮助的情况下，训练一个模型，该模型会进一步引导GPT模型生成优质的结果。实验结果使用1.3B参数的模型对比GPT-3的1750B参数模型能取得更优的性能（即能生成更优，更有用，更安全，更无害的内容，调戏过ChatGPT的人应该更有体会）。
【论文学习】InstructGPT：Training language models to follow instructions with human feedback
weixin_50833696的博客
03-22 733
把语言模型做大并不会使它们更好地遵循人类的意图。由于语言模型的输出的灵活性，它们可能生成一些不真实的、有毒的或是对用户没有帮助的输出。也就是说模型并不能和用户站在同一边。在这篇论文里，研究者通过以人类的反馈对模型进行微调来使得模型能够遵循用户的意图。从标注的prompts和通过OpenAI API提交的prompts里，研究者收集了一个标注者的演示的数据集，演示内容是想要模型学习到的一些行为，然后用这个数据集对GPT-3做微调。
instructGPT论文精读
yaogepila的博客
07-09 420
instructGPT论文精读
十分钟读完 OpenAI提出InstructGPT模型的经典论文：Training language models to follow instructions with human feedback
夕小瑶科技说
01-16 1015
大型语言模型（LMs）虽然能够执行多种自然语言处理（NLP）任务，但它们并不总是能够很好地遵循用户的意图。例如，它们可能会产生不真实、有偏见、有毒或者简单地不遵循用户指令的输出。这是因为大型LMs的训练目标——预测互联网网页上的下一个词——与“有帮助且安全地遵循用户指令”的目标不同。因此，我们说这些模型与用户的目标不一致。对于部署在数百个应用中的语言模型来说，避免这些意外行为尤为重要。1. 与GPT-3相比，参数少100倍的InstructGPT模型更受青睐。
[论文阅读]InstructGPT(Training language models to follow instructions with human feedback)
Harry的博客
03-31 924
语言模型（language models）越大大并不意味着它能更好地理解用户的意图。例如，大型语言模型生成输出不真实、有毒或根本对用户没有帮助。换句话说，这些模型没有准确的理解用户想法。在此论文中，展示了一种有效的方法通过微调使语言模型与用户在各种任务上的意图保持一致与人类反馈。从一组的提示和提示开始通过 OpenAI API 提交，我们收集了已标记的范文数据集所需的模型行为，我们用它来使用有监督的方法来微调 GPT-3学习。
IEEE会议论文模板及版权书
08-06
首先，"instruct8.5x11x2(IEEE会议论文模板).doc" 是一个按照IEEE标准设计的Word 2003格式论文模板。这个模板提供了论文的基本结构和格式指南，包括标题页、摘要、关键词、引言、方法、结果、讨论、结论、参考文献等...
WizardCoder代码大语言模型论文研读+原理解析
08-03
《WizardCoder: Empowering Code Large Language Models with Evol-Instruct》代码大语言模型论文研读 Architecture：Decoder-Only Model Size：15B Evol-Instruct：1) Streamlined the evolutionary instructions ...
gpt3-instruct-sandbox:使用GPT-3 Instruct API的交互式Jupyter Notebook环境
03-06
gpt3-instruction-sandbox 使用GPT-3 Instruct API的交互式Jupyter Notebook环境描述该项目更新了现有的GPT-3沙盒项目（ ），以与OpenAI的Instruct API交互（仍处于beta状态，请通过加入候补列表） ）。 示例包括...
LLaVA Visual Instruct 150K is a set of GPT-generated multimodal
最新发布
06-30
LLaVA Visual Instruct 150K is a set of GPT-generated multimodal instruction-following data. It is constructed for visual instruction tuning and for building large multimodal towards GPT-4 vision/...
A comparison of comprehensive versus unit pretesting as related to student achievement
06-29
A comparison of comprehensive versus unit pretesting as related to student achievement A COMPARISON OF COMPREHENSIVE VERSUS UNIT PRETESTING ...and instruct the students in the course ob
ChatGPT的来源-InstructGPT论文简要介绍
qq_27565603的博客
02-14 6813
现在大火的ChatGPT功能十分强大，不仅可以回答用户问题，编写故事，甚至还可以写代码。ChatGPT跟OpenAI之前发表的InstructGPT使用的模型方法比较类似，只是训练的数据不同，为了探索ChatGPT的原理，笔者找来2022年3月发表的InstructGPT的论文，做了简要的介绍。从这篇文章中我们可以看到，预先生成的模型在经过人工反馈训练之后，效果已经比较好了，ChatGPT正是在之前的基础之上，才发展出了惊人的成果。
InstructGPT论文解读
sunghosts的专栏
06-23 835
上图可以看出InstructGPT(PPO-ptx)及变体（variant trained without pretraining mix）(PPO)显著优于GPT，1.3B的InstructGPT优于175B的GPT，SFT作为RLHF第一阶段的模型效果比GPT好。当然结果是由人来评价的。SFT: 对话数据微调基座语言模型，RM: 评分数据微调RM模型PPO: SFT模型生成答案，RM模型评分，PPO算法对SFT模型强化学习，进一步改进生成效果下图就是3个阶段。
InstructGPT 论文阅读笔记
beingstrong的博客
04-29 1605
InstructGPT 模型是在论文《Training language models to follow instructions with human feedback》被提出的，OpenAI在2022年1月发布了这篇文章， 本文是这篇论文的阅读笔记
InstructGPT论文笔记
weixin_46133588的博客
03-01 647
instructGPT论文笔记
ChatGPT理论分析
热门推荐
孙佰贵的专栏
12-08 5万+
ChatGPT让人看到了人类友好型对话的最先进水平，在此基础上将萌发出广泛的商业应用，它会渗透到各行各业。可能会让AI系统提前到来。本文做相应简单的原理介绍以及使用方法与相应惊艳的效果展示。
ChatGPT/InstructGPT论文（一）
flyingluohaipeng的博客
03-31 7824
ChatGPT的论文尚未放出，也不知道会不会有论文放出，但是根据公开资料显示，其训练方式，跟OpenAI之前的一个工作——InstructGPT基本无异，主要是训练数据上有小的差异，因此我们可以从InstructGPT的论文中，窥探ChatGPT强大的秘密。本文主要（粗略）解读一下InstructGPT的论文——Training language models to follow instructions with human feedback.
InstructGPT怎么准备和标记数据集
Harry的博客
05-01 1392
(2) RM 数据集，带有用于训练的模型输出的标签器排名 我们的 RM, RM 数据集有 33k 个训练提示（来自 API 和 labeler-written），对于 RM，回想一下，对于每个提示，我们收集了 K 个输出（从 4 到 9）的排名，并在所有的 }K} 上训练模型，所以我们训练模型的排名对的数量是一个顺序2个数量级大于提示的数量。最后，我们还在表 11 中报告了用于我们的 SFT 模型的承包商编写的演示的长度，包括承包商编写的和标签商编写的提示。他们收集的数据涵盖广泛的类别和用例。
Paper简读 - ChatGPT相关的InstructGPT
Mystra
02-03 3759
Step1: Collect demonstration data, and train a supervised policy. 收集示范数据，训练监督政策。Step2: Collect comparison data, and train a reward model. 收集对比数据，训练奖励模型。三个数据集：SFT Dataset (13k)、RM Dataset (33k)、PPO Dataset (31k)。模型具有泛化性，和先验知识，Few-shot，工具，可用性，正常的地方。
instruct gpt
08-20
InstructGPT是一种基于指示学习的语言模型。指示学习的优点是在经过多任务的微调后，能够在其他任务上做zero-shot，而提示学习则是针对一个任务的。相比于提示学习，指示学习具有更好的泛化能力。InstructGPT采用了GPT-3的网络结构，并通过指示学习构建训练样本来训练一个反应预测内容效果的奖励模型（RM），最后通过这个奖励模型的打分来指导强化学习模型的训练。InstructGPT的训练流程与ChatGPT类似，都依赖于一种名为RLHF（人类反馈强化学习）的训练方法。因此，InstructGPT与ChatGPT是一脉相承的，只是在一些细节上有所修改。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [ChatGPT/InstructGPT详解](https://blog.csdn.net/VucNdnrzk8iwX/article/details/128945676)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [InstructGPT 与 ChatGPT的学习与解读](https://blog.csdn.net/jxsdq/article/details/128653265)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值