前言这一章我们介绍如何降低指令数据集的人工标注成本这样每个人都可以构建自己的专属指令集, 哈哈当然我也在造数据集进行时~介绍两种方案SELF Instruct和Automatic Prompt Engineer前者是基于多样的种子指令利用大模型的上下文和指令理解能力以及生成的多样性来Bootstrap生成更多样的指令样本后者是prompt逆向工程基于输入和输出使用LLM来生成和挑选最优的prompt指令。于是我把这两个方法强行组了CP用APE把原始任务转化成种子指令再用SELF去扩充在医学和金融NLP任务上进行了尝试。也在huggingface上用gradio做成了可视化的应用, 有API Key的盆友可以自己尝试下效果https://huggingface.co/spaces/xl2533/MakeInstruction 记得fork到自己的space再尝试哟~Automatic Prompt Engineer(APE)paper: 2023.3, LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERSgithub: https://github.com/keirp/automatic_prompt_engineer一语道破天机: prompt逆向工程根据输入和输出让模型生成并寻找更优的prompt指令生成这里作者基于原始的输入输出部分样本只有输出例如自由生成类的任务来让大模型预测原始指令是什么。作者把指令生成的模板分成了3类不过个人感觉其实只要一类即可就是few-shot样本在前待生成的指令在最后的向前生成类型如下图原始论文使用的是text-davinci-002来完成这个指令生成的任务每个样本使用5条few-shot样例作为上下文让模型输出可能的指令。这里我把生成指令的模型改成了ChatGPT(只是因为便宜)prompt模板也根据ChatGPT的特点做了调整。核心是ChatGPT作为对话模型比davinci-002003废话要多。如果还按上面的指令来写你可能会得到ChatGPT的回答是我认为这个朋友收到的指令时blablabla…在实际测试中我还发现了几个有意思的点对于相对抽象偏生成类的任务few-shot样本要给够模型才有可能猜到’无偏’的指令例如相似新闻标题生成任务我输入了2条样本作为few-shot如下模型预测“将输入中的公司或组织名称规范化为全称”我又采样了两条样本如下模型预测“将公司公告或新闻标题简化成简短的标题包括公司名称和主要内容”哈哈预测的指令确实都没毛病只不过都是相似新闻标题生成的子集所以你需要根据任务输入输出的多样性程度来调整你的few-shot样本数多样性越高你需要的few-shot样例越多构建指令样本说人话很重要例如我把以上的相似标题生成任务简化成了判断两个标题是否描述同一事件的分类任务。最初我的输入如下。看起来也没毛病是不是然模型的预测是“我无法确定这个任务指令的具体内容但它可能与文本分类或者自然语言处理相关。给出输入文本需要判断该文本是否符合某种特定的模式或标准从而得出输出结果”但是当我把样本中的输出改成符合任务语意的相同/不相同时模型预测是“判断两个新闻标题是否相同如果相同输出相同”否则输出不相同当然考虑生成模型解码的随机性我在第一类样本构建上多次采样也得到了类似相似度判断的指令但整体效果都差于下面的构建方式所以和MRC构建很相似一切以符合语意为第一标准不要你以为要模型以为最初我对这种机器生成指令的方式是不太感冒的但是在医学术语标准化这个任务上我对比了APE得到的最优指令和我人工写的指令在单测时确实是模型指令得到正确答案的概率更高。所以我大胆猜测因为模型之间的一致性所以合理使用模型生成的指令能提供更精准的上下文任务描述且理论上都应该不差于人类指令。指令打分这里作者使用了两种打分方式来评估多组样本生成的多个候选指令的优劣Accuracy使用模型预测的正确率例如对于QA问题根据不同指令在相同样本上模型回答的准确率来评价指令的效果。Log Probability使用模型预测的logprobs作为评价指标。注意这个指标有些tricky我最初认为和上面的Accuracy一样是让模型去预测把预测正确的token的logprobs求和。后来发现是把输入输出指令都喂给模型计算模型生成原始输出的概率很好解决了生成类任务解码随机不同指令无法比较的问题。如何调openai接口获取输入的logprobs把echoTrue,logprobs1, 就能返回所有采样token的logprobslogprobs取值对应TopN的返回openai最多只给你返回Top5 token包括实际被采样的token。max_tokens0, 不让模型生成新的文本就可以让模型原样返回我们喂进去的输入,以及对应的模型计算的每个token的条件概率啦同时作者加入了随机搜索既对模型生成的指令过滤低分的部分对于高分的指令集让模型基于以下指令模板为高分指令生成相似的指令和原始生成的指令一起排序选出最优指令。这块实现时我把相似指令的部分拿掉了改成人工加入针对得到的高分指令补充上自己认为缺少核心的信息后使用log prob的打分方式来评估是否有提升。所以应用里我把Generated Prompt的窗口改成了可交互的可以直接对生成的指令做修改再Eval效果即可。例如在医疗搜索意图的任务上很明显模型无法理解多问标签是啥意思所以最初多组样本得到的最优指令是下图的第二个而我人工加入多问的指令后得到了效果更好的第一个指令效果这里作者使用了REF[1]里面使用的24个指令任务每类任务挑选5对样本使用以上的方案得到最优的指令再在剩余样本上和人工指令以及REF[1]论文中使用的方案没有搜索和打分排序的APE以下称为greedy进行效果对比。APE的效果在24个任务上基本可以打平人工模板甚至在部分任务上还要超越人工指令。在BigBench这类难度更高的样本上APE在17(共21)个任务上也超越了人工指令的效果。我在4个医学数据集上APE人工优化得到的最优指令如下任务指令搜索意图生成医学相关问题的答案。给定一个输入问题需要根据问题生成相应的输出答案。答案包括临床表现、病因、治疗方法、作用、定义等等如果有多个问题返回多问医疗术语标准化将医学手术名称的术语表述标准化。输入是医学手术的名称输出是对该手术的名称进行修正、标准化以供医学专业人员更好地理解医疗药物功能实体抽取给定药品信息和用途说明根据用途说明提取出药品的主治功能。医疗文献QA生成训练一个问答系统给定一些医学文本能够回答用户提问关于该文本内容的问题。每个输入-输出对是一组文本和对应的问题及答案。输出的形式是以下Json格式{“问题”:\(问题, “回答”:\)回答}以医学术语标准化为例我简化了APE提供的gradio应用效果如下SELF-Instructpaper: 2022.12, SELF-INSTRUCT: Aligning Language Modelwith Self Generated Instructionshttps://github.com/yizhongw/self-instructhttps://github.com/tatsu-lab/stanford_alpaca#data-generation-process一语道破天机类似非线性插值通过LLM的生成多样性做Bootstrap对种子指令集进行不定向扩充上一步我们依赖APE得到了种子指令集但是丰富度和多样性是远远不够的。这里SELF提出了一种Bootstrap方案来让LLM基于种子指令生成新的指令的指令扩充方案。这个方案也后续被用于Alpaca项目中生成微调指令集主要包括以下3个步骤1. 新指令生成首先作者人工构建了175个种子指令这些种子指令由1条指令和1个样本构成。每个Step作者会从中采样8个指令其中6个来自以上种子2个来自LLM生成的指令当然step1全部都是种子指令。然后基于如下的prompt模板构建模型输入 Come up with a series of tasks: Task 1: {instruction for existing task 1} Task 2: {instruction for existing task 2} Task 3: {instruction for existing task 3} Task 4: {instruction for existing task 4} Task 5: {instruction for existing task 5} Task 6: {instruction for existing task 6} Task 7: {instruction for existing task 7} Task 8: {instruction for existing task 8} Task 9: 如果你看着这个模板感觉和ChatGPT的模板格格不入那就对了。因为作者是基于GPT3实现的就是那个天真的续写模型。而Alpaca项目在使用SELF构建指令样本时升级到了davinci-003模型因为模型可以更好的理解指令因此以上纯few-shot的prompt模板也改成了如下(用ChatGPT翻成了中文)同时输入的few-shot数量缩减到了3个 你需要想出20个不同的任务指令。这些任务指令将输入GPT模型我们将评估GPT模型完成指令的情况。 以下是要求 1. 尽量不要在每个指令中重复使用动词以最大化多样性 2. 指令的表达形式需要多样化。例如你可以把问题和祈使句结合起来 3. 指令的类型应该多样化包括但不限于开放式生成、分类、抽取、问答、文本编辑等等 4. 指令应该是GPT模型可以完成的任务。例如指令不能是输出图像或者视频另一个例子不要让助手在下午5点叫醒你或设置提醒因为GPT不能执行任何动作 5. 指令必须是中文 6. 指令应该是1到2句话可以是祈使句或问句。 20个任务的列表 我第一遍读完SELF是一脑门子问号后来我似乎努力说服了自己就是LLM做了类似非线性差值的工作因为每个Step都会采样不同的指令作为上下文而模型也会根据随机采样得到的不同的上下文融合出新的指令。2. 样本生成只有指令还不够还需要生成指令对应的输入和输出。在SELF原论文中作者多加了一步分类任务也就是让LLM先判断指令本身是否为分类任务如果是则先生成输出再生成输入。如果否则先生成输入再生成输出。原因是作者发现对于分类任务模型倾向于只生成其中一个标签的输入。但在Alpaca项目中因为模型升级到Davinci-003以上问题也似乎不再显著。并且随着模型输入长度变长Alpaca直接把生成样本和生成指令的步骤合在了一起一步到位。于是以上指令生成的模板被扩充成了以下 7. 你应该为指令生成一个合适的输入。输入字段应该包含为指令提供的一个具体示例。它应该涉及真实的数据而不应该包含简单的占位符。输入应该提供足够的内容使指令具有挑战性但理想情况下不应超过100个单词。 8. 不是所有的指令都需要输入。例如当一个指令询问一些一般信息时“世界上最高的山峰是什么”就不需要提供具体的上下文。在这种情况下我们只需在输入字段中放置“无输入”。 9. 输出应该是对指令和输入的合适回应。确保输出少于100个单词。 20个任务的列表 于是每一步其实是直接生成指令以及指令对应的输入和输出样本。对于自由生成类的任务也支持没有输入只有输出。3. 过滤和后处理针对以上生成的指令和样本还需要进行一些系列的后处理主要包括模型预测解析不合理指令的过滤以及相似指令的过滤解析的部分建议直接看代码不可用指令过滤因为输出长度被截断的指令response停止原因是length则过滤最后一个指令过滤包含不可用关键词的指令例如图片音频等GPT模型无法完成的任务过滤过长过短的指令过滤指令前几个字非英文/中文的指令相似指令过滤为了保证指令集的多样性每轮都会计算新生成指令和已有指令的Rouge-L相似度也就是摘要任务评估中用最长公共子串的长度计算的F值。只保留F值小于0.7的新的指令。同时也可以根据最近几轮生成指令的整体相似度来判断是否要停止生成。我用上面APE生成的4个医学NLP任务作为种子指令集每轮采样2个人工1个机器指令作为few-shot生成2个新的指令任务。我对以上指令做了些调整限制只生成医学领域的任务得到了如下的结果。哈哈我决定去给账户充钱了。。。最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案五、面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】