ChatGPT技术、国产化尝试和开源模型

ChatGPT技术、国产化尝试和开源模型元语AI徐亮，自然语言大模型Model-as-a-Service服务商概览•

背景•

1.ChatGPT技术•

1）技术演进：GPT-->InstructGPT-->ChatGPT•

2)

存在什么样的问题？•

3）学习三阶段•

4）数据组织和效果评估•

2.国产化•

1）背景与问题•

2）解决思路•

3）效果与实践•

3.开源模型•

1）中文开源模型•

2）基于自有数据训练出本地模型•

3）可能的问题、差距和如何进一步提升效果背景•

ChatGPT:通用功能型助手•

2022年12月5日，OpenAI首席执行官SamAltman在社交媒体上发文称，ChatGPT推出五天，已突破100万用户•

AI聊天机器人ChatGPT爆火出圈！微软正洽谈100亿美元增持股份背景为什么这么受欢迎：1）更好的理解用户意图与生成能力---->更好的效果；2）便利的使用形式（对话机器人）----->人人都能使用ChatGPT技术：模型演进ChatGPT技术：之前的模型存在什么样的问题？•

对齐问题：大模型生成的响应不符合用户意图•

原因：语言模型训练的训练目标是预测下一个词，而不是按照用户意图来生成•

怎么解决：加入基于人类反馈的强化学习（RLHF）参考：InstructGPT,TraininglanguagemodelstofollowinstructionswithhumanfeedbackChatGPT技术：三步走1.真实用户输入的监督学习2.奖励函数，评价模型的生成效果

3.基于人类反馈的强化学习，生成更符合人类需要的内容ChatGPT技术：数据组织和效果评估•

冷启动：•

1）现有系统用户prompt；•

2）标注相似的prompt；•

3）标注人员自己想的prompt•

三部分数据（77K真实数据）：•

1.基于真实用户prompt的监督学习数据•

(用户prompt,模型response,13k)•

2.用于奖励模型训练的数据（一个prompt多个response的排序,33k）•

3.基于奖励模型使用强化学习进行训练（用户的prompt,31k）ChatGPT技术：数据组织和效果评估ChatGPT国产化：背景与问题•

背景与问题：1、ChatGPT效果虽好，但本身不对中国大陆服务2、本地化问题：可能不能满足国内企业级客户的需求，包括无法提供本地化技术支持与服务3、价格问题：以欧美为主要市场的美元计价国内多数用户可能承受不了。ChatGPT国产化：解决思路•

分步走：•

1）百亿参数的中文模型的预训练；•

2）亿级别任务数据上的监督学习（Prompt多任务学习）；•

3）对话化•

--------•

再，引入奖励模型和RLHF用户反馈的强化学习ChatGPT国产化：Prompt多任务学习相关工作：googleflan-t5,metaopt-iml全中文任务支持零样本学习模型(PromptCLUE)1.三大统一：统一模型、统一数据形式、统一使用方式；2.1000亿中文字词级别token无监督学习，亿级下游任务数据，累积学习1.5万亿中文字词级别token3.支持20多种任务上的零样本使用（文本理解类、抽取类、生成累任务）ChatGPT国产化：对话化•

移除了文本理解类和抽取类任务•

加强了问答、对话和生成类任务的学习•

上下文能力加强：针对多轮对话容易受到上下文的干扰，加入了抗干扰数据使得模型可以在必要时忽略无关的上下文；•

更好理解用户意图：加入了用户反馈数据的学习ChatGPT国产化：实践与效果与ChatGPT相比，我们还需要1-2年时间开源模型：功能型对话中文大模型（ChatYuan）扫码在线体验（小程序）：•

1.ChatYuan：元语功能型对话大模型（开源版，7.7亿参数）:•

项目地址：/clue-ai/ChatYuan•

huggingface/modelscope/github•

支持问答、多轮对话和各类生成任务•

2.ChatYuan:

通用功能型对话中文大模型（百亿参数，线上版）GithubHuggingfaceModelS开源模型：本地使用开源模型：基于自有数据训练出本地模型数据组织将数据组织成统一的格式，由两部分构成：输入(Input)和输出(Output)。针对单轮问答或生成：输入(Input):任务描述+输入文本（如：“用户：你好\n小元：”）输出(Output):系统需要预测的文本，如下图中"小元"后的内容。（如：“您好！我是元语AI...”）针对多轮对话：输入(Input):任务描述+上文+输入文本输出(Output):系统需要预测的文本，如下图中"小元"后的内容。开源模型：基于自有数据训练出本地模型微调模型(colab，见chatguan的github项目）pclue数据示例：{"input":"参考下面的段落，回答下列问题：段落：因吊钟的花朵通常在农历新年前后开花，故英文又名为ChineseNewYearFlower，意即中国新年花。。。。。。土壤肥沃含腐殖质及排水良好的土壤。可以使用播种、扦插法及压条法繁殖。问题：吊钟花如何进行繁殖？。答案：","target":"播种、扦插法及压条法","type":"mrc"}开源模型：差距、可能的问题和进一步提升效果•

差距：•

与ChatGPT差距还挺大，包括模型大小、学习到的数据量、•

基于真实用户反馈的强化学习•

可能的问题：•

开源模型，生成的效果和长短（输入格式是否正确、采样与否sample、输出长度的