ChatGPT行业专题报告：ChatGPT不断突破AI驶入快车道

ChatGPT行业专题报告：ChatGPT不断突破，AI驶入快车道1、ChatGPT：AIGC现象级应用，商业化落地打开成长空间ChatGPT是AIGC领域现象级应用。ChatGPT是美国AI公司OpenAI于2022年11月30日发布的通用型对话系统，可以通过模拟对话的形式完成编程、问答、文本生成等任务。ChatGPT的持续火热，成为AIGC领域现象级应用，为后续商业化和应用落地打开广阔空间，也为以自然语言处理为核心的认知智能技术提供广阔发展机遇。英伟达CEO黄仁勋表示“ChatGPT相当于AI界的iPhone问世”。ChatGPT在多项测试中超过人类。2022年，包括ChatGPT在内的许多大模型的测试表现已经超出人类。目前ChatGPT已经通过SAT考试、商学院考试、美国律师资格、注册会计师、医师资格等高难度考试，IQ测试达83，已经具备取代无意义重复性工作的能力，在专业领域也具有辅助决策的潜力。ChatGPT上线后热度持续提升，已超过TikTok成为活跃用户增长最快的产品。ChatGPT发布一周用户数就突破100万人，月访问量达2100万人次。目前ChatGPT尚未披露具体的日活用户数，根据ARK数据，截至2023年1月，预计ChatGPT全球日活用户超过1000万人。ChatGPT商业化已经落地，未来成长空间广阔。面向B端，ChatGPT可以开放接口对外输出服务，如与微软Bing的结合；面向C端，2023年2月，ChatGPT已推出收费的Plus版本，月度费用为20美元/月,并表示未来或将探索价格更低的订阅方案、2B的商业方案以及数据包等选项。根据OpenAI预测，2023年将实现收入2亿美元，2024年将超过10亿美元，未来成长空间广阔。2、大模型+大数据+高算力，ChatGPT不断突破2.1、预训练大模型：GPT大模型多次迭代，训练结果持续优化ChatGPT是以Transformer为基础的预训练模型。GPT的全称为GenerativePre-TrainedTransformer，即生成式预训练Transfomer模型。预训练模型是指通过挖掘利用大规模无标注数据，学习数据中的知识与规律，然后针对特定任务，通过微调、手工调参等阶段，进入到可以大规模、可复制的大工业落地阶段。Transformer模型来自谷歌2017年发表的论文《Attentionisallyouneed》，是一种采用自注意力机制的深度学习模型，模型按照输入数据各部分的重要性的不同而分配不同的权重。Transformer的优势在于：（1）采用并行训练，大幅提高了训练效率；（2）在分析预测更长的文本时,对间隔较长的语义具有更好的关联效果。GPT大模型经过多次迭代，参数量大幅提升。谷歌发表Transformer论文后的第二年（即2018年），OpenAI推出基于Transformer的第一代GPT模型，随后陆续推出GPT-2、GPT-3、InstructGPT等版本，GPT模型持续迭代。OpenAI于2020年5月推出第三代GPT-3模型，参数量达1750亿，较上一代GPT-2（参数量15亿）提升了两个数量级，是微软同年2月推出的T-NLG模型（参数量170亿）的10倍，成为当时最大的预训练语言模型。GPT-3系列已经发展出50多种模型。GPT-3模型推出后，已陆续发展出面向不同场景的模型。除ChatGPT外，GPT-3系列中比较流行的还有CodeX（代码生成）、DALL-E（图片生成）等。CodeX经过自然语言和几十亿行代码的训练，可以完成Python、JavaScript等十几种语言的代码任务。DALL-E于2021年5月推出，可以根据文字描述生成图像和艺术作品，收费价格为0.016-0.020美元/图。ChatGPT由GPT-3微调而来，模型更小，专注于聊天场景。对比来看，GPT-3是一种大型通用语言模型，可以处理各种语言处理任务，ChatGPT是一个较小的专用模型，专为聊天应用程序设计。ChatGPT训练包括三个步骤：（1）预训练一个语言模型(LM)；（2）聚合问答数据并训练一个奖励模型(RewardModel，RM)；（3）用强化学习(RL)方式微调LM。此外，因为引入了代码作为训练语料，ChatGPT还额外产生了自动写代码和理解代码的能力。ChatGPT通过RLHF优化训练结果。ChatGPT基于人类反馈强化学习（RLHF），通过众包团队大规模开展生成结果好坏的人工标注，经过多次迭代，使得大模型生成结果更加无偏见和符合人类预期，实现了“智慧涌现”的效果。InstructGPT相比GPT-3：（1）更符合人类偏好。InstructGPT是在GPT-3微调而来，经过人类反馈强化学习后，InstructGPT相比GPT-3，在71%-88%的情况下更符合人类偏好。（2）真实性显著提升。在TruthfulQA测试中，InstructGPT生成真实信息的频率较GPT-3提升约一倍（0.413vs0.224）。（3）在生成有毒信息方面略有改善。在RealToxicity测试中，InstructGPT生成有毒信息的情况（包含仇恨、歧视或谣言的信息）较GPT-3略有改善（0.196vs0.233）。ChatGPT相比InstructGPT：在有效性和无害性方面有所提升。比如在“哥伦布如何在2015年来到美国？”，ChatGPT会回答“哥伦布在1506年去世，所以他不能在2015年到达美国”，相比InstructGPT的回答更加合理。在“如何欺负JohnDoe？”的问题上，InstructGPT会给出建议，ChatGPT则会指出欺负人是不对的。2.2、数据：数据量提升显著优化大模型表现ChatGPT数据主要来自CommonCrawl、新闻、帖子、书籍及各种网页。CommonCrawl、网页、书籍、维基百科对于训练的贡献量分别为60%、22%、16%、3%。英文维基百科全部内容包含约30亿tokens，仅占到训练数据量的3%。CommonCrawl是一个由网络爬取产生的大型免费语料库，数据规模达PB级。CommonCrawl（CC）是一个从网络抓取数据并免费开放的非盈利组织，数据库包含了2008年以来的原始网页、元数据和抓取文本，数据规模达PB级别，其中英文数据占比约45%，中文数据占比约5%。CC数据库的应用场景包括训练NLP模型、网络抓取和机器学习等，CC数据库对于AI的意义堪比Google对于互联网的意义，重点研究实验室一般会选取纯英文过滤版（C4）作为数据集。ChatGPT的优秀表现得益于预训练数据量大幅提升。GPT-3和GPT-2采用了相同的架构，在模型上没有大幅修改，仅用更多的数据量、参数量去进行训练。GPT-2的预训练数据规模约40GB，约有100亿个tokens；GPT-3的预训练数据是由45TB的原始语料清洗而来，数据规模达570GB，约有4900亿个tokens。GPT-2模型参数量为15亿，GPT-3参数量为1750亿。由于容量和参数量的的大幅提升，GPT-3的准确性也得到大幅提升，已经可以生成高质量文本，让人难以确定是否是人写的。ChatGPT局限：（1）ChatGPT的知识有限。ChatGPT的预训练数据库只更新至2021年，无法进行联网更新，因此不能理解和回答2021年之后发生的事情；（2）真实性无法保障。ChatGPT的部分训练是基于从互联网上搜集的数据，因此它的输出结果经常受到偏见和不准确信息的影响，无法保证真实性。2.3、算力：微软是独家云计算供应商，预计每月成本近千万美元微软AzureAI是ChatGPT独家云计算供应商。根据OpenAI于2018年的统计，自2012年以来，AI训练任务所运用的算力每3.43个月就会翻倍，算力需求每年长10倍。ChatGPT训练的硬件为超级计算机，2019年，微软向OpenAI投资10亿美元，双方将共同开发AzureAI超算技术，微软也成为OpenAI独家云计算供应商。OpenAI提供训练的超级计算机拥有约285,000个CPU内核、约10,000个GPU，每个GPU服务器拥有约400GB/s的网路连接速度。预计ChatGPT每月成本约为900万美元。根据OpenAI的CEOSamAltman在Twitter上透露，ChatGPT每次聊天成本约为几美分（single-digitscentsperchat），其中一部分来自Azure云服务。我们假设ChatGPT日活用户为1000万人，每次完整对话的成本为3美分，可测算得ChatGPT每日成本约为30万美元，月度成本约为900万美元。3、技术、产业、政策共振，AIGC迎加速发展AI技术持续突破创新，引领AIGC产业发展。（1）算法模型方面：2014年以来，GAN、Transformer、Flow-basedmodels、Diffusionmodels等深度学习生成算法持续涌现，在自然语言处理（NLP）、计算机视觉（CV）等领域持续应用。比如谷歌的BERT和LaMDA、OpenAI的GPT-3预训练模型均基于Transformer模型而来，为后续ChatGPT等应用的落地奠定基础。（2）预训练模型方面：2018年，谷歌推出自然语言预训练模型BERT，AI进入预训练大模型时代。相比之前的生成模型，预训练模型通过大数据和巨量参数的训练，生成质量显著提升，满足下游场景对高精度、高质量的要求，成为了AI技术发展的范式变革，引发了AIGC产业的质变。在自然语言处理领域，大模型的自然语言理解能力超越了人类，并且体现出了超强的通用AI能力。在计算机视觉领域，预训练大模型的效果也超越了之前的监督学习方法，在视觉分类、图像分割等任务中取得了很大提升，且表现出了强大的图像理解能力。（3）多模态技术方面：多模态技术是指将图像、声音、文字等多类型内容融合学习，比如将“人”这一文本与人的图片联系在一起。从单模态向多模态的发展，丰富了AIGC的内容，使AIGC应用更具有通用性，在视觉问答、视觉推理等任务中取得了非常好的效果。比如OpenAIDALL-E和百度的文心ERNIEViLG，根据用户输入的文字即可生成出图片。AIGC产业生态持续完善，已经进入产业落地的关键期。AIGC产业链包括底层的芯片和数据服务支撑、基础算法平台以及下游的行业应用。（1）基础算法平台方面，预训练大模型需要高成本和技术投入，具有较高的技术门槛，行业参与者主要为头部科技企业和科研机构等，以及一些垂直场景的公司。（2）下游的行业应用方面，大模型的落地痛点在于成本高昂的通用大模型与下游垂直应用场景需求的不匹配。随着ChatGPT热度持续提升以及大厂的持续投入，有望直接刺激下游付费意愿提升，进一步加速AIGC应用落地和商业变现，AIGC产业迎来发展良机。政策支持落地，AIGC有望迎来加速发展。2月13日，北京市经信局表示：“支持头部企业打造对标ChatGPT的大模型，着力构建开源框架和通用大模型的应用生态。加强人工智能算力基础设施布局。加速人工智能基础数据供给。支持人工智能优势企业在自动驾驶、智能制造、智慧城市等优势领域开展创新应用，全面构筑人工智能场景创新高地”。北京经信局明确表示支持头部企业打造对标ChatGPT的大模型，支持算力、数据、应用等相关产业协同发展，AIGC行业从市场关注上升至政策支持层面。预计2030年AIGC市场规模将达1100亿美元。根据腾讯研究院发布的AIGC发展趋势报告，AIGC在AI技术创新（生成算法、预训练模型、多模态技术等）和产业生态（三层生态体系雏形已现）的支持下，有望步入发展快车道，预计2030年AIGC市场规模将达1100亿美元。4、巨头积极布局，产业落地加速4.1、微软：产品全线整合ChatGPT，想象空间广阔微软与OpenAI持续深度合作，是其独家云服务供应商。2019年7月，微软对OpenAI投资10亿美元，OpenAI将服务移植在MicrosoftAzure上运行，微软将成为OpenAI新技术商业化的首选合作伙伴。2020年9月，微软获得OpenAI的GPT-3模型独家授权，OpenAI将继续向公众提供API，只有微软可以访问GPT-3的底层代码，并可以根据需要嵌入或修改模型。2023年1月，微软AzureOpenAI服务对外发布，企业客户可以申请访问OpenAI旗下GPT-3.5、Codex和DALL·E2模型。微软计划将ChatGPT整合进所有产品。2023年2月2日，微软宣布旗下所有产品将全线整合ChatGPT，进一步加大与ChatGPT合作。2023年2月7日，微软推出引入ChatGPT技术的搜索引擎NewBing和浏览器Edge。新Bing搜索栏升级为“向我提问吧”的对话框，用户提出问题后，搜索引擎可以自动抓取关键内容并生成回答。ChatGPT与搜索结合可改善搜索体验。ChatGPT的对话模式对于用户更有吸引力，由于训练数据有限，同时真实性也无法得到保障，尚不具备替代搜索引擎的能力。ChatGPT与搜索结合，则可以结合搜索和聊天的有点，大幅改善搜索体验。根据微软的调研显示，71%的用户对ChatGPT版Bing满意，搜索与AI技术协同作用显著。根据Statista数据，截至2022年12月，Google、Bing在搜索领域的市场份额分别为84.08%、8.95%，微软推出结合ChatGPT版新Bing，具备先发优势，未来市场份额有望提升。4.2、谷歌：推出对标产品Bard，或将与微软正面竞争2018年，谷歌推出自然语言预训练模型BERT。BERT（BidirectionalEncoderRepresentationsfromTransformers）和ChatGPT同样以Transformers为基础模型，BERT采用双向编码器表示技术，在理解上下文方面有更好的表现。数据方面，BERT训练数据采用了开源语料BooksCropus以及英文维基百科数据，共有约33亿个词。参数方面，基础版本（base）参数量为1.1亿，大号版本（large）参数量达3.4亿。训练方面，大号版本BERT一次训练需要16个TPU集群（约64TPU）训练5天。谷歌已将BERT模型用于改善搜索。BERT模型可以借助某个单词前后的词来考虑其所处的完整语境，应用于搜索引擎后，更好的理解用户搜索意图。2019年，谷歌宣布将BERT模型应用于用于英文搜索，随后又拓展至70余种语言，2020年谷歌表示几乎所有英文搜索应用了BERT模型。2023年2月，谷歌推出对标ChatGPT的对话机器人Bard。根据谷歌介绍，Bard是由LaMDA提供支持的全新实验性对话谷歌AI服务，寻求将世界知识的广度与谷歌大型语言模型的力量、智慧和创造力相结合。它利用来自网络的信息提供最新、高质量的回复。Bard基于谷歌LaMDA模型，表现已接近人类水平。LaMDA同样以transformer模型为基础，预训练数据库由1.56万亿个单词的文档和对话构成，参数量最高达1370亿，是GPT-3的7.8倍。根据谷歌的测试，经过微调后，LaMDA已经在多个维度接近人类水平。目前谷歌聊天机器人Bard仍处于内测阶段，尚未对外开放。未来谷歌AI技术将率先应用于搜索业务。在AI领域，谷歌已有LaMDA、PaLM、Imagen、MusicLM等技术储备，涵盖语言、图像、视频和音频领域，未来将陆续整合进公司旗下产品。谷歌表示，AI技术将率先应用于搜索业务，自动提炼搜索结果便于了解全局。目前微软已经推出整合ChatGPT版本的搜索引擎NewBing，未来或将与谷歌展开正面竞争。4.3、百度：AI领域全栈布局，文心一言生态持续扩大百度是国内最有实力推出对标ChatGPT产品的厂商之一。百度在AI领域深耕数十年，在包括底层的芯片、深度学习框架、大模型以及最上层的搜索等应用人工智能四层架构中已形成全栈布局，拥有产业级知识增强文心大模型，具备跨模态、跨语言的深度语义理解与生成能力。（1）芯片：百度自研AI芯片昆仑芯2单卡算力达128TFLOPS。2018年，百度在AI开发者大会上发布自主研发中国首款云端全功能AI芯片“昆仑芯”。2021年8月，百度第二代昆仑芯开始量产，昆仑芯2基于7nm制程，单卡算力达到128TFLOPS，较第一代性能提升2-3倍，可应用于计算机视觉、自然语言处理、大规模语音识别、大规模推荐等场景。第三代昆仑芯3将采用4nm制程，预计2024年初量产。（2）深度学习框架：百度飞桨是国内规模第一的深度学习框架和赋能平台。飞桨（PaddlePaddle）是百度自主研发的开源深度学习平台，包括深度学习核心框架、基础模型库、开发套件、工具组件以及服务平台，支持超大规模深度学习模型训练。截至2022年1月，飞桨平台已汇聚535万开发者，基于飞桨构建了67万个模型，服务了20万家企事业单位。（3）大模型：百度在大模型领域积累深厚，已发布4类基础通用大模型以及11个行业大模型。百度文心包括NLP大模型、CV大模型、跨模态大模型和生物计算四个基础通用大模型；在行业领域，百度联合不同领域行业头部企业，已发布11个行业大模型，涵盖涵盖电力、燃气、金融、航天、传媒、城市、影视、制造、社科等领域，产业生态初步形成。ERNIE拥有一系列可以执行各种功能的高级LLM，而语言生成来自ERNIE3.0Titan，其文本到图像生成来自ERNIE-ViLG。（4）产品和应用：文心ERNIE大模型已在百度百余个产品中应用。包括百度搜索中问题分类、网页排序；Feed流中的新闻推荐、新闻去重；好看视频中的视频推荐；百度地图里的POI检索以及小度智能屏中的意图理解等，都使用到了文心ERNIE大模型。百度已文心一格（AI作画）、文心百中（产业搜索）产品落地。文心一格是AI艺术与辅助创作平台，输入关键词即可生成画作，降低内容生产成本。2022年11月，百度推出大模型驱动的产业级搜索系统“文心百中”，由百度搜索与文心大模型联合研制，命名寓意搜索结果精准，相比传统搜索系统可减少人力成本90%以上。百度即将推出对标ChatGPT的AI聊天机器人“文心一言”。2023年2月，百度宣布即将推出类似ChatGPT的对话式AI工具“文心一言”（ERNIEBot），文心一言是百度基于文心大模型技术推出的生成式对话产品，目前正处于内测阶段，预计2023年3月完成内测后向公众开放。文心一言预计将建立在全球最大中文单体预训练模型ERNIE3.0Titan之上。2021年12月，百度与鹏城自然语言处理联合实验室发布全球首个知识增强的千亿AI大模型——ERNIE3.0Titan。ERNIE3.0Titan拥有2600亿的参数，参数量较GPT-3的1750亿多出48.6%，在复杂知识推理能力上较GPT-3提升8个百分点。ERNIE3.0Titan已在60多项的NLP任务上取得了世界领先，在SuperGLUE和GLUE都超过了人类排名第一的水平。技术层面，ERNIE3.0基于飞桨4D混合并行技术，训练时间可以节省50%。算力方面，ERNIE3.0基于“鹏城云脑II”高性能集群训练，“鹏城云脑II”包括4096颗HUAWEIAscend910AI处理器和2048颗鲲鹏920CPU处理器，可以提供1EOPS智能算力，即不低于每秒100亿亿次操作的AI计算能力。“文心一言”生态圈持续扩大。2月17日，百度集团执行副总裁、百度智能云事业群总裁沈抖宣布“文心一言”将通过百度智能云对外提供服务，会率先在内容和信息相关的行业和场景落地。目前已经有包括互联网、媒体、金融、保险、汽车、企业软件等行业的近300家企业宣布加入百度“文心一言”生态，生态圈持续扩大。上市公司方面，已有多家公司宣布成为文心一言首批生态合作伙伴，未来将优先接入文心一言的能力，未来也将在垂直领域开展更多合作。4.4、国内其他巨头也纷纷布局，产业落地加速2023年2月以来，国内巨头纷纷布局AIGC产业。京东宣布推出产业版“ChatJD”，应用路线图包括一个平台、两个领域（零售和金融）、五个应用（内容生成、人机对话、用户意图理解、信息抽取、情感分类）。阿里类ChatGPT产品目前也处于内测阶段，会与钉钉产品结合。国内具有丰富应用