自然语言生成行业研究报告改变交互方式商业化前景广阔

自然语言生成行业研究报告-改变交互方式商业化前景广阔一、为什么ChatGPT值得关注？1.1、ChatGPT推出后用户量增长迅速ChatGPT于2022年11月推出，上线两个月后便跻身全球访问量排名前50名的网站，且访问量仍在快速提升中。根据SimilarWeb的数据，2023年1月31日，网站当天的访问量达到2801万，高于世界前五大出行预定网站之一（全球访问量排名第45）的1771万，作为对比，亚马逊官网（全球访问量排名第12）当天访问量8076万。2022年12月至2023年2月，累计访问量达18.82亿，并且日均访问量保持上升态势，2月28日当日访问量突破4500万，作为对比，与累计访问量分别为15.36亿和74.08亿。此外，微软搜索引擎Bing在接入ChatGPT功能后用户活跃度也迅速上升，据Bing官方博客，整合了ChatGPT功能的新版Bing上线一个月后为Bing搜索引擎贡献超过100万新增用户，目前必应搜索引擎日活已经突破1亿。1.2、ChatGPT极大的提升了人机的交互体验传统的NLG在平时生产生活中应用比较广泛：

1）基于模板填充（Template-based）的，比如酒店预订官网中用户输入日期、酒店位置等就能自动生成订单，电子邮件通知中的“尊敬的XX先生/女士，您的订单（订单编号）已成功提交，预计（预计送达时间）送达，请注意查收。”

2）基于规则（Rule-based）的：用预定义的语法规则和词汇表来生成自然语言文本。例如，给定一个表示天气情况的数据，规则可以生成“今天的天气晴朗，温度在25℃左右，风速较小”这样的文本。3）基于统计（Statistical-based）的：用统计学习算法从大规模的语言数据中学习语言模型，例如翻译中可以利用概率模型建立源语言和目标语言之间的映射关系，以节省一定的人力。但传统的自然语言生成局限性也很明显：

1）缺乏灵活性和泛化能力：传统方法通常需要手工编写规则或模板，难以适应多样化和复杂化的语言生成任务，并且很难泛化到新领域或新语境中。2）难以处理语言的复杂性：语言生成涉及到词汇、语法、语义、语用等多个方面，而传统方法往往只能处理其中的一两个方面，难以实现全面的语言生成。3）生成的语言不够自然：由于传统方法对语言的处理不够全面，生成的语言常常会显得生硬、不自然，甚至出现语法错误、歧义等问题。因此，自然语言处理技术也不断的进化，目前ChatGPT是GPT-3.5模型。GPT（GenerativePre-trainedTransformer）即预训练大语言模型，基于主流自然语言处理模型Transformer进行预训练，是深度学习自然语言生成（NLG）的一种。由于在大量的文本数据上进行了训练，使其能够对广泛的问题和提示产生类似人类的反应。ChatGPT的GPT模型、谷歌的BERT大模型和百度的文心大模型（Ernie）同宗同源，都是基于谷歌2017年开发的开源Transformer模型，在其上不断迭代。ChatGPT是人工智能研究机构OpenAI开发的基于自然语言处理和深度学习技术的对话生成模型，除了ChatGPT，OpenAI的主要产品项目包括语言处理模型GPT系列，图像生成模型Dall-E，语音识别模型Whisper。ChatGPT背后的人工智能研发公司OpenAI成立于2015年，创始人包括业界知名科学家和企业家SamAltman、马斯克、里德霍夫曼等人。随着时间推移，公司的目标从开发通用人工智能系统转向开发基于深度学习的语言模型如GPT-2和GPT-3，除了模型，OpenAI还开发了许多工具如Codex。OpenAI作为AI领域内的重要参与者，与多个企业与学术机构合作，微软是OpenAI的一位重要投资者，二者在2019年达成战略伙伴关系，2023年1月，微软宣布向OpenAI投资数十亿美元。模型参数特征上，GPT-3.5模型具有1750亿个参数（vs人脑860亿个神经元），据微软发布会，当地时间3月16日，OpenAI将推出新一代语言处理模型GPT4，预计GPT-4模型参数数量与GPT3相近。ChatGPT作为一款基于深度学习的生成式语言模型，和传统的AI助手（苹果Siri、小米小爱同学、微软Cortana等）在模型训练方式、语言生成能力、适用场景上有显著区别。由于采用了深度学习自然语言生成模型，ChatGPT可以通过自我学习和优化生成明显优于传统AI助手的回答，文本更加自然、流畅且较为准确，能和用户多轮对话，带来更好的用户体验。1.3、不仅仅是新技术出现后昙花一现的炒作和以往新技术引起关注不同，ChatGPT不仅仅停留在技术和概念层面，已经可以嵌入到人类的生活和工作当中，给人类带来效率的提升，撬动了最具规模效应的C端（消费者）用户，让蓄力多年的深度学习AI研究取得了应用层的突破，并且开始初步的商业化。ChatGPT提出了新的技术发展路径，长期发展空间值得关注。历史上很多新技术出现后引起关注，但后续乏力，比如谷歌的深度学习围棋AIAlphaGo等。ChatGPT具备广泛的应用场景，后续开发空间广阔。尽管具体的革命还需要多项技术的配合，但是未来随着技术迭代，成果值得期待：

1：成本下降空间大：据OpenAI官方，ChatGPT12月起成本较之前下降90%，仅为0.0002美元/1000词。2：应用场景可拓展性强：用户自发尝试，可以使用的场景广泛，在ChatGPTAPI可调用后，更多的C端应用迅速推出。3：依托技术融合创新，不断提升产品功能：通过调用技术工具/数据库提升答案的准确性和可靠程度，通过调用不同类型的工具，不断丰富产品功能。由于ChatGPT可以借助API

（ApplicationProgrammingInterface，应用程序接口）方式被外界调用，意味着它可以接入各类软件，它的出现也将像浏览器改变互联网、苹果应用商店改变软件行业一样，对整个科技业产生巨大的冲击。海外知名社交应用Snapchat宣布将推出采用ChatGPT模型的AI聊天机器人“MyAI”，并会被固定在应用的聊天选项卡上。MyAI将首先面向付费用户开放，不久后会进一步面向更多用户开放。云服务公司Saleforce也宣布将ChatGPT接入旗下办公软件Slack，用户可以通过生成摘要来高效地了解工作对话内容，并更迅速地撰写回复、会议纪要，从而留出更多的时间用于实施工作计划以及拓展客户。ChatGPT类似一把“语言的钥匙”，向人们提供了一种新的信息交互方式，也为人工智能发展找到了新的落地方向。它能够更好地理解人类语言表达，具有强大的语言建模和推理能力，能够结合用户反馈不断调整自己的回答和建议，从而实现更个性化的对话服务。正如计算机和互联网改变了我们的生活方式一样，ChatGPT的出现也将改变人们与信息交流的方式。ChatGPT可以应用于多个领域，例如自然语言处理、聊天机器人、智能客服、语音助手、智能家居、自动文本摘要等，提高效率和准确性，帮助人们更好地解决问题，影响人们工作、生活和社会的方式，也可以被用于加强人工智能的研究和开发，这将有助于推动更广泛的科技创新和进步。也由于ChatGPT的应用还处于探索阶段，目前ChatGPT应用于生活的案例广泛分布于多个场景，使用体验也更加个性化，目前它对于生产效率的提升暂时不能得到可靠的归纳，但随着应用落地时间推移，这一工具未来的使用效果以及适用场景将逐渐清晰。站在当前时点无法预测未来会发生什么，但是ChatGPT的确具有潜力在多个领域产生深远的影响。根据futuremarkettrends测算，2022年全球内容生成整体价值规模达到149亿美元，预计将在2032年达到472亿美元，复合增速12.2%。人工智能接受度的提升以及人工智能工具的辅助下，AI生成内容占比将不断提升，并带动整个内容产业持续增长。二、自然语言生成领域的竞争格局如何？2.1、大模型层面：类似云计算市场，头部玩家的游戏近年来，人工智能和NLP行业经历了显著的增长，在广泛的应用中对复杂的语言处理能力的需求不断增加，如客户服务、内容生成和情感分析。MarketResearchFuture的一份报告预测，到2023年，全球NLP市场的价值将达到160.6亿美元，2017年至2023年的复合年增长率为16.5%在深度学习语言模型领域，大型科技公司在算力、历史投入、科技人才密度、数据规格、资金实力等方面具有明显优势，因此大（公司）模型有较大可能挤压小模型闭环方案的一些创业公司的生存空间。ChatGPT作为尖端语言模型，在自然语言理解和生成方面具有广泛能力和潜在应用，也需要具备工程上的综合能力。未来，谁能拿到更多场景里、用户参与的、高质量反馈的私有数据，并以更高效率迭代，将形成竞争关键点。类似云计算，我们认为在大模型层面，最终市场主导者仍将是算力、历史投入、科技人才密度、数据规格、资金实力等方面具有明显优势的头部科技公司，只有头部科技公司会研发大模型，其余用户选择租用头部公司开发的大模型：大模型层面，我们认为竞争格局将类似于云计算市场，头部玩家占据大部分份额，CR3将或超过50%。参考云计算市场，据Gartner和IDC数据统计，2021年全球云计算市场规模达到3307亿美元，近五年CAGR约为18%，其中公有云IaaS领域是云计算服务的最底层，市场发展相对较成熟，形成了较为清晰的竞争格局；2021年，亚马逊/微软/阿里分别占全球公有云IaaS市场的38.90%/21.10%/9.50%；中国云计算行业近年来取得迅速增长，从2007年的266亿元增长到2021年的2181亿元，GAGR达52%，2022年上半年，阿里云/华为云/天翼云分别占国内公有云IaaS市场的34.5%/11.6%/11.0%。在商业模式及市场绩效方面，相较于国际巨头，中国laaS和PaaS厂商大多仍在发展期，在产品种类和功能的完善性，以及收费和盈利模式的灵活性上仍有一定差距，并且尚未能够实现盈利，市场不确定性更大，因此下文主要以AWS等国际巨头为例分析云计算最终将呈寡头垄断竞争格局的原因。1、研发深度学习大语言模型需要大量的资源投入。深度学习模型作为ChatGPT类产品的基础设施，在前期需要大规模资金支持，以满足数据调试的适用场景普适性的需求，根据谷歌披露数据，训练参数规模1750亿的大模型，理想训练费用超过900万美元。类似的，计算服务为了实现覆盖的产品和功能范围的广度，要求云服务提供商持续进行产品功能更新和产品矩阵建设来满足用户多元需求，Amazon和Google持续进行大额资本投入以完善产品能力。2022年Amazon和Google的资本性支出分别达583亿美元和315亿美元，并仍然呈现上涨趋势。因此，深度学习模型和云计算行业具备很高的资源壁垒、技术壁垒和客户壁垒，市场进入门槛较高，资金能力有限的小厂商很难进入这个行业。2、头部公司具有望实现规模效应和低价壁垒的良性循环。ChatGPT上线一个月后，就实现运营成本降低90%。2023年3月推出的GPT-3.5-Turbo调用1千万词（Token）的费用为20美元，较先前的davinci模型下降90%。随着公司根据大量用户体验反馈不断积累运营数据，提升模型性能，将使得模型体验效果维持在行业前列。参考云计算领域的AWS，2009年已开始降价，2013年甚至有一年降价13次的举动，但是营业收入仍然保持高速增长，2013年到2022年其营业收入以CAGR43.5%的速度增长到800.96亿美元，一方面是因为IaaS产品功能相对同质化，客户对价格较为敏感，低价可以吸引更多客户，另一方面，由于边际成本较低，AWS能够实现规模效应，服务器等折旧支出随着收入增长占收入比重稳定下降，2021年已降至12%，AWS已建立了客户规模增加-利润率提升-价格下降的正向循环，同时成本优势也使得AWS相对于其他竞争者拥有低价护城河。3、品牌效应强，先发优势明显客户迁移成本高，倾向选择具有技术优势和成熟案例的领先厂商。云计算市场具有明显的网络效应，即用户越多，企业在产品交付和售后的经验更多，产品打磨更精细，因此，客户会更加信任有成功案例实施经验、产品商业应用时间厂的云服务厂商，这使得云计算市场上的领先企业拥有强大的品牌效应，市场上的领先企业更加难以被取代。与云计算类似，自然语言生成市场同样具有网络效应，自然语言生成质量部分取决于大规模数据和模型的训练，使用自然语言生成模型的用户越多，模型可从用户生成的数据中学习，提升内容生成质量；更多用户使用也会促成更多的投资研究，推动头部公司探索更先进的算法和模型结构。因此头部公司的AI模型论文转化率往往更好，同时能够将模型迅速转化为产品获取用户，进一步加强自身市场影响力。2.2、小模型层面：或诞生一批具有行业/区域属性的小而美玩家小模型开发训练及维护的成本更低，应用领域更窄，小公司可以为垂类场景，如广告、教育、医疗、金融等针对性地搭建小模型，为用户提供可靠准确的回答。目前在AI生成文本领域，已有大量创业公司/小公司主要采用开源大模型或者调用第三方接口研发自己的产品，提供具备差异化的服务，也在大语言模型这一领域展开竞争。随着语言生成模型在客户中的接受度逐步提升，出于对数据安全以及模型效率的考量，越来越多的公司将有意愿对原始大模型进行微调训练，基于自身业务场景以及数据部署个性化的AI模型。综上所述，由于行业壁垒较高、规模效应明显和先发优势显著的原因，大模型领域最终或将形成寡头垄断的竞争格局。而在小模型层面，由于不同行业不同客户的需求更加多样化、行业和地区差异明显，且需要在客户的基础设施上进行部署等原因，行业集中度会较低，更容易出现具有行业或区域属性的垂直性龙头企业，市场垄断程度可能会相对较低。三、自然语言生成模型如何影响传媒行业？ChatGPT作为文本交互工具，对于传媒行业中存在大量文字生成、交互任务的搜索引擎、影视、广告营销、游戏以及出版行业未来的生产方式开始产生影响。目前ChatGPT在文本生成、信息总结上具备良好表现，而在提供事实信息方面的能力还亟待提升。现阶段在与事实关联较低、需要创造性的场景已经涌现出多项具体应用。3.1、搜索引擎：问答式交互更好地理解用户需求LLM与搜索引擎结合，可提升用户体验。ChatGPT基于其大规模的语言模型和海量的语料库为用户提供对话反馈，快速高效的生成答案。区别于传统搜索引擎的搜索，内嵌ChatGPT可以回答复杂的问题，提供总结性的答案，以及可以进行一定的“创作类”内容生成。在面对没有标准答案问题时，ChatGPT角色向个人助手的方向演变，满足用户对于学习、生活等各方面问题的解决需求。例如在向新版Bing寻求商品推荐时，会基于知乎、B站等平台发布的测评内容展示结果，详细列出了推荐产品的售价、参数、使用场景等，方便用户比较，并附带标注所引用的来源与网址，更具可靠性；除了单次搜索结果展示外，可以点击进入Chat继续进行对话，细化查询结果。对话过程中，新版Bing还会使用语言表情符号，更生动，符合人类之间的对话习惯。增加变现渠道，创造增量市场。搜索引擎与ChatGPT结合下，广告商业化亦有较强探索空间，包括聊天界面广告位的增加、生成回答时广告链接的引用甚至排序推荐等。同时用户与Chat的互动能为模型收录更具针对性、个性化的数据，有利于提高广告推送的精准度。百度搜索嵌入文心一言，市占率有望提升。百度类ChatGPT产品将于3月完成内测并面向公众开放，该项目名字确认为文心一言，英文名ERNIEBot。文心一言项目是基于文心大模型技术推出的生成式对话产品，公司计划将多项主流业务与其整合。反馈方式变革，传统搜索引擎模式为用户提供关键词相关链接，文心一言将基于庞大数据库以对话形式直接给用户的问题做出解答，提升搜索效率，丰富搜索场景需求。Statcounter数据显示，2023年2月百度搜索市场占有率55.9%，相较于前两年有一定程度的下滑。和海外产品比，百度搜索在中文内容上的数据储备上优势突出，预计在对用户内容理解性、反馈程度与使用便捷性更优。我们预计文心一言推出后，将有利于提升百度搜索引擎的市场份额提升。据头豹研究院，2022年国内搜索引擎市场规模约895.34亿元，1%的市场份额变动意味着8.95亿元的营收。Statcounter数据显示，2023年2月百度搜索市场占有率约为55.9%，我们认为文心一言推出后有望提升市场份额。3.2、影视：内容创作、传播提供更加高效的支持AI生成技术可以协助完成影视内容创作。GPT可以生成具有一定逻辑性和连贯性的剧本段落，为编剧提供创作灵感和辅助创作工具。而在AI生成领域，通过智能生成图像与音频可以帮助创作者完成各类影片内容的制作，2023年2月，Netflix上线了一部AI协助制作的动画短片《犬与少年》，动画中的背景全部由AI协助制作，创作者绘制背景草稿，由AI自动生成画面细节，最后由创作者进行少量调整完成最终背景的制作。视频字幕翻译与概括：GPT可以根据视频内容生成准确、流畅的字幕，同时也可以实现视频的翻译，为国际化发展提供了更多的可能性。基于AI技术实时生成字幕翻译前两年就有，ChatGPT目前在台词翻译连贯性上仍有提升空间，翻译水准与传统机器翻译相近，表现更好的是视频字幕摘要，帮助用户高效获取视频内容信息。在ChatGPT开放API后，针对网站视频中的文本信息（字幕、简介）概括视频关键信息的软件工具快速推出，以插件Glarity为例，上线一个月，使用用户数量约10000人，评分4.4/5，反馈较好。3.3、广告营销：节约人力，提升广告效果提升文案写作效率：广告行业拥有大量的文案需求，GPT模型可以通过学习大量的营销素材，生成新的广告文案和创意，从而提高广告的质量和效果。AI创业公司Jasper推出的同名应用，就是基于GPT-3的API为用户提供AI写作服务，Jasper比较擅长输出电商产品介绍，博主的种草文案等短篇内容，每月收取用户82美元订阅费。除了GPT3，Jasper还融合了多种模型算法，包括NeoX、T5等，并在此基础上根据实际业务需求，人工调整出量身定制的学习模型，使AI产品更易于日常使用，如今Jasper的使用界面上提供了数百种垂直领域的模板，产品服务7万多名客户。优化客服体验：GPT模型可以通过智能化的对话系统，自动回答客户的问题，提高客户满意度，同时也降低了企业的人工成本。3.4、游戏：丰富内容交互，提高互动体验和可玩性游戏剧情创作和内容生成：GPT本身的训练数据集中包含部分游戏以及故事相关的内容，可以生成新的游戏剧情和故事概念，为游戏开发者提供创意和灵感；可以通过学习大量游戏元素和规则，生成新的游戏关卡、道具、任务等内容，增加游戏的可玩性和趣味性。此外，对于一些以文本互动为主的游戏，可以使用ChatGPT直接制作再进行调整，节约开发成本。游戏对话系统提升。GPT模型可以直接将API接入游戏中的对话系统，实现更智能化的对话体验，提高游戏可玩性。例如已有玩家将ChatGPT的API接入高自由度游戏《骑马与砍杀2》的某位NPC，提高了NPC的角色丰富度和交互体验。游戏智能角色和NPC：

GPT模型可以生成智能角色和NPC的对话和行为，为游戏开发者提供更真实、多样化的游戏体验。网易旗下开放世界武侠手游《逆水寒》将实装国内首个游戏版ChatGPT。通过内嵌与ChatGPT同源的“游戏GPT”。其不仅能够让智能NPC和玩家自由通过文字或语音进行对话，并基于对话内容自主给出有逻辑的行为反馈，还可以通过AI随机生成任务、关卡地牢，甚至能通过文字形式进行捏脸。游戏中智能NPC的所有对话文字、表情、语音、镜头均由AI自由生成，NPC拥有更高的自主性与随机性。海外初创公司Character.ai推出的聊天机器人可以从文章、新闻故事、书籍和其他数字资源中提取内容帮助用户生成喜欢的角色或个人回复，未来也可以在不同行业场景中落地应用。比如，用户可以选择与苏格拉底或任天堂角色马里奥交谈。ChatGPT以及AIGC可以作为更高效生产力工具，提高虚拟人的制作效率，对虚拟人公司来说，1个月即可上线相关产品，创造出和用户交互性更强的虚拟人。虚拟人行业市场潜力巨大，根据艾媒咨询，以ChatGPT为代表的AIGC相关技术有望撬动更大的市场空间，预计到2025年，相关市场规模将达到6402亿元。3.5、出版：辅助创作，降低校对翻译成本辅助创作：GPT模型的训练数据集中涵盖大量图书内容，具备自动生成新故事、小说等作品的能力，为作者提供更多的创作灵感和创意。ChatGPT上线后已经有大量用户尝试使用其进行创作，亚马逊的Kindle商城已经出现接近300本创作者包含“ChatGPT”的图书。智能编辑校对以及翻译：

GPT模型支持多种语言，能够自动检查不同语言的图书中文本的语法、逻辑、文笔等方面的问题并提出修改建议，帮助提高作品内容质量和可读性，减轻人工校对成本；也可以用于文本自动翻译，提升翻译的效率，加快推动更多图书走入全球市场。目前已有多个接入ChatGPTAPI的翻译插件，可用于论文、网页文本、图书的修改润色以及翻译。四、自然语言生成模型面临的问题？给出错误/负面回答：自然语言生成模型的性能受到训练数据的质量和数量的影响。如果数据集存在偏差或缺乏多样性，模型可能会出现过拟合或无法很好地泛化到新的数据集上的问题。伴随着用户的大规模使用，ChatGPT出现了生成传播错误信息、生成负面信息的多个案例，对其有效性和可靠性造成了负面影响。计算资源和能源消耗过高：自然语言生成模型的训练和推断需要大量的计算资源和能源，这使得它们在许多应用中不太实际。此外，这种计算资源和能源的消耗还会对环境造成影响。根据towardsdatascience测算，训练GPT-3模型大概消耗318万度电，制造碳排放271吨，为美国人均每年碳排放量（16吨）的17倍以上。可能导致法律问题：GPT模型可以生成自然语言文本，可能被用于生成假新闻和误导性信息，产生负面社会影响；此外，生成内容有一定概率与训练内容重复度较高，可能损害原始训练方的版权。ChatGPT的出现并不意味着可以解决所有问题的通用人工智能即将出现。相比于以往的智能聊天机器人以及自然预研生成模型，ChatGPT展现出更强的语言处理与生成能力，即将推出的GPT4预计将在通用能力上有进一步提升。基于神经网络模型的AI能够通过帮助人类计算求解越来越多的问题，但现实世界中存在着大量无法通过计算解决或者尚未找出解决方案的问题，同样也是如今的AI无法解决的。五、重点企业分析5.1、百度：深耕AI，引领LLM商业化，搜索引擎市占率有望提升“AI生成”重塑行业，百度是国内唯一拥有全栈AI能力的公司，2C端，类ChatGPT产品文心一言将于3月完成内测并面向公众开放，有望提升用户搜索效率与变现价值；2B端，已有上百家企业/平台宣布接入文言一心生态圈，应用场景广阔。文心一言会有选择逐步面向用户开放，2023年研发费用可控。智能驾驶方面，商业化不断落地，规模搭载ApolloASD系列产品的车型将于今年下半年上市。在线营销业务受益于百度系App使用时间同比增加，以及医疗、旅游、本地生活等广告主的投放恢复，将稳步修复。利润率方面，预计1H23继续提升，因为高利润率的广告占比会提升，云亏损会缩窄。2H利润率水平取决于公司在文心一言等业务上的投入力度。整体来看，不会有太大的波动。5.2、腾讯：AI大模型布局有序推进，助力降本增效腾讯具备较为完善的算力和网络基础设施，在AI大模型领域，腾讯具