2024生成式人工智能专利态势报告（中文版）

本作品采用CreativeCommonsAttribution4.0International许可允许用户复制、分发、改编、翻译和公开出版本出版物，包括用于商业目的，而无需明确许可，条件是内容附有WIPO为来源的确认，并明确指出是否对原始内容进行了建议引用：世界知识产权组织（WIPO2024）。人工智能生成。专利景观报告。日内瓦：知识产权组织。/10.34667/tind.49740对于任何衍生作品，请附上以下免责声明：当WIPO发布的内容，如图像、图形、商标或标识，归属于第三方时，此类内容的使用者应全权负责向权利持有人说明权利要查看本许可证的副本，请访问/licenses/by/4.0因本协议引起的任何争议，如不能友好解决，应根据当时有效的《联合国国际贸易法委员会仲裁规则》进行仲裁双方应受该仲裁结果做出的任何仲裁裁决的约束，作为该争议的最终裁决本出版物中所使用的名称和材料的编排方式并不意味着WIPO对任何国家、领土或地区或其当局的法律地位，或对其边界或界线的划分本出版物无意反映成员国或WIPO秘书处的观点提及具体的公司或制造商的产品并不意味着它们比未提及的其他类似性质的公司或产品更受WIPO的认可或推荐版权©WIPO，20242024年首次出版WorldIntellectualPropertyOrganization34，chemindesColombettes，P.O.Box18CH-1211Geneva20，SwitzerlandISBN：978-92-805-3648-5（印刷体）ISBN：978-92-805-3649-2（在线）ISSN：2790-7007（印刷版）ISSN：2790-7015（在线）封面：盖蒂图片/JustSuper，Naeblys致谢5主要结论和见解7导言.13生成式人工智能本报告的动机1生成式人工智能：主要概念19背景和历史渊源深度学习20区分性任务与生成性任务20GenAI有哪些模型22什么是GenAI模式？232GenAI的全球专利和研究全球发展顶级专利拥有者35发明人的主要地点40主要的申请管辖区433GenAI模型的专利趋势全球发展顶级专利拥有者46发明人的主要地点4GenAI模式的专利趋势全球发展顶级专利拥有者52发明人的主要地点55GenAI模型和GenAI模式之间的连接555GenAI应用的专利趋势全球趋势顶级专利拥有者59发明人的主要地点核心模型与应用程序之间的连接模式和应用程序之间的连接其他考虑使用GenAI67的担忧GenAI69专利分析的局限性和未来71A.3模型、模式和应用之间的相互依赖性74A.7非专利中提及的挖掘软件和数据集文学语料库86A.8GenAI应用的描述/示例专利87参考文献1054致谢这份关于生成型人工智能的专利形势报告是在MarcoAlemán（知识产权和创新生态系统部门助理总干事）的指导下，在AlejandroRocaCampaña（知识产权创新部高级主任）和AndrewCzajkowski（技术和创新支持司司长）的由ChristopherHarrison（技术与创新支持部知识产权分析科专利分析经理）领导，并得到日本专利局提供的日本工业产权全球信托基金的慷慨资助。该报告由克里斯托弗·哈里森和拉克希米·苏普里亚领导的项目小组编写（专利分析官，知识产权分析科，技术和创新支持司），其中包括KaiGramke，JochenSpuck，KlausJank和MichaelFreunek（均来自EconSight），PatriceLopez（科学矿工）以及洪侃（技术和创新支助司知识产权分析科专利分析干事）、AleksandrBelianov和CraigDsouza（前青年专家，技术和创新支持司）。我们还要感谢UlrikeTill（知识产权和前沿技术部总监）审查报告并提供宝贵意见。最后，我们感谢CharlotteBeauchamp（出版物和设计科科长）领导的WIPO编辑和电子邮件：ip.analytics@5主要结论和见解2022年11月，OpenAI的ChatGPT聊天机器人发布，极大地提高了公众对生成式AI（GenAI）的热情。包括英伟达首席执行官黄仁勋在内的许多人都将其描述为GenAI的“iPhone时刻”。这是因为OpenAI平台使所有用户更容易访问高级GenAI程序，特别是大型语言模型（LLM）。这些模型已经达到了新的性能水平，展示了各种现实应用的潜力，引发了GenAI的研发浪潮和大型企业投资。这份WIPO专利形势报告提供了对GenAI领域专利活动和科学出版物的观察，并以2019年WIPO人工智能技术趋势出版物为基础它旨在阐明当前的技术发展，其不断变化的动态以及GenAI技术预计将被使用的应用。它还确定了主要的研究国家、公司和组织。自2017年以来，GenAI专利家族和科学出版物GenAI在过去几年的崛起主要由三个因素驱动：更强大的计算机，大型数据集作为训练数据源的可用性，以及改进的AI/机器学习算法。LLM中的Transformer架构等开发显著推进了GenAI。这使得在许多不同领域开发复杂的应用程序成为可能。GenAI的技术进步反映在专利活动的急剧增加上。在过去的10年里，GenAI的专利家族数量从2014年的733个增加到2023年的14,000多个。自2017年推出Transformer以来，GenAI的专利数量增长了800%以上，而大语言模型背后的深度神经网络架构已成为GenAI的代名词。同期，科学出版物的数量增加得更多，从2014年的116种增加到2023年的34，000多种。超过25%的GenAI专利和超过45%的GenAI科学论文仅在2023年发表。78个GenAI专利家族GenAI8个201420152016201720182019202020212022202315,00010,00050000500010,00015,00020,00025,00030,00035,000哪些组织在GenAI中拥有最多的专利？1.腾讯2.平安保险集团3.百度4.中国科学腾讯、平安保险集团和百度拥有最多的GenAI专利。腾讯计划在微信等产品中加入GenAI功能，以改善用户体验。平安专注于GenAI模型用于承保和风险评估。百度是GenAI的早期参与者之一，最近推出了最新的基于LLM的AI聊天机器人ERNIE4.0。中国科学院（第四）是前十名排名中唯一的研究机构。阿里巴巴（第六）和字节跳动（第九）是前十名中的其他中国公司IBM（第五Alphabet/Google（第八）和微软（第十）是GenAI专利方面排名靠前的美国公司IBM开发了一个GenAI平台Watsonx，使公司能够部署和定制LLM，重点关注数据安全和合规性。Alphabet/Google的人工智能部门DeepMind最近发布了最新的LLM模型专利格局报告Gemini，该模型正在逐步融入Alphabet/Google的产品和服务。微软是GenAI的另一个关键参与者，也是OpenAI的投资者。OpenAI本身最近才提交了第一个GenAI专利。排在前10名之外的是大韩民国的电子企业集团三星电子（第七）。专利格局报告企业大学/研究机构9Adobe华为（中NTT腾讯控股Alphabet（美国）国）百度（中哪些机构发表了关于GenAI的最多科学出版物？中国科学院在科学出版物方面显然处于领先地位，自2010年以来发表了1,100多篇清华大学和斯坦福大学分别以600多篇论文位居第二和第三。Alphabet/Google（第四）是前20名中唯一的公司（556篇科学出版物）。然而，当通过引用数量来衡量科学出版物的影响力时，公司占主导地位。Alphabet/Google是领先的机构，其他七家公司进入前20名。OpenAI的案例也值得注意。在我们的GenAI科学出版物语料库中，该公司仅发表了48篇文章（就出版物数量而言，排名第325位），但这些出版物共收到其他科学出版物的11，816次引用（排名第13位哪些地方发明的GenAI技术最多？2.美国3.大韩民国5.印度6.联合王国7.德国主要结论和见解根据专利上公布的发明人地址，2014年至2023自2017年以来，中国每年在该领域公布的专利数量超过其他所有国家的总和。主要结论和见解在2014年至2023年期间，美国拥有约6，300个专利家族，是GenAI专利申请的第二大亚洲国家韩国、日本和印度是GenAI的其他主要研究地点，都排在全球前5位（第三，第四和第五）。英国是欧洲领先的国家（全球第六同期公布了714项专利然而，德国紧随其后（708个专利家族），近年来公布的GenAI专利数量超过英国。这些顶级发明家所在地占全球GenAI相关专利活动的大部分（94%）第美国大韩民国英国德国世界其他地区加拿大列法国哪个GenAI模型拥有最多的专利？近年来，已经开发了许多GenAI程序或模型。最重要的GenAI模型包括：1.生成对抗网络（GANs）2.变分自动编码器3.基于解码器的大型语言模型然而，并不是所有的GenAI专利都可以根据专利摘要、权利要求或标题中的可用信息分配给这三种特定的核心模型在这些GenAI模型中，大多数专利属于GAN。在2014年至2023年期间，该模型类型的专利家族共有9，700个，仅2023年就公布了2，400个专利家族VAE和LLM是专利方面的第二大和第三大模式，2014年至2023年期间分别有约1，800和1，300个新专利系列专利格局报告在专利增长方面，GAN专利在过去十年中表现出最强劲的增长。不过，这一趋势最近有所放缓。相比之下，扩散模型和LLM在过去三年中的增长率要高得多，扩散模型的专利家族数量从2020年的18个增加到2023年的441个，LLM从2020年的53个增加到2023年的881个。由ChatGPT等现代聊天机器人引起的GenAI热潮显然增加了对LLM的研究兴趣。专利格局报告11GenAI专利中使用的主要数据类型是什么11主要的GenAI数据类型包括：–图像–视频–讲话–声音–音乐在不同的GenAI模式，或数据输入和输出的类型中，大多数专利属于图像/视频类别。图像/视频数据对于GAN来说尤其重要。涉及文本和语音/声音/音乐处理的专利是LLM的关键数据类型。剩下的模式：3D图像模型，化学分子/基因/蛋白质和代码/软件到目前为止专利要少得多。与GenAI核心模型相关的专利一样，有些专利无法明确分配给特定的数据类型。此外，一些专利被分配给一种以上的模式，因为某些GenAI模型，如多模态大型语言模型（MLLM），克服了仅使用一种类型的数据输入或输出的限制GenAI专利GenAI专利的主要应用领域包括：1.软件2.生命科学3.文件管理和出版4.业务解决方案5.业与制造6.运输7.安全GenAI必将对许多行业产生重大影响，因为它将进入产品，服务和流程，成为内容创建和生产力提高的技术推动者。例如，GenAI在生命科学（2014年至2023年期间有5，346个专利家族）和文档管理和出版（4，976）方面拥有许多专利。在同一时期，GenAI专利的其他值得注意的申请从2,000件左右到5,000件左右不等，包括商业解决方案、工业和制造业、运输、安全和电信。在生命科学领域，GenAI可以通过筛选和设计新药配方和个性化药物的分子来加快药物开发。在文档管理和发布方面，GenAI可以自动执行任务，节省时间和金钱，并创建量身定制的营销材料。在商业解决方案中，GenAI可用于客户服务聊天机器人、零售辅助系统和员工知识检索。在工业和在制造业中，GenAI实现了产品设计优化和数字孪生编程等新功能。在交通领域，GenAI在自动驾驶和公共交通优化方面发挥着至关重要的作用。主要结论和见解然而，许多专利族（2014年至2023年约有29，900个专利族）无法根据专利摘要、权利要求或标题分配给特定应用。这些专利被列入软件/其他应用程序类别。主要结论和见解生成式AI近年来，人工智能技术在公众和媒体的关注中急剧增加然而，AI并不是一个新的研究领域。美国和英国的科学家-包括理论数学家艾伦·图灵-在20世纪30年代和40年代就已经在研究机器学习，尽管人工智能这个术语直到20世纪50年代才流行起来（麦卡锡等2006年）。20世纪50年代和60年代，人们对许多人工智能领域的兴趣激增，包括自然语言处理，机器学习和机器人技术。当时的一些科学家预测，在一代人的时间内，将存在一台像人类一样聪明的机器（Minsky1967）。事实证明，这些预测过于乐观。由于当时计算能力和算法方法的限制，进展停滞不前。结果，研究资金枯竭，这导致了20世纪70年代的第一个在接下来的几十年里，人工智能研究的高强度时期与低活动时期交替出现。很长一段时间以来，人工智能算法和软件都是基于程序员指定的明确的逻辑规则和参数而开发的。即使是现在，许多人工智能应用程序也依赖于基于规则的决策：如果这样，那么那样。例如，虚拟助理（Siri，Alexa等）本质上是指挥控制系统。他们只理解有限的问题和要求，无法适应新的情况。他们不能将他们的“知识”应用21世纪的AI现代人工智能热潮始于21世纪初，此后一直处于上升轨道。如今，人工智能和机器学习被用于无数应用，包括搜索引擎、推荐系统、定向广告、虚拟助手、自动驾驶汽车、自动语言翻译、面部识别等等。AI的兴起主要受以下因素驱动：更强大的计算机：1965年，GordonMoore观察到计算机芯片上的晶体管数量大约每两年翻一番，并预测这种情况将持续10年（Moore1965）。他的法律已经适用了半个多世纪。这种指数增长转化为越来越强大的人工智能系统，通常具有人工智能特定的增强功大数据：其次，数据的可用性也以同样的指数级增长。这为人工智能算法提供了强大的训练数据来源，并使其能够用数十亿张图像或1000亿个文本标记来训练模型。1“人工智能”一词132标记是在一组文本中发现的常见字符序列令牌化将文本分解为更小的部分，更容易的机器分析，帮助AI模型理解人类语言。1314更好的人工智能/机器学习算法：允许人工智能系统更好地使用数据和算法来学习人类行为方式的新方法，例如深度学习，已经在图像识别或自然语言处理等领域取得了突破（WIPO2019）。14用例子而不是规则学习现代人工智能的核心是机器学习，即计算机系统在没有专门编程的情况下进行学习。现代人工智能模型提供了输入数据和期望结果的示例，使它们能够构建可应用于全新的数据。机器学习擅长处理大量数据集并发现其中隐藏的模式。机器学习中一种强大的方法被称为深度学习。它利用了称为人工神经网络的复杂结构，松散地模仿人脑。这些网络识别数据集中的模式他们获得的数据越多，他们学习和表现就越好信息流经多层相互连接的神经元，在那里进行处理和评估。每一层细化信息，通过节点连接和加权。从本质上讲，人工智能通过不断重新评估其知识，形成新的连接，并根据遇到的新数据对信息进行优先级排序来学习。深度学习一词指的是这些网络可以利用的大量层。深度学习驱动的人工智能已经取得了显着的进步，特别是在图像和语音识别等领域。然而，它的成功伴随着一个缺点。虽然结果的准确性这种缺乏透明度的情况与旧的基于规则的系统形成鲜明对比。现代生成AI（GenAIAI的下一个层次生成AI（GenAI）一直是一个活跃的研究领域。JosephWeizenbaum在20世纪60年代开发了第一个聊天机器人ELIZA（Weizenbaum1966）。然而，我们今天所知道的GenAI是由基于神经网络的深度学习的出现所预示的今天，GenAI是机器学习最强大的例子之一。与只能执行单一任务的旧的基于规则的AI应用程序相比，现代的GenAI模型是在来自许多不同领域的数据上训练的，在任务方面没有任何限制因为训练数据量如此之大-OpenAI的GPT-3是在超过45TB的压缩文本数据上训练的（Brownetal.2020年）-模型似乎在生产产出方面具有创造性。例如，传统的聊天机器人遵循脚本响应，并依赖于预定义的规则与用户交互，使其仅适用于特定任务。相比之下，ChatGPT或GoogleGemini等现代GenAI聊天机器人可以生成类似人类的文本，允许对话可以适应许多主题，而不限于预定的脚本。此外，这些现代聊天机器人不仅可以生成文本，还可以根据训练数据集生成图像、音乐和计算机代码2022年ChatGPT的发布是GenAI2022年11月，OpenAI向公众发布了ChatGPT（ChatGenerativePre-trainedTransformer极大地提高了公众对GenAI的热情在短短五天内就有超过一百万审计和咨询公司德勤（Deloitte）发现，在瑞士使用计算机工作的受访者中，近61%ChatGPT的发布被许多人描述为GenAI（VentureBeat2023）的“iPhone时刻”，包括Nvidia首席执行官黄仁勋。这在一定程度上是因为该平台使用户更容易访问高级GenAI模型，特别是基于解码器的大型语言模型。这些模型已经证明了许多现实世界应用的潜力，并引发了一波研究和开发。许多公司都在大力投资GenAI，这些新型号的功能达到了新的层面。专利格局报告3有关不同现代GenAI模型的概述和描述，请参见下一章专利格局报告GenAI15的简短时间轴·1957FrankRosenblatt介绍了感知器，神经网络的基本构建模块（Rosenblatt1957）·19571972·Amari-Hopfield网络使递归神经网络能够学习，作为联想记忆的一种形式（Amari1972，Hopfield1982）1997·发表了长短期记忆（LSTM）递归神经网络，它将成为2010年代最成功的深度学习架构之一（Hochreiter和Schmidhuber1997）。1990·马尔可夫网络和其他统计语言模型导致了有效的人工智能商业系统，例如Google翻译的第一个版本2013·变分自动编码器（VAE），一种能够从输入图像生成新的逼真图像样本的自动编码器方法（Kingma和Welling2013）2014·描述了生成对抗网络，这将导致围绕真实感图像的各种2016·DeepMind的WaveNet，一种用于真实人类语音的新型深度神经网络方法（vandenOordetal.（2016年）2017·谷歌研究院的一个团队介绍了Transformer，这是大型语言模型背后的深度神经网络架构（Vaswanietal.2017年）。2018·GPT，OpenAI的第一个生成语言模型，1.2亿个参数的Transformer（OpenAI2018）2019·GPT-2是一个包含15亿个参数的Transformer模型，它以其生成连贯文本的能力给研究界留下了深刻的印象（OpenAI2019）2020·March-NeRF，一种用于生成3D场景的深度学习方法（Mildenhall等人，2020）2020·12月-GPT-3（Brownetal.2020年），OpenAILLM的新迭代达到1750亿个参数2021·1月-由OpenAI开发的DALL-E，从自然语言文本提示中生成逼真的艺术图像（OpenAI2021）2021·6月-GitHubCopilot，一个在编程代码上进行大规模训练的GPT-3变体（GitHub2021）2021·7月-来自DeepMind的AlphaFold2赢得了CASP14预测蛋白质结构的比赛，其准确性可与昂贵的手动实验技术相（Jumperetal.（2021年）2022·四月-稳定扩散（Rombachetal.2021年）和MidJourney（Midjourney2022年）将GenAI民主化2022·11月-ChatGPT使所有人都可以访问LLM，并成为最快获得1亿用户的产品（OpenAI2022）2023·1月-MusicML从提示中生成歌曲（Agostinellietal.（2023年）2023·2月-谷歌推出其实验性对话式人工智能服务Bard2023·三月-GPT-4.0可以处理图像和比其前身（OpenAI2023）更多的文本2023·7月-Meta发布Llama2，一个开源的大型语言模型，可免费用于研究和商业用途2023·12月-AxelSpringer与OpenAI、《纽约时报》和微软就侵犯版权2024·2月-OpenAI推出了Sora，这是一个LLM，可以从用户提示中生成长达一分钟的高视觉质量视频（Brooksetal.（2024年）·20244月-Meta推出Llama3，预训练超过15万亿令牌，是GPT-3的50倍，是Llama2的7倍·2024资料来源：知识产权组织16本报告16本WIPO专利格局报告提供了对GenAI领域专利活动和科学出版物的观察。该分析基于2019年WIPO人工智能技术趋势出版物（WIPO2019）。预计GenAI将在各种现实应用和行业中发挥越来越重要的作用。因此，重要的是要了解GenAI领域的技术趋势，以适应商业和知识产权（IP）战略。本报告的目的是阐明当前的技术发展，其不断变化的动态以及GenAI技术预计将被使用的应用。它还确定了关键的研究地点，公司和组织。由于GenAI可以用于许多不同的应用，我们使用多角度的视角来深入了解。特别是，分析是基于图1所示的三个不同的视角。分析是从三个方面进行的：使用的计算机程序或模型;输入和输出的类型或模式;以及GenAI的应用。图1分析型号Modes应用生成对抗网络图像、视频（GANs）软件和其他应用程序物理科学/工程大语言-其他模式模型（LLM大语言-生命科学娱乐文本变式文本Autoencoder文件管理/出版政府电脑语音、声音、音乐商业解决方案艺术与人文3D图像扩散模型工业/制造网络/智慧城市其他GenAl型号分子、基因、蛋白质交通能源管理代码安全制图工业产权、法律、社会行为科学个人设备农业银行/金融军事教育资料来源：知识产权组织，EconSight。第一个视角涵盖了GenAI模型。与GenAI相关的专利申请被分析并分配给不同类型的GenAI模型（自回归模型，扩散模型，生成对抗网络（GAN）、大型语言模型（LLM）、变分自编码器（VAE）和其他GenAI模型）。专利格局报告第二个视角展示了GenAI的不同模式。术语“模式”描述了使用的输入类型或模式以及这些GenAI模型产生的输出类型。根据专利标题和摘要中的关键词，所有专利都被分配到相应的模式：图像/视频，文本，语音/声音/音乐，3D图像模型，分子/基因/蛋白质，软件/代码和其他模式。专利格局报告第三个视角分析了现代GenAI技术的不同应用。现实世界中的应用有很多，从农业到生命科学，再到交通运输等等。1生成式AI：主要概念本章概述了GenAI的主要技术原理，包括其起源和一些历史背景。深度神经网络通常可以适应判别或生成任务，这导致了各种类型的GenAI模型的开发，这些模型可以支持不同类型的输入和输出数据（模式）。背景和历史渊源本章总结了GenAI的主要技术原理，包括一些历史背景。GenAI目前更多地是以描述性的方式定义的，而不是精确的技术特征。经济合作与发展组织（OECD）将GenAI定义为“一种可以创建内容的技术，包括文本，图像，音频，或视频，当用户提示时”（Lorenzetal.2023年）。这里的“文本”对应于文本指令，通常由人类用户产生，可选地与一些给定数据组合。虽然没有提到，但预计生成的内容是新的，有意义的和人性化的。在最近的AI法案中，欧盟将GenAI定义为一种基础模型（欧盟委员会，欧洲议会2023）。基础模型对应于通用人工智能模型在大型和多样化的数据集上训练，以便更容易地用于许多不同的任务。GenAI系统是基础模型的一个特定子集，“专门用于生成具有不同自主性水平的内容，如复杂的文本，图像，音频或视频。“这一定义强调，新内容是基于现有的大型训练数据集生成的，提出了各种问题和偏见，尤其是人工智能法案。从普通用户的角度来看，一个关键的方面是，与传统的“监督”机器学习模型不同，这些模型需要大量特定于任务的注释训练数据，这些模型只需编写自然语言提示即可生成新内容。因此，使用基于这些模型的GenAI工具不需要技术技能。这是第一次，现代尖端的人工智能可以直接向公众开放。这种可访问性使GenAI工具在过去两年中得以广泛传播。例如，在2022年，像稳定扩散（Rombachetal.2021）和Midjourney（Midjourney2022）在社交媒体上吸引了大量关注，并在流行文化中民主化了GenAI（Midjourney2022）。用于会话系统的ChatGPT成为最快达到1亿用户的产品（OpenAI2022）。在专业方面，GitHubCopilot（GitHub2021）将GenAI锚定在软件开发中：根据最近的GitHub调查（GitHub2023b），92%的美国开发人员已经在使用AI编码工具导致GenAI的发展是机器学习和神经网络领域长期而稳定的进步。Amari-Hopfield网络（Amari1972，Hopfield1982），一种具有联想记忆的神经网络，以及长短期记忆（LSTM）递归神经网络（Hochreiter和Schmidhuber1997），通常被认为是GenAI开发的Amari-Hopfield网络演示了如何网络可以存储和检索模式，类似于人类的记忆过程。LSTM1920递归神经网络通过引入一种捕获和学习复杂序列模式的机制来扩展这一点，克服了传统递归网络在处理长距离依赖关系方面的局限性。20然而，早期有效的GenAI不是基于神经网络，而是基于概率图形模型，如马尔可夫网络，它学习基于图形表示的状态转换，而不是使用生物启发的结构。这些统计语言模型在20世纪90年代已经导致了实际的商业应用。语言模型的目标是预测下一个“标记”，例如一个单词，给定一系列观察到的标记。反复应用，可以生成模仿人类语言这种用于生成序列（如单词序列）的迭代方法是所谓的自回归模型的特征，并且可以被视为自动完成函数。成功的早期应用包括机器翻译，例如2000年代部署的Google统计机器翻译，以及语音和文本生成。深度学习在2010年代，神经网络成为深度学习AI的主导方法。虽然神经网络自20世纪50年代以来就广为人知（Rosenblatt1957），但直到20世纪90年代，这些模型只能使用非常有限数量的神经元和层-例如所谓的多层感知器（MLP）。深度学习是30年来增加（“深化”）神经网络层数的累积进展的结果。使用传统的机器学习技术，随着训练数据量的增加，性能可以迅速达到平台。因此，添加更多的数据在一段时间后变得无用。深度学习的一个关键特性是，性能随着训练数据的增加而不断提高。换句话说，我们向深度神经网络（DNN）提供的数据越多，深度神经网络的性能就越好。这些模型的性能取决于计算机的容量和用于训练的数据量深度学习可以超越任何其他机器学习方法，只要大量数据和计算资源可用。《WIPO人工智能技术趋势》的主要发现之一是，深度学习是2010年代末人工智能领域迄今为止规模最大、增长最快的技术，无论是专利还是非专利文献（WIPO2019）。深度学习的进展导致了所谓的生成任务的突破性结果。区分性任务与生成性任务深度神经网络通常可以适应两种不同类型的任务：–辨别性任务涉及对输入数据的决策，例如分类、识别文本中的名称或分割图像。判别模型是经过调整和训练以将输入数据分为这些不同类别的模型。–生成任务涉及在给定一些输入数据的情况下创建新的数据样本生成模型是经过调整和训练以创建此类新数据的模型。它们通常用于翻译文本、生成图像、总结文本或回答问题。图和图3展示了这些基本类型的机器学习任务。判别模型擅长分类，但不能生成新数专利格局报告据。相比之下，生成模型也可以处理区分性任务，但准确率低于区分性模型。生成模型具有更多的参数，计算成本更高，并且通常需要比判别模型更多的训练数据。专利格局报告11该模型必须学习如何区分两个类：绘画蒙娜其他绘画。对于这种模型，学习过程集中在区分类的标准上。因此，作为绘画特征的空间，模型集中于表示两类绘画之间的边界。图2用于分类图像是否是蒙娜丽莎绘画的判别任务资料来源：WIPO，来自维基共享资源的公共领域绘画。对于生成任务，模型必须学习每幅画作的全局方面，以便能够生成连贯的新画作。对于这种模型，学习的重点是在表现绘画的全球分布特征上。这两个生成的图像是使用原始的稳定扩散模型生成的。图3生成新绘画样本的生成任务生成式AI生成式AI：主要概念资料来源：知识产权组织，公共领域下来自维基共享资源的绘画图片。22存在哪些GenAI模型？22凭借其表示和学习复杂数据模式并对其进行扩展的能力，深度学习似乎非常适合数据生成，但也适合对不同类型的数据进行建模。近年来，它使各种类型的GenAI模型的开发成为可能。其中最重要的是生成对抗网络（GAN），基于解码器的大型语言模型（LLM），变分自编码器（VAE）和扩散模型。生成对抗网络生成对抗网络（GAN）是Goodfellowetal.（2014）于2014年引入的一种用于任务生成的深度学习模型。一个GAN由两部分组成，一个生成器和一个转换器。生成器是生成输出图像的神经网络，神经网络评估生成器生成的图像的真实性。因此，生成过程是这两个部分之间的竞争。生成器试图提高其输出以误导鉴别器，鉴别器试图提高其区分真实图像与生成图像的能力，以避免被生成器误导。因此，生成器将最大限度地提高其生成逼真图像的能力如今，GAN用于许多涉及图像的任务，例如生成和增强照片级真实感图像。大型语言模型大型语言模型（LLM）是ChatGPT或Bard等现代会话系统（聊天机器人）的基础。这些模型在大型数据集上进行训练，以学习数据中的模式和结构，使它们能够生成连贯且与上下文相关的新内容。GenAI中的LLM专注于通过预测下一个统计上最有可能的单词来生成类似人类的文本，并用于各种自然语言处理任务，包括文本完成，语言翻译，摘要等。LLM的训练过程涉及对大量文本数据进行预训练，允许模型学习语言的统计特性和语言细微差别。为了实现这一目标，大多数LLM使用transformer，这是一种专门为自然语言处理（NLP）任务设计的神经网络架构，于2017年首次引入（Vaswaniet2017）。Transformers允许研究人员训练越来越大的模型，而无需事先标记所有数据。它们基于自我注意的概念，这意味着它们可以同时关注文本的不同部分这使他们能够捕获文本中的长期依赖关系，这对于理解和措辞复杂的语言非常重要。因此，基于LLM的聊天机器人能够生成连贯和上下文相关的文本。一旦经过训练，这些模型可以针对特定任务进行微调，或者直接用于生成不同的、适合上下文的文本。近年来，多模态大语言模型（MLLM）逐渐取代传统的LLM。MLLM正在克服纯文本输入的局限性，可以从多种方式获取知识（可变）自动编码器自动编码器模型基于三个部分：编码器、编码器和解码器。编码器是一个神经网络，它学习如何将输入数据编码和压缩成一个中间表示，即代码，它基本上是一个数字序列然后，代码由解码器是另一个神经网络，它已经学会了如何将数据转换和重建除了数据压缩之外，自动编码器的目标是学习如何表示某些数据的性质，因此对这种内部表示的微小修改仍然可以重新构建为新的有意义的输出。自动编码器在今天的GenAI中很常见。大量的变体引入了多种改进，例如2013年发布的流行的变分自动编码器（VAEKingmaandWelling2013专利格局报告用于生成复杂多样的图像样本。专利格局报告原始的Transformer模型（Vaswanietal.2017）也是编码器-解码器架构。它已被修改为创建用于文本生成的大型语言模型，11OpenAIGPT模型家族中的解码器部分。换句话说，现代LLM是23基于解码器的大型语言模型。自回归模型自回归模型（英语：Autoregressivemodel）是一类概率模型，它通过对给定序列中先前观测值的每个观测值的条件概率进行建模来描述观测值序列的概率分布。换句话说，自回归模型通过考虑先前的值来预测序列中的下一个值在GenAI的背景下，自回归模型通常用于生成新的数据样本。在数据集上训练模型，然后使用该数据集通过基于先前生成的元素一次预测一个元素来生成新的这使得自回归模型适用于语言生成、图像合成和其他生成任务。GenAI中的自回归模型的示例包括自回归移动平均（ARMA）模型、自回归积分移动平均（ARIMA）模型和PixelCNN模型。用于图像生成。自回归模型在应用于自然语言处理任务（例如，大多数现代LLM，如GPT-3或GPT-4是自回归的）和图像生成任务（如PixelCNN）时特别成功。扩散模型扩散模型的灵感来自于扩散的概念，扩散在物理学中用于模拟一组粒子在两个不同物理区域中的运动。用于图像生成的扩散模型涉及神经网络来预测和去除给定噪声图像中的噪声。生成过程相当于首先将随机噪声（随机像素）应用于图像，然后迭代地使用神经网络来去除噪声。随着噪声逐渐被去除，一个新的和有意义的图像被构建，由额外的机器学习机制控制，如图4所示。扩散模型近年来取得了相当大的进展，现在对于文本到图像的生成非常成功，例如稳定扩散（Rombachetal.2021）和DALL-E模型系列（OpenAI2021）。在提示“acatreadingapatent”的情况下，图4稳定扩散去噪过程资料来源：知识产权组织什么是GenAI模式？生成式AI模型对于各种应用程序都非常有效，甚至可以挑战人类创造力的某些方面。成熟的模型支持不同类型的输入和输出数据（模式），并且不限于文本和图像，这使得GenAI可能与许多经济领域相关。图像、视频生成式AI：主要概念生成式AI：主要概念像，增强或修改输入图像的风格。为了学习像素之间的模式和关系，GenAI模型在大型图像和视频数据集上进行训练，但也与文本相结合。例如，扩散模型可以从简短的文本描述中生成令人印象深刻的高分辨率图像，如Stable[24]扩散，2022年发布（Rombachetal.2021）。另一方面，OpenAI的CLIP（对比图像预训[24练）等模型在2021年（Radfordetal.2021年）或2022年更大的DeepMind的Flamingo（Alayracetal.2022）用于例如从图像或从视频生成字幕。图5进一步说明了Flamingo在通过分析图像，Flamingo模型可以生成文本，如图所示，根据图像为问题提供答案。图5DeepMind的Flamingo模型结合了资料来源：WIPO，基于摘录（Alayracetal.2022）。所有视频均在CCBY-ND2.0下授权。文本OpenAI在2018年发布了GPT（生成式预训练）模型（OpenAI2018），更重要的是在2019年发布了GPT-2（OpenAI2019），加速了GenAI的发展这些LLM依赖于文本作为主要的数据模式。当前基于文本的方法的核心技术是使用之前提到的称为Transformer（Vaswanietal.2017）的深度学习架构，该架构能够从大量未标记的文本中保持学习能力，随着参数的数量扩展到数十亿个参数。模型中的层增加。这种模型可以以可靠的方式解决各种各样的任务，例如自动摘要，机器翻译，论文生成，释义或写作风格增强。2022年11月，ChatGPT向公众展示了基于LLM的聊天机器人的新功能（OpenAI2022）。基于文本的LLM从非常大量的文本中学习当他们保持学习能力时，他们不仅学习一般的语言，而且还学习如何生成关于各种事实的文本关于世界上的实体和事件。ChatGPT利用这一属性，通过人工训练器验证的连续提示和回复来进一步训练LLM。因此，LLM被进一步训练（微调）用于会话使用，在现有能力的基础上实现流畅和多功能的对话，以生成人类语言文本。用户可以与系统发起任何类型的对话，系统以类似人类的方式进行响应，包括后续查询和重新表述以及事实信息，其方式比通常的聊天机器人更具说服力。专利格局报告从那时起，出现了大量相互竞争的产品，包括更好地控制所传达信息的可靠性和改进对话的技术。特别地，检索增强生成（RAG）是一种广泛使用的技术，其将所提供的信息与初步请求的结果一起限制到一个或多个搜索引擎。更昂贵的是，额外的微调是修改LLM本身以进一步专门化或改进回复选择的另一种方式。专利格局报告语音、声音、音乐252016年，DeepMind推出了WaveNet，这是一种能够生成音频波形的深度神经网络（vandenOordetal.2016）。WaveNet是真实人类语音生成模型的一个里程碑，但更广泛地说，它适用于任何类型的音频。以前的文本到语音系统主要是基于连接相对较大的声音片段，如音素，一起形成单词和句子。这种方法需要来自同一说话者的大量语音记录，通常具有不自然的音调和节奏。相反，WaveNet在非常低的水平上学习波形如何随时间变化，一次一个样本地重新创建语音，每秒生成16，000个样本。除了更自然的声音，只需要几分钟的真实录音就可以模仿一个特定的声音。同样的生成方法也可以用于其他形式的音频，比如音乐。MusicML是由Google研究人员训练的280，000小时的音乐，是这种生成系统从文本提示生成整首歌曲的最新例子（Agostinellietal.2023年）。代码2021年，主要的开源软件平台GitHub和OpenAI发布了一款面向开发者的编程助手，名为Copilot（GitHub2021），基于GPT-3的修改版LLM接受英语语言和GitHub公司托管的大量公共软件代码库的培训。助手可以基于描述编程问题的某种自然语言来执行代码生成。它可以提供代码完成，例如在集成开发环境中提供实时建议。它还具有注释和解释现有或生成的代码的能力。这样的工具表明，GenAI有可能改变许多职业的工作方法，并有望提高生产力。分子基因蛋白质一些GenAI模型是在化学分子、基因和蛋白质的大型数据集上训练的。这使他们能够产生具有所需特性的新化学分子，基因和蛋白质结构。GenAI模型还可用于设计新药和疗法，并提高化学和生物过程的效率。2021年，DeepMind了解蛋白质的稳定3D结构对于理解其生物学功能是必要的。然而，“蛋白质折叠问题”非常具有挑战性。根据几十年的实验，我们只知道大约17万种蛋白质的结构，而所有生命形式中现有的蛋白质估计超过2亿种在CASP竞赛中自动生成可靠的蛋白质结构是一个关键的科学里程碑，这一结果对药物发现具有重要意义。3D图像模型GenAI鲜为人知的应用涉及从不完整的输入（例如一些2D图像）重建3D场景的能力NeuralRadianceField（NeRF）于2020年推出，是一种快速的深度学习方法，可以对场景进行几何建模，以及对新视图进行照片级真实感渲染（Mildenhalletal.2020）。这种GenAI技术已经普及到了大众。GoogleImmersiveView将于2023年在某些城市逐步部署，它使用NeRF将2D街道图片转换为3D表示（Tong2023），参见图6。应用于医学成像，例如，它允许从几个或一个单一视图的X射线生成3D计算机断层扫描（CT）扫描，减少电离辐射的暴露。在机器人技术中，这些技术可以帮助机器人与环境互动，提高感知能力1生成式AI：主要概念透明和自反的对象（Corona-Figueroaetal.20221生成式AI：主要概念专利格局报告26专利格局报告基于神经辐射场（NeRF从一组2D图片生成3D模型。然后，可以使用例如与附加信息层相结合的不同照明条件来动态呈现新视图。图6GoogleImmersiveView针对不同城市地标的屏幕截图，如2023年6月在Google地图中发布的来源：GoogleImmersiveView。合成数据正变得越来越重要合成数据是计算机模拟或算法生成的带注释的信息作为真实世界数据的替代品。它通常试图重现现有数据的特征和属性，或基于现有知识生成数据（Deng2023）。它可以采用所有不同类型的真实世界数据的形式。例如，合成数据可以是用于生成物体或场景的逼真图像，以训练自动驾驶车辆。这有助于目标检测和图像分类等任务。由于合成数据，可以快速创建和测试数百万种不同的场景，克服物理测试的局限性。一般来说，当数据不存在、不完整或不够准确时，合成数据对于训练AI模型非常有用。合成数据的开发是可能的，这个过程叫做标签有效学习。标记数据是训练许多AI模型的重要步骤。传统上，标记数据涉及使用所需这是一个耗时且昂贵的过程，尤其是对于大型数据集。GenAI模型可以通过创建逼真的合成数据（图像，文本等）来降低标签成本。通过生成额外的标记数据点来增强现有的训练数据，或者通过学习数据的内部表示，使其更容易用更少的标记数据来训练AI模型。研究公司Gartner预计，到2030年，合成数据将成为GenAI的主要数据类型，因为它具有许多优势（Ramos和Subramanyam2021），见图7。合成数据可以通过避免冗长的数据采集程序来快速开发GenAI模型。虽然今天的重点是可用的真实数据，但未来人工生成的数据可能会占主导地位。图7合成数据对GenAI可能变得越来越重要合成数据–合成数据–自动生成的数据–由简单规则、统计建模、模拟等技术真实数据–通过直接测量–受制于成本、物流、隐私等原因资料来源：WIPO，改编自Gartner（RamosandSubramanyam2021）。11GenAI27的数据集数据可用性的增加一直是GenAI发展的一个主要因素。许多数据集已被开发和组装用于GenAI目的。然而，由于与公共数据集有关的平台和服务高度分散，跟踪与数据有关的活动很复杂。截至2023年11月，全球研究数据库注册中心Re3data报告了全球3，160个不同的研究数据库（Re3data2023）。通过这些平台提供的大部分数据都是以开放获取的方式分发的，通常是在知识共享许可下，来自各种公共机构：研究机构、公共管理机构、博物馆、档案馆等。GenAI模型使用的实际训练数据目前记录得很少。我们依靠对GenAI语料库的开放获取子集（共75，870篇文章中的34，183篇）进行文本挖掘分析，以捕获实际使用的数据集。通过这种方法，我们总共获得了978，297个数据集提及（方法见附录A.1）。排名靠前的数据集都是基于图像的，还有一些基于文本的数据集，比如维基百科和PubMed。数据集名称引用文件提及总数主要方式1ImageNet2,7416,823图像2MNIST2,5339,292图像3CIFAR-102,1607,744图像4CelebA1,7055,713图像5Coco1,1413,390图像6维基百科6622,599文本7FFHQ数据集5961,983图像8时尚达人5201,375图像9CelebAHQ4741,081图像SVHN3981,414图像PubMed3931,144文本GSM8K3501,704文本CIFAR-100338849图像HumanEval3221,269文本莱恩314731图像CUB数据集3121,118图像LSUN310608图像CommonCrawl290546文本城市景观272974图像20MMLU270746文本资料来源：知识产权组织。表1显示，引用最多的数据集似乎是图像理解数据集，如ImageNet，MNIST，CIFAR等，生成式AI：主要概念它们通常用于训练和评估GenAI模型，特别是GAN模型。第一个基于文本的数据集是维基百科和PubMed。HumanEval是第一个特定于文本和LLM的数据集：它是生成式AI：主要概念（GitHub2021）等代码生成系统的评估基准。从头开始训练GenAI模型的两个主要数据源是LAION（位置15）和CommonCrawl（位置18）。CommonCrawl是一个抓取网络28并免费向公众提供其数据集（CommonCrawl2023）。他们的数据集包括以网站样本的形式从美国发布的合理使用声明的版权作品。大多数LLM使用CommonCrawl数据进行训练。28LAION（Large-scaleArtificialIntelligenceOpenNetwork，大规模人工智能开放网络）是一个非营利性组织，提供与图像相关的大型数据集（图像-文本对LAION2023）。这些数据集支持大多数GenAI文本到图像模型，如稳定扩散。为了减轻版权和GDPR问题，数据集不包括图像，但包含引用图像的URL（网址）。专有模式与开放模式GenAI作为内容创建和生产力提高的技术推动者，必将对许多行业产生重大影响。为了实现GenAI的实际使用，两种类型的模型正在出现，专有模型和免费提供的开放模型：–第一类包括OpenAI的GPT3和4或Alphabet/Google的BARD聊天机器人。这些模型背后的公司允许开发人员和个人付费访问他们的API。这些型号配备了专业支持、文档和大型计算基础设施，确保了高水平的可靠性和性能。–开放模型，通常被称为开放数据或开放源代码模型，免费提供给公众，任何人都可以使用，修改和分发它们，可能会有一些限制（例如商业应用）。开放模型受益于开发人员、研究人员和用户的社区以及透明度，因为运行模型的代码通常可供审查。开放模型的例子是Meta然而，今天只有少数模型，如GPT-NeoX（EleutherAI）和OLMo（AllenInstituteforAI）可以被认为是完全开放的，释放模型和训练数据，以及用于训练和运行模型的代码，没有使用限制。开放获取GenAI模型HuggingFace商业平台是目前最受欢迎和最知名的公开共享开放访问机器学习模型的服务（HuggingFace2023），不限于数据和模型类型。在编写本报告时，在共享模型的数量和多功能性方面没有可比的替代方案。HuggingFace上的主要模型是基于文本的，只有图像的输入和生成模型仍然是非常小的一部分。图8按拥抱面部生成数据类型划分的GenAI模型分布文本（78%文本（78%）百分专利格局报告专利格局报告Ima多式联运（15%）Ima（6%）注：多模式意味着输入的数据类型与生成的数据类型不同。资料来源：WIPO，基于HuggingFace的数据，2024年1月。资料来源：WIPO，基于HuggingFace的数据，2024年1月。11截至2024年1月20日，HuggingFace拥有477，329个机器学习模型，其中106，430个29(22.3%）可以被认为是GenAI模型。可以根据输入和生成数据的类型对不同的模型进行细分（有关详细信息，请参见下一章关于数据类型的信息）。图8显示，文本生成模型在很大程度上占主导地位，这可能与过去两年会话系统的兴起有关。大多数基于图像的模型表现为多模态，使用文本提示作为输入或生成图像标题，而不是执行图像到图像的生成。GenAI软件由于软件出版渠道的多样性、开发环境的多样性、现代软件工程的分散性以及缺乏中央元数据索引，软件的生产很难跟踪然而，主要的开源开发平台GitHub提供了一个很好的代理，可以捕获大量的活动，一个地方据报道，它拥有2.84亿个公共存储库，是开源协作开发的参考（GitHub2023c）。当核心技术创新很早就以开源软件和开放获取模式的形式提供时，与直接内部研究相比，大型组织可以以有限的风险和投资受益。即使没有软件IP，拥有最大数据集和计算能力的组织也可以利用这些优势开发领先的人工智能系统。使用与附录和GitHub公共API（GitHub2023a）中描述的搜索词类似的搜索词，我们按月份展示了最近的公共代码存储库创建，与GenAI术语相关的元数据，如图9所示。我们在2022年底ChatGPT发布时观察到创作的繁荣，显示出最近对该领域开源开发的巨大兴趣。然后，存储库创建的数量会下降，因为活动可能会自然地发展到改进和支持这些创建的存储库。这些数字表明，我们仍然处于最近对GenAI的研发兴趣的浪潮中2022年底ChatGPT的发布导致了公共代码存储库创建的热潮。图9与GenAI相关的GitHub存储库（按月划分不含分叉202224,00022,00020,00018,00016,00014,00012,000ChatGPT发布创建的储存ChatGPT发布创建的储存库8,0006,0004,0002,0000Jan四月七月十月一月4月7月10月202320222023资料来源：WIPO，基于GitHub数据，2024年1月。生成式AI中最具影响力的软件生成式AI：主要概念表2列出了机器学习GitHub存储库中产生的分叉总数（2023年12月6日的开源开发中的分支是现有存储库的副本虽然所有这些都与GenAI相关，但八分之三是GenAI特有的（ChatGPT-Next-Web，AutoGPT和生成式AI：主要概念1然而，生成的代码可能并不总是能够归属于输入代码，这意味着更广泛的IP问题。8个存储库与机器学习相关，其中3个特定于GenAI（以橙色突出显示）。表2机器学习相关的GitHub存储库在前100个存储库中的排名（按分叉机器学习全球GitHub排名（按数量）数量数量叉叉项目名称叉明星出版商15TensorFlow89,193179,236谷歌215OpenCV55,76072,799社区33ChatGPT-Next-ChatGPT-Next-Web46,87946,87952,75052,750社区422模型46,22676,275社区5AutoGPT37,701154,414社区676scikit-learn24,93556,610社区788变压器23,246116,502HuggingFace8稳定扩散网络22,463112,329社区资料来源：WIPO，基于GitHub数据，2024年1月。然而，将我们的影响研究仅限于开源软件是不完整的。科学出版物中提到的软件提供了GenAI中实际影响力软件的更全面的图片我们对GenAI科学出版物语料库（一组75，870篇科学文章）的开放获取子集（34，183篇PDF文章）进行了文本挖掘分析，并提取了789，218个软件提及。有关方法载于附录专利格局报告A.1.表3列出了20个被引用最多的GenAI软件。OpenAI的ChatGPT在引用文档方面是被引用最多的软件，也被广泛讨论，提及次数超过10万次。如果我们忽略开发框架和实用程序，只关注特定于GenAI的软件（表3中的粗体），那么前20名中大约一半的高引用软件都是专有软件，并且都来自OpenAI（ChatGPT，GPT，Codex）。专利格局报告11在科学出版物中提到的主要软件是ChatGPT，其他31个GenAI专用软件以橙色突出显示表3GenAI语料库开放获取子集中提到的前20个软件（共34，183个成功下载的PDF）软件名称引用文件提及总数1ChatGPTChatGPT4,783137,8222PyTorch3,8325,5663TensorFlow1,6272,6024CycleGAN1,07712,6555AlphaFold1,00513,5286GPT85918,3708scikit-learn8531,1879MATLAB7301,49210AdamW649891StyleGAN3,31012Keras583878pix2pix5181,11714Huggingface50793615GitHub5062,23516MechanicalTurk45171417Linux396624食典3803,868StarGAN3772,71620Windows377564资料来源：知识产权组织。生成式生成式AI：主要概念2GenAI的全球专利近年来，深度学习技术的进步和计算能力的提高刺激了GenAI对专利和科学出版物的分析表明，GenAI正在全球范围内蓬勃发展，本章重点介绍了GenAI的顶级专利所有者、主要发明人所在地以及GenAI专利保护正在寻求的地方全球发展以下章节概述了GenAI领域的专利活动以及科学出版物的发展。对于专利，根据IFIClaims专利数据库中的专利数据，识别并分析了与GenAI相关的所有专利家族出版物（详细方法见附录A.1）。专利族是指涵盖相同或相似技术内容的专利申请的集合。同样的发明）。我们使用专利家族来计算发明，而不是使用相应的同一主题，并在不同的司法管辖区提交。对于科学出版物的分析，我们使用TheLens（Cambia2024）作为文献分析工具，该工具广泛覆盖了科学出版物（主要检索查询见附录A.6近年来，深度学习技术的进步和计算能力的提高刺激了GenAI的发展。GenAI的重大进展反映在该领域专利活动的急剧增加上。在过去10年中，GenAI模型中已公布的专利家族数量从2014年的不到800个增加到2023年的14，000多个。从2017年开始，专利活动大幅增加，此后平均每年增长约45%。这与2017年变压器的推出不谋而合。总的来说，专利检索确定了2014年至2023年期间GenAI领域发表的54，358个专利家族。截至2023年底，该专利数据集中约有89%（48，398个专利家族）33在2017年推出Transformer模型后，专利和科学出版物都大幅增加，其中科学出在版物在2022年ChatGPT发布后出现爆炸式增长。图10GenAI的全球专利系列和科学出版物的发展，201430,00025,00020,00015,00010,0005,000发布ChatGPTTransformer型号2014201520162017201820192020202120222023GenAI专利家族资料来源：WIPO，基于EconSight/IFIClaims的专利数据，2024年4月，以及TheLens的出版物数据，2024年1月同期，科学出版物的数量增长更快，从2014年的100种左右增加到2023年的34，000多种。特别是在2023年，科学出版物的数量大幅增加。很可能在2022年发布非常成功和流行的GenAI模型和工具（ChatGPT，StableDiffusion，LlaMA等）。引发了GenAI研究的新最近的许多研究似乎都集中在减少大型生成模型的大小，更好地控制生成过程以及探索各种应用和领域。2023年专利家族出版物也有所增加，但没有科学出版物那么多。但可以预期，2024年和2025年专利族的出版将出现类似的加速，因为新专利的申请和出版之间通常有18个月的滞后（WIPO2021）。GenAI仍然是AI中相对较小的一部分，但正变得越来越重要。将GenAI专利家族出版物的发展与自2014年以来所有AI专利家族出版物的发展进行比较时，很明显，GenAI仍然只是所有AI研究活动中相对较小的一部分2023年，GenAI专利家族共有14，080篇出版物，而AI专利家族出版物总数接近230，000篇。然而，自2017年以来，我们可以看到GenAI在所有AI专利中的份额一直在增加（从2017年的4.2%增加到2023年的6.1%图11）。专利格局报告鉴于自2022年11月ChatGPT推出以来，公众对GenAI的兴趣大幅增加鉴于上述新专利的申请和公布之间存在时间差，从2024年起，GenAI研究活动的增加可能会在专利数据中变得更加明显。专利格局报告22GenAI专利出版物在所有AI专利中的份额略有上升35自2017年以来，从4.2%增加到2023年的6.1%，未来可能会进一步增加。百分之AI百分GenAIAI资料来源：WIPO，基于EconSight/IFIClaims的专利数据，2024年4月。顶级专利拥有者中国公司腾讯、平安保险集团和百度在过去10年中发布了最多的GenAI专利系列（图12）。腾讯推出了基于LLM“浑源”的AI聊天机器人，该机器人支持图像创建、文案撰写和文本识别等应用（腾讯2023）。公司利用“浑源”为微信等旗舰产品增加AI能力，提升用户体验。平安保险的人工智能计划重点关注用于承保和风险评估的GenAI模型（MarketsandMarkets2023）。百度是GenAI领域最早的参与者之一，最近发布了最新的基于LLM的AI聊天机器人，ERNIE4.0。百度还为IT、交通或能源等行业开发了多个LLMGenAI的全球专利和研究（Triolo和PereraGenAI的全球专利和研究[36]虽然大公司是最大的专利拥有者，但中国科学院作为一个研究机构排在第四位，[36高于IBM（研究机构以粗体显示）。图122014腾讯控股（中国）平安保险集团（中国）百度（中中国科学院（中国）IBM（美国）阿里巴巴集团（中国）三星电子（韩国）Alphabet（美国）字节跳动（中国）微软（美国）步步高电子（中国）网易（中国）NTT（日本）华为（中国）清华大学（中国）浙江大学（中国）中国移动（中国）国家电网（中国）Adobe（美国）索尼集团（日本）2014电话真：+86-020-888888881,2001,4001,6001,800两千注：GenAI中已发布的专利家族。资料来源：WIPO，基于EconSight/IFIClaims的专利数据，2024年4月。中国科学院（第四），清华大学（第15）和浙江大学（第16）是前20名中唯一的研究机构阿里巴巴集团（第六）、字节跳动（第九）、步步高电子（第11）、网易（第12）、华为（第14）、中国移动（第17）和国家电网（第18）是前20名中的其他中国公司IBM（第五）、Alphabet/Google（第八）、微软（第十）和Adobe（第十九）是GenAI专利家族中排名靠前的美国IBM开发了一个GenAI平台Watsonx，使公司能够使用和定制LLM，重点关注数据安全和合规性，因为公司可以构建基于自己数据的AI模型（StackOverflow2023）。Alphabet集成到谷歌的搜索引擎、广告产品、Chrome浏览器和其他产品中（Pichai和Hassabis2023）。微软是GenAI的主要参与者，不仅通过其对OpenAI的大量投资，还通过其他研究活动。例如，微软排在前20名之外的还有电子集团三星电子（第7位大韩民国）、日本公司NTT（第13专利格局报告位）和索尼集团（第20位）。三星最近宣布开发SamsungGauss，这是一种GenAI模型，可以撰写电子邮件，总结文档和翻译文本，该公司计划将其集成到其手机和智能家电中（Yoon2023）。专利格局报告2237OpenAI有专利吗37由于ChatGPT的成功，OpenAI在公众眼中已经成为GenAI的代名词。然而，OpenAI似乎直到2023年初才为其研究活动申请任何专利。对此的一个解释可能是OpenAI的非营利起源。最初，OpenAI是作为一个非营利组织成立的，鼓励其研究人员以“最有可能造福人类的方式”发布和分享他们的工作，“作为一个整体”（Brockmann和Sutskever2015）。OpenAI最初将其技术的重要部分开源。该公司后来从非营利模式转变为“封顶”营利模式（OpenAI拆分为非营利OpenAI，Inc和营利子公司OpenAIGlobal，LLC，微软是主要投资者之一）。另一种解释可能是OpenAI选择以商业秘密的形式保留其知识产权。OpenAI似乎首先用商业机密保护其部分技术（Keseris和Kovarik2023）。然而，OpenAI在2024年第一季度公布了六项美国专利（三项已授权，三项待批准），这些专利于2023年初提交，表明知识产权战略的变化和专利组合的创建。正如这份专利格局报告所显示的那样，在过去十年中，大多数大型科技公司都提交了许多GenAI专利，以保护未来的收入免受许可证指控的影响。因此，OpenAI仔细观察全球研究机构的研究活动可以发现，中国科学院拥有迄今为止最广泛的专利活动。自2014年以来，这家中国机构已经公布了600多个专利家族，几乎是排名第二和第三的清华大学和浙江大学的两倍。中国科学院于2023年夏天推出了最新的LLM模型总的来说，前10名中有8家，前20名中有9家是中国的研究机构GenAI的全球专利和研究除中国大学外，前20名中还有4所美国大学（加利福尼亚大学、西北大学、斯坦福大学、亚利桑那州立大学）、3所韩国研究机构（韩国科学技术研究院、韩国科学技术高等研究院、首尔国立大学）、3所日本研究机构（国立信息通信技术研究所、东京大学、大坂大学）和1所瑞士大学（苏黎世EidgenössischeTechnischeHochschule图GenAI的全球