ChatGPT：AI模型框架研究

——AI行业深度报告邮箱li证书编号s1230523020002.一、AI框架重要性日益突显，框架技术发展进入繁荣期，国内AI框架技术加速发展：1、AI框架作为衔接数据和模型的重要桥梁，发展进入繁荣期，国内外框架功能及性能加速迭代；2、Pytorch、Tensorflow占据AI框架市场主导地位，国内大厂加速布局AI框架技术；3、AI框架技术从工具逐步走向社区，生态加速形成，未来围绕安全可信、场景落等维度呈现显著发展趋势；二、GPT开启AI大模型时代，国内外大厂发力布局，商业化空间加速打开：1、数据、算法、模型三轮驱动AI发展，大模型优势显著，成为AI主流方向；2、GPT开启千亿参数级AI大模型时代，语言、视觉、科学计算等大模型快速发展；3、微软加速AI商用化进程，国内大厂发力布局，看好在细分场景下的应用落地；三、建议关注标的：1、基础层：AI算力：中科曙光；大模型：360，科大讯飞2、应用层：AI+工具：金山办公；AI+建筑：广联达；AI+法律：通达海；AI+医疗：创业慧康，久远银海；AI+教育：科大讯飞；AI+网安：安恒信息、奇安信；AI+金融：同花顺；AI+交通：佳都科技2风险提示：1、AI技术发展不及预期；2、版权、伦理和监管风险；23AI框架数据准备环境安装算法实现模型训练模型验证数据准备环境安装算法实现模型训练模型验证数据准备模型训练数据准备模型训练使用深度学习框架工具进行开发通用模型架构通用模型架构支持计算机视觉应用支持计算机视觉应用使用主流编程语言使用主流编程语言↓分布式硬件资源分布式硬件资源使用深度学习框架工具进行开发开发者使用简单开发者使用简单4支持4支持AI领域的快速变化资料来源：北京日报，认知计算与云安全公众号，华为云，浙商证券研究所算子优化统一标准端云一体算子优化统一标准端云一体大模型大任务全场景API复杂无GPU支持手动实现网络theano编译层优化多场景任务支持丰富套件支持使用简单多GPU支持复杂网络支撑生态友好分布式支持效率优化可拓展隐私与公平发布时间开发公司深度学习框架语言是否开源计算图发布时间开发公司深度学习框架语言是否开源计算图是否是分布式框架特点/优点caffeCNTK66)√√√√√√√√基于源码转换自动微分，不依赖计算图√√√√√速度快、使用方便、社区好性能高、适合做语音任务容易上手简单清晰通用轻便灵活高效资料来源：机器之心，CSDN，浙商证券研究所2018-2022年全球论文发表数量（按使用框架分）2022年中国开发者人工智能框架使用率Pytorch版本平均每3~4个月更新一次，功能服务持续扩充开发者模型部署效率训练速度提升1.5-2.0倍代码简洁灵活代码简洁灵活8文档规范算法研究员：最新arXiv论文算法快速复现及开发；资料来源：CSDN，浙商证券研究所01OpenAI：从多种框架的使用到专注于Pytroch深度模型框深度模型框 大多数情况使用TensorFlow大多数情况使用TensorFlow+特殊情况使用Theano99资料来源：OpenAI官网，浙商证券研究所乱、入门困难缺乏调度能力，需手动配置使得神经网络能够使得神经网络能够优点：简化的模型开发流程、强大移动设备上运行添加两种新机制，解决输入管道瓶颈并节约资源处处稳定版诞生本运用更简单的模型进行构建、简化套件-模型库AIAI领域扩展库AI+AI+科学计算并行及优化组件科学计算组件…安全可信组件工具组件…模型可解释数据-模型安全…训练可视化…编程开发编程接口编程接口API编码语言编码语言分布式并行分布式并行模型轻量化模型轻量化编译优化计算图中间表示计算图中间表示硬件使能全功能AI全功能AI开发平台零门槛AI开发平台资料来源：CSDN、中国日报中文网、浙商证券研究所前端便捷化后端高效化多种开发语言无缝衔接全场景标准化互通混合并行分布式处理丰富编程接口统一加速引擎鲁棒性检测模型可解释框架精细化模型自适应前端便捷化后端高效化多种开发语言无缝衔接全场景标准化互通混合并行分布式处理丰富编程接口统一加速引擎鲁棒性检测模型可解释框架精细化模型自适应动静图转换能力提升后端运行效率AI框架与硬件平台解耦，通过标准接口实现跨设备平台快速部署突破五堵墙：内存墙+算力墙+通信墙+调优墙+部署墙内置专业领域科学计算套件提供丰富的AI鲁棒性检测工具AI模型的压缩和端侧推理框架的轻量化资料来源：中国信息通信研究院《2022年AI框架技术白皮书》、浙商证券研究所AI大模型02算力+数据支撑AI大模型加速发展Alphafold实现Alphafold实现AlphaZero数据爆炸2022年ChatGPT算法迭代算法迭代资料来源：CSDN、腾讯网、新浪网、浙商证券研究所02大模型为基底，AI大模型发展为场景应用AI大模型优势开发门槛低AI应用通用化AI开发工程化项目建设集约化开发门槛低AI应用通用化AI开发工程化项目建设集约化泛化性+通用性利用计算机模拟、延伸及利用计算机模拟、延伸及拓展人类语言能力在语言理解与生成、智能创在语言理解与生成、智能创作、机器翻译、智能对话、知识图谱和定制化语言解决方案落地应用发展顺利语言的歧义、文化差异及语言的歧义、文化差异及多样化、情感分析困难以多个数据信息维度约束以多个数据信息维度约束来验证情感分析及文本分析的准确性计算机模拟生物视觉，理计算机模拟生物视觉，理解数字图像和视频，并提取目标信息2D2D数据工业质检、智慧城市落地完善，应用场景多；人脸、OCR识别发展较为成熟数字孪生的数据获取困难，算法处理复杂打通数据融合以突破打通数据融合以突破3D/4D获取瓶颈高效率完成再现、预测和高效率完成再现、预测和发现客观世界运动规律及演化特征的全过程科学计算大模型对开发者专科学计算大模型对开发者专业知识要求严苛，高质量训练数据的获取成本高，导致模型整体研发成本昂贵科技大厂与科研院校加强科技大厂与科研院校加强合作---资料来源：电子工程世界、微软官网、OpenAI官网、Github、MetaCLIP-DALL·ECLIP的zero-shotlearning技多功能统一模型跨模态文档理解根据输入的文本/简笔画生成对应逼真的风景图、在8种图像和视频处理的视觉任务上具有出文字描述、图像分割、草图都可以转化为图片Whisper语音生成文本，支持语音转录和翻译两项功能文本、图片生成短视频，根据输入的自然语言资料来源：澎湃网、CSDN、百度、OpenAI官网、02OpenAI以GPT为基石，深度布局各模态AI及各类应用Whisper语音-文本模型DALL-E2InstructGPT论文年份2018201920202022Transformer层数4896—参数量15.8亿预训练数据量5GB40GB45TB—来源：CSDN，电子工程世界，腾讯网，浙商证券研究所02ChatGPT实现路径：算力与框架支持，应用百花齐放对话虚拟人对话虚拟人人工智能客服人工智能客服语音工作助手语音陪伴语音陪伴对话类搜索引擎人工监督微调人类反馈强化学习人工监督微调人类反馈强化学习RLHF承认自身错误质疑不正确的问题承认自身的无知承认自身错误质疑不正确的问题承认自身的无知人类反馈强化学习RLHF小样本学习能力人类反馈强化学习RLHF小样本学习能力效果好参数少深度学习框架效果好参数少深度学习框架易于使用API迭代更稳定易于使用API迭代更稳定资料来源：CSDN、机器学习算法与自然语言处理、电子工程世界等、浙商证券研究所指令微调（instructiont指令微调（instructiont参数数量降低了100倍资料来源：CSDN、电子工程世界、新智元、浙商证券研究所将ChatGPT整合进Bing和Edge新版Bing搜索引擎新版Bing搜索引擎新版Bing功能展示新版Bing功能展示创建菜谱、制定旅行计划、诗歌创作等创建菜谱、制定旅行计划、诗歌创作等资料来源：微软、TheVerge，浙商证券研究所,会与微软365应用程序一起，作栏●CopilotinWordCopilotCopilotinWordCopilotinPowerPoint•Copilot可以跨应用程序生成内容。例如，根据Word文档，可以生成一个10张幻灯片的PPT•提升演讲效果，增加字体大小和•一键压缩冗长的演示文稿，调整布局、重新格式化文本和完美的•Copilot可以根据需求创建初稿•对文本内容进行提炼、•用户还可以根据需求调、热情、感谢等应用场景CopilotinTeamsCopilot应用场景CopilotinTeams•在短时间内识别趋势或创建数据可视化•Excel用户可以通过Copil时创建SWOT分析或基于数•在对话上下文中提供实时摘要和操作项，进行会议内容总结，提醒可能错过的东西•如果参加会议时间较晚,copilot会提供一份错过的内容摘要，从而提高会议效率02Google在各模态领域布局AI模型，并提供多项功能服务模块类别模型功能计算机视觉Pix2Seq用于对象检测的语言建模框架多模式模型DeViSE视觉语义嵌入将语义理解添加到图像模型多语种语言图像学习FindIt基于自然语言的通用对象定位VDTTS视觉驱动的文本到语音音频生成AudioLM基于语言建模的音频生成来源：CSDN，新浪，GoogleParti，浙商证券研究所02国内AI大模型，大厂+高n大模型的主要玩家有科技大厂、高校和新型研发机构，形成了四种合作模式（1）大厂独立完成（2）机构+高校（3）大厂+高校（4）大厂+机构+高校。大厂通过资金优势、数据优势往往可以独立完成或主导合作。机构凭借行业领袖的团队和政府的资金支持，可以主导合作。而高校凭借行业领袖的团队提供科过去来看，由于大厂受到商业任务限制，资金和数据优势未能充分发挥。而未来，在ChatGPT之后，经过验证的模式铺平商业决策之路，将逐步成为未来大模型的主导力量。资金优势数据优势科研能力优势资金优势数据优势科研能力优势无商业任务资金优势科研能力优势资金优势科研能力优势无商业任务数据来源：CSDN、电子工程世界、新智元坐拥大模型+训练框架+数据+社区多重优势，百度有望成为AIGC领域率先实现商业化的领头羊。自2019年发布ERNIE1.0，百度持续投入大模型的技术创新与产业应用，布局了NLP、CV、跨模态等大模型，率先提出行业大模型，成了支撑大模型产业落地的关键路径，构建文心大模型层、工具平台层、产品与社区三层体系。根据IDC的大模型评分，在产品能力、生态能力和应用能力三个维度上百度均位于第一梯队，且在生态维度远高于平均水平，这得益于百度的大模型框架“飞桨”、旸谷社区。百度于2023年3月发布“文心一言”，成为首款中文生成式对话大模型产品。文心大模型评分文心大模型与产品框架文心大模型评分工具与平台浦发-浦发-百度·文心航天-百度·文心人民网-百度·文心冰城-百度·文心电影频道吉利-百度·文心泰康-百度·文心TCL-百度·文心HelixFold-Single视觉-语言语音-语言地理-ERNIE1.0架构：改进了MLM任务ERNIE2.0：+持续学习框架ERNIE3.0、3.0TITAN：+参数量ERNIE版本2.03.03.0TITAN推出年份2019202020212022参数量参考bertbase(1.1亿)参考bertbase(1.1亿)，bertlarge（3.4亿）100亿2608亿预训练数据量discourserelation4TB-数据来源：CSDN，电子工程世界，浙商证券研究所。注：ERNIE（EnhancedlanguageRepresentationwithInformativeEntities）02阿里巴巴：通义大模型训练策略和框架上n阿里巴巴率先构建大模型统一底座、通过训练策略大幅提升稀疏参数大模型框架训练效率，在大模型框架上具备领先地位。阿里巴巴2021年3月发布M6，成为国内最早提出千亿模型的厂商，同年发布十万亿模型M6-10T，通过expertprototyping训练策略成功实施MoE稀疏参数模型，使模型达到10万亿参数级别。2022年9月发布通义大模型，通过统一学习范式M6-OFA和模块化的设计，提升大模型跨模态能力和效率。Dense模型与MoE模型2023年报电话会上，集团CEO张勇表示针对生成式AI趋势，Dense模型与MoE模型阿里通义大模型架构阿里通义大模型架构123SA SASADense模型MoE模型n华为盘古大模型深耕实业，拥有更广泛的行业大模型，具备更强的落地能力。n基于ModelArtsAI工作平台的盘古大模型2021年4月发布，目前已应用于10+行业的100+应用场景。n根据信通院模型开发和模型能力两方面测评，均为优异水平。盘古预训练大模型架构及Offering大企业或政大企业或政府方案（混合云或公有云）细分场景模型工作流订阅及基于下游任务微调合作伙伴交付中国企业方案（中国企业方案（云边协同）行业大模型L0→L1行业大模型定制费L0基础大模型使用授权费盘古工作流（快速交付：工作流，增量学习，小样本标注）盘古行业大模型（行业know-how：行业数据预训练，无监督训练）小语种/英语数字人大脑工业耗能/参数预测生产线质检金融风控智慧育种销量预测煤矿基础大模型基础大模型多模态大模型 视觉大模型预处理算法并行推理框架预处理算法并行推理框架Workflow2.0 预置工作流数据采集标注任务特征存储数据集管理器AI应用 预置工作流数据采集标注任务特征存储本地训练 其他数据来源渠道L__________本地训练AI+法律：通达海；AI+医疗：创业慧康，AI+教育：科大讯飞；AI+网安：安恒信息1、AI技术发展不及预期：当前以ChatGPT为代表的2、版权、伦理和监管风险：AIGC生成的内容依赖现有版权素材，另外不当使用或模型 以报告日后的6个月内，行业指数相对于沪深300指数的涨跌幅为标准，定义如下：1、看好：行业指数相对于沪深300指数表现＋10%以上；2、中性：行业指数相对于沪深300指数表现－10%10%以上；3、看淡：行业指数相对于沪深300指数表现－10%以下。我们在此提醒您，不同证券研究机构采用不同的评级术语及评级标准。我们采用的是相对评级体系，表示投资的相对比重。建议：投资者买入或者卖出证券的决定取决于个人的实际情况，比如当前的持仓结构以及其他需要考虑的因素。投资者不应仅仅依靠投资评级来推断