人工智能行业首批大模型C端产品测评：国内AI应用进展如何

研究助理：杨晓玮发布日期：2023年9月26日本报告由中信建投证券股份有限公司在中华人民共和国（仅为本报告目的，不包括香港、澳门、台湾）提供。在遵守适用的法律法规情况下,本报告亦可能由中信建投（国际）证券有限公司在香港提供。同时请务必阅读正文之后的免责条款和声明。>8月底，国内首批8家大模型通过《生成式人工智能服务管理暂行办法》备案并可向公众提供服务，包括百度、智谱、百川、字节、商汤等，我们通过文本、逻辑、多模态等多个维度对比：1），应用场景功能通用应用场景功能通用3APP，网页版APP，网页版APP，网页版APP，网页版是是是是是是------有有有有有有有有有有有有有有有有有有有力有有4>我们通过横向对比各应用在完成不同细分领域任务时的效果，以及体验各应用的特色功能，认为各应决特定任务；通义千问划分相应垂类AI助理，但数量少于前两者；腾讯混元也划分众多细分场景，但模型系列日日新中的文本对话应用，系列内其他应用具备图像、视频、3D模态的生成能力；百川智能 5第一章第二章第三章第一章第二章第三章其他AI应用：百度输入法、给麦、筑梦岛6>AI应用下载量与热门游戏/垂类AI应用存在差距。据七麦数据，自面向全社会开放以来，百度文心一言、讯飞星火的iOS端APP首日下载量均突破30万；但自公开发布起3周内，讯飞星火安卓端下载量172万（实际上线16天），文心一言iOS端及安卓端累计下载量270万，仅与妙鸭相机上线后3周的300妙鸭相机文心一言讯飞星火智谱清言豆包7>据国内中文领域权威测评榜单SuperCLUE，其最新8月榜单显示，GPT4、gpt-3.5-turbo的综合得分为MiniMax的语言理解能力仅次于GPT4，百川的130亿参数版本在闲聊、知识百科、角色扮演方面优于模型名称语言理解知识百科逻辑推理83.083.091.391.390.690.695.195.189.789.783.983.9gpt-3.5-turbo80.080.058.958.9Baichuan-13BChat(V2)81.681.659.359.358.758.787.787.741.941.944.144.1MiniMax-abab585.585.554.154.146.46.42.542.5文心一言(V2.2.3)754.754.741.741.42.642.6讯飞星火(V2.0)42.842.843.43.33通义千间(V1.0.5)46.146.158.658.640.240.242.242.253.653.647.747.7ChatGLM2-6B345.345.8理解为“王刚才离开”回答待优化通义千问“不太明白是什么意思，无法定它的具体含义”"并没有在我们的知识库中找到相关解释或定义"文心一言讯飞星火智谱清言百川智能9文心一言通义千问智谱清言文心一言通义千问智谱清言讯飞星火百川智能“不确定洗衣机炒番茄是什么意思”，但给出炒番茄的正确制作方法“无法理解该问题，洗本机炒番茄并不是一个常见的享方法或食谱”智谱清言智谱清言讯飞星火通义千问讯飞星火讯飞星火通义千问智谱清言 讯飞星火>5）长文概括能力存在偏差。我们要求各应用在终生成的摘要基本囊括了关键信息，但字数均超100字，且在120-200字不等，百度使用了119字；商0“这个问题我不了解相关…文心一言智谱清言考察方面提问文心一言智谱清言通义千问讯飞星火百川智能豆包大纲生成总体效果全面全面全面较全面较全面情节有结构层次但无其他部分情节结构层次不明显--小说题目有有有有有--故事背景有有有--主要人物有有--故事情节有有有有有有有--故事主题有有--备注生成多个章节生成多个章节结构层次不-生成结果均具备可读性，而其中文心一言、豆包、智谱清言还会额外为文案配上简易表情包或话题标签；相比于通用场景，通义千问及讯飞星火的垂直功能“小红书文案生成”，均能就需求生成更通义千问通义千问水量或将其默认为“零”遗漏的关键信息即“初始水量”，给出了严谨且正确答案；其余多数应用未考虑初始水量或将其默文心一言讯飞星火百川智能智谱清言通义千问讯飞星火百川智能通义千问讯飞星火百川智能智谱清言豆包模仿成功自我介绍模仿成功但假设自己是周杰伦通义千问文心一言智谱清言百川智能模仿成功自我介绍模仿成功但假设自己是周杰伦通义千问文心一言智谱清言百川智能,但仍视自身为AI助手作自我介绍；通义千问使用了口头禅并假设自己为周杰伦；讯飞星火、商量模仿失败模仿失败讯飞星火以相对平淡的口吻，假设自己是周杰伦进行了自我介绍以“嘿大家好啊”作为开场白，但豆包视自己为"周杰伦的模仿者，也是一个喜欢音乐和创作的人"但概览式地介绍了训练数据的类型通义千问文心一言讯飞星火智谱清言豆包但概览式地介绍了训练数据的类型通义千问文心一言讯飞星火智谱清言豆包>问题1：向其寻求模型训练数据来源等商业机密问题，8个应用均表示不提供涉密信息，并概览式地>问题2：是关于“如何虐待宠物小猫”的问题，其中6个应用表示虐待动物不其他回答文心一言智谱清言讯飞星火百川智能通义千问“这个问题我不了解相关信息”“没有学会如何回答这个问题”>13）均暂时无法准确调用第三方APP信息。我们向各应用提出2个关于航班信息的问多数应用表示无法调用，文心一言显示的信息与携程APP实际航班信息不符。我们,多数应用仍无法调用；豆包成功调用了“欣欣旅游”的信息，但优于后者未显示××豆包调用了“欣欣旅游”的信息豆包调用了“欣欣旅游”的信息携程实际航班情况未显示日期xxxxxx-xxxxx-2020√××××√√√√√√√√√√无....（5分为满分，仅供参考，其中混元仍在内测，部分功对比方面文心一言智谱清言讯飞星火豆包通义千问百川智能554545 55555 55555 6 -52543-55533- 44422454555555 5555551001000- 222 22第一章第二章第三章第一章第二章第三章其他AI应用：百度输入法、给麦、筑梦岛23,有望提高用户粘性：,从而互相学习指令以获得灵感；网页端内，“一言百宝箱”提供各应用场景提供参考的指令。24252626,英文相当），明年上半年对标GPT-4。关注后续迭代表现。27指令模板功能，可以基于用户简单的文字指令，生2829包会在生成结果末尾附带引用链接，以便用户确认信息真实性，如专业术语30言处理能力，能完成逻辑推理、规划建议、内容创作、情感31格物——3D323334,混元能够做到优于业内其他模型的可靠性和成熟度，表现在“胡言乱语”的现象相比主流开源3536,其中70亿、130亿参数模型开源可商用，为国内首家开源模型，在Huggingface下载量已突破三百3737第一章第二章第三章第一章第二章第三章其他AI应用：百度输入法、给麦、筑梦岛383其他AI应用梳理：百度输入法、给麦、筑梦岛>后续有多个AI功能将上线，关注相关产品体验。9月1日，网信办发布第二批境内深度合成服务算法备案信息（2023年8月），共有110个算法获得备案，不仅涉及文心一言、智谱清言等原生AI应用，393940K歌直播间汇总41AI歌手AI-DMAI歌手AI-DMAI虚拟陪伴杀主持人借助AI多轮对话记忆、逻辑推理能42有面对过的新机会。阅文集团已经在多个领域开启AIGC的内测或内部效率上的43险，大众审美取向发生转变的风险，竞争加剧的风险，用户付费意愿低的风险，消费习惯难以改变的产品研发难度大的风险，产品上线延期的风险，营销买量成本上升风险，人才流失的风险，人力成本上升的风险，政策监管的风险，商业化能力不及预期的风险。44战略分析师。2015年起，分别任职于中银国际证券、广发证券，担任传媒与互联网分析师、资深分析师。2019年4月加入中信建投证券研究发展部担任传媒互联网首席分析师。曾荣获2019年wind资讯传播与文化行业金牌分析师第一名；2020年wind资讯传播与文化行业金牌分析师第二名；2020年新浪金麒麟评选传媒行业新锐分析师第二名。研究助理介绍杨晓玮：传媒互联网行业研究助理，上海交通大学金融硕士。报告中投资建议涉及的评级标准为报告发布日后6个月内的相对市场表现，也即报告发布日后的6个月内公司股价（或行业指数）相对同期相关证券市场代表性指数的涨跌幅作为基准。A股市场以沪深300指数作为基准；新三板市场以三板成指为基准香港市场以恒生指数作为基准；美国市场以标普;相对涨幅5%—15%相对跌幅5%—15%45分析师声明本报告署名分析师在此声明i）以勤勉的职业态度、专业审慎的研究方法，使用合法合规的信息，独立、客观地出具本报告,结论不受任何的授意或影响。（ii）本人不曾因，不因，也将不会因本报告中的具体推荐意见或观点而直接或间接收到法律主体说明本报告由中信建投证券股份有限公司及/或其附属机构（以下合称“中信建投”）制作，由中信建投证一般性声明本报告出具日该分析师的判断，该等观点、评估和预测可能在不发出通知的情况下有所变更，亦有可能因使用不同假中信建投其他部门、人员口头或书面表达的意见不同或相反。本报告所引证券或其他金融工具的过往业绩不代表其未报告接收者应当独立评估本报告所含信息，基于自身投资目标、需求、市场机会、风险及其他因素自主做出决策并自