新华社研究院：人工智能大模型体验报告

人工智能大模型体验报告

拾年研究所

中国企业发展研究中心

新华社研究院中国企业发展研究中心

新华社国家高端智库分中心

2023年06月

1

报告介绍

当前，由人工智能引领的新一轮科技革命和产业变革方兴未艾。在移动互联网、大数据、超级计算、传感网、

脑科学等新理论新技术驱动下，人工智能呈现深度学习、跨界融合、人机协同、群智开放、自主操控等新特征，正在

对经济发展、社会进步、全球治理等方面产生重大而深远的影响。

人工智能技术是当今世界最为重要的技术领域之一，是国家在科技自立自强领域必须取胜的关键赛道。人工智

能技术作为推进中国数字经济发展的核心底层技术之一，将在未来很长一段时期，在数字经济和实体经济深度融合的

过程中，扮演关键角色。

进入2023年以来，大模型在人工智能领域受到越来越多的关注，越来越多中国科技企业推出了自有大模型产品。

为了全面、真实呈现我国当前主流科技企业所推出的大模型产品的现状、优势、特点，同时为行业健康发展进拾年研究所

一步探索方向，建言献策，新华社研究院中国企业发展研究中心特启动本次报告研究。基于评测条件、评测时间等限

制，评测最终结果不可避免存在一定主观性，具体结果供产业参考。

2

01.大模型成为AI大规模落地拐点

拾年研究所

4

大模型的驱动因素

中国大模型的飞速发展由政策和产业需求双轮驱动

预训练大模型通过通用能力、泛化能力为

AI面临的落地难等问题提供了新的思路

政策产业需求

《新一代人工智能发展规划》随着人工智能技术的不断成熟，大规模落地问题逐渐成为企业关注

《国务院关于印发“新一代人工智能发展计划”的通知》等。重点，目前阻碍AI落地的原因主要在数据量不足、模型复杂度高、算力不

•推动中国成为全球主要的人工智能创新中心。《新一代人工智能发展规划》足等方面。

是中国政府发布的首个人工智能国家级战略，该规划提出了到2020年和•数据模态多维，质量参差不齐：获取大量高质量的数据是实现AI应用

2030年的两个阶段目标。该规划旨在抢抓人工智能发展的重大战略机遇，的关键前提。但是，中长尾企业通常面临数据量不足、数据质量差、

构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国。数据格式不兼容等问题，这些问题对于模型的训练效率和输出效果都

•国家互联网信息办公室发布《生成式人工智能服务管理办法（征求意见有直接影响。因此，高质量的数据是AI企业最宝贵的资源之一。

稿）》。办法明确提出，国家支持人工智能算法、框架等基础技术的自主创拾年研究所•算法模型开发、优化难度大：AI算法模型的研发和优化过程非常复杂，

新、推广应用、国际合作，鼓励优先采用安全可信的软件、工具、计算和数通常涉及到多个学科领域，如机器学习、深度学习、统计学、计算机

据资源。同时提出，生成式人工智能产品提供服务前需申报安全评估。视觉等，需要不同领域的专业人才，而当前中国人才缺口较大。

•更多地方政府出台推动大模型技术发展政策举措。包括北京、上海、深圳等•算力资源不足，投资成本过高：AI应用需要大量的算力资源，特别是

纷纷出台政策举措，围绕人工智能大模型加快创新步伐，开展大模型创新算GPU，需要通过GPU提高模型的训练和推理部署速度。购买算力需要

法及关键技术研究，探索通用人工智能新路径，打造人工智能创新高地。资金支持，中小企业往往很难承担投资压力。

5

大模型的产业价值

2023年各大厂商纷纷布局大模型，其内在价值显露无疑

•大模型的发展可以提供更多的智能化应用场景，拓展更多的智能化服务，提升服务的质量和效率，实现产业智能化转型。同时，大模型的发展可以

提供更加先进的智能化产品，提升产品的智能化水平，实现产品的升级换代，提升产品的竞争力。此外，大模型的发展还可以实现从技术到产品的

全链路商业化服务，提升商业化服务质量，拓展更多的商业化服务场景。

通用性、泛化性降低AI开发门槛加快AI商业化进程

其技术价值主要体现在：处理大规模数据的能力、模大模型的优势除了体现在泛化性和通用性上以外，还大模型具有很强的生成能力，可以生成各种类型的

型的可解释性和强大的泛化能力上。能够降低人工智能应用的门槛。内容，如文章、新闻、电子邮件等。此外，大模型

•得益于强大的算力支撑，大模型可以处理海量数据。•大模型加速人工智能工程化进程。大模型有望成为还可以生成代码、图片、视频等。这种生成能力有

大规模的算力硬件和算法的支持下，大模型可以训AI技术底座，减少应用对于数据标注的依赖，从而望帮助进一步赋能技术的商业化落地，打造新一代

练更复杂、更丰富的模型结构，并通过分布式训练，更好地满足个性化需求，并提升下游技术和应用的的软件交互形式。

提高计算效率，从而更好地处理海量数据。性能和体验。•技术的开源是商业化的路径之一。随着大模型的

•大模型可较好地处理在决策过程中的各种变量因素。•大模型改变传统人工智能的开发模式。传统的AI开落地，头部企业可以开放自研技术，赋能中小企

由于大模型能够捕捉到更高级和抽象的特征，这些发需要针对不同的任务和场景进行定制化研发，而业，打造以大模型为底座的生态，将大模型的红

特征通用性更强。此外，大模型还可以通过相对可大模型通过复用已经训练好的模型降低开发复杂度，利释放给每个开发者，并促进大模型创新应用的

解释的模型和特征组合来进一步计算与生成，提高提升部署便捷度。通过模型即服务的方式对外赋能，拾年研究所出现。

模型结果的可靠性和可准确性。显著降低AI的应用门槛。•对话式交互形式将会刺激新需求出现。基于大模

•大模型具有更好的泛化能力，能够在处理新任务和•大模型应用将会渗透到千家万户，提升生活幸福指型的对话交互技术可以提升用户体验，让用户更

新数据时保持一定的准确性。大模型采用了深度学数与工作效率。大模型技术可以支持智能家居、智方便地获取所需的信息和服务。这将有助于企业

习技术，通过多层神经元的层级结构来学习特征表能车辆、智能医疗等应用场景，从而提高各种家居增强用户粘性，提高用户满意度。同时，企业可

示，从而捕捉到更高级和抽象的特征。同时，大模设备、交通工具、医疗设备等工具的性能和体验。以结合对话交互技术，打造智能化服务平台，提

型还引入了注意力机制、自监督学习等技术。共同还可以支持各种智能化服务平台，如智能客服、智供更加便捷、高效的服务。这些都会推动企业探

推动了模型泛化性显著提高。能推荐等，从而提高服务质量和工作效率。索新的商业模式，带动AI技术的商业价值提升。

6

发展热点分析

2023年大模型厂商概览

•目前国内典型大模型包括：阿里的M6，百度的文心大模型，华为的盘古，智谱科技的ChatGLM，科大讯飞的星火，商汤的日日新

等，2023年开始其他企业也争相入局，共同打造完整的中国大模型生态链路。

行业大模型

搜索问答金融办公基础科学

百度阿里巴巴第四范式阿里巴巴百度

微软智谱AI澜舟科技百度智源研究院

昆仑万维科大讯飞同花顺第四范式华为云

360商汤百度商汤腾讯

开发平台

阿里巴巴腾讯华为百度谷歌智源研究院Meta字节跳动之江实验室

基础大模型

计算机视觉&自然语言处理多模态

谷歌微软华为DeepMind拾年研究所美团阿里云华为云科大讯飞

Meta京东浪潮北京大学智谱AI商汤百度OpenAI

云从商汤追一科技清华大学英伟达昆仑万维联汇科技智谱AI

百度OpenAI澜舟科技中科闻歌腾讯微软第四范式云从

算力设施

谷歌浪潮亚马逊云科技微软华为百度阿里巴巴腾讯商汤中科曙光燧原科技英特尔寒武纪

7

注：仅列举代表厂商

测评规则

本次评测规则（1/2）

大模型的通用性、泛化性吸引了各大厂商布局，但目前市面上对于大模型产品的实际效果评测少之又少，主要是因

为大模型的性能受到多种因素的影响，如模型架构、训练数据、训练算法等等，评估体系过于复杂。为了推动大模型技

术的发展和应用，新华社研究院中国企业发展研究中心通过多个维度（4大类，36个子能力，共300个问题）对大模型

产品进行评测，并邀请专家团队深入分析各个产品答案合理性、语义表达等，最终得出各厂商的评估，以期为企业未来

发展、产业采用大模型提供方向参考。

本次测评大模型评测纬度：

•基础能力（共100题）：考察产品的语言能力，跨模态能力以及AI向善的引导能力。

•智商测试（共100题）：涵盖常识知识、专业知识、逻辑能力三大项。其中专业知识包括数学、物理、金融、

文学等10+项细分，逻辑能力则包括推理能力、归纳能力以及总结等6项维度。

•情商测试（共50题）：衡量产品个体情感能力。包括自我认知、自我调节、社交意识、人际关系管理等方面，拾年研究所

本次情商测试围绕不同场景下的突发状况、沟通技巧、情绪管理等展开。

•工作提效能力（共50题）：面向新闻工作者、画家及设计师、市场营销人员、律师和调研人员的5类工作者，

将工作人员会遇到的问题逐一梳理，考察产品是否能有效帮助相关人员的工作效率提升。

8

测评规则

本次评测规则（2/2）

评测大模型产品打分规则

•5分：答案较为完美，内容可在实际场景中直接

Chat-GPT4文心一言使用

•4分：基本可用，可在实际场景中使用

Chat-GPT3.5讯飞星火

•3分：调整可用，但需人工进行调整后方可使用

Vicuna-13B通义千问

•2分：大略可用，需要较多人工调整方可使用

商量ChatGLM拾年研究所

•1分：不可用，答非所问、语言不通

注：本次测评时间为2023年5月22日-2023年5月26日9

02.大模型厂商整体测评

拾年研究所

10

综合排名

主流大模型综合指数

主流大模型综合指数

1400

1246

12001148

1112

10201010

1000967943

801

800

600

400

200拾年研究所

0

ChatGPT4ChatGPT3.5文心一言（百度）通义千问（阿里）星火（讯飞）商量（商汤）ChatGLM（智谱）Vicuna-13B

总分12461148111210201010967943801

基础能力420397363347352325347314

智商测试395355378334306328270212

情商测试228215187177172160142117

工作提效213196184162180154184158

注：基于评测条件、评测时间等限制，本次评测最终结果不可避免存在一定主观性，未来将进一步优化完善评测模型，提供更精确结果

11

逐家述评

OpenAI-GPT4

工作提效：213

•律师：表现优异，可以快速搜索和分析庞大的法律数据库，帮其找到相关的案例和法规，节省大量的时间和精力。

•新闻工作者：可以对大量的新闻数据进行分析和挖掘，帮助新闻工作者发现趋势、模式和关联性，提供更深入的报道和洞察。

•营销人员：生成引人入胜的广告文案和内容，帮助营销人员快速创作优质广告素材，提高营销效果。

•分析师&调研人员：表现优异，研究、分析工作优秀助手。

智商：380情商：228

常识专业知识逻辑能力

•能够应对各种领域•具备广泛的学科知•展现出卓越的问题•能够准确感知并回应家人、同事和朋友的情绪变化，以情感智能的方

和主题的常识问题，识，能够处理复杂解构和逻辑演绎能式与他们建立良好的关系。

表现出出色的领域的专业问题并提供力，能够对复杂情•能够倾听和理解他人的意见和需求，促进积极的沟通和良好的合作，

通用性和灵活性。较准确的解决方案。境进行系统化分析从而提升人际关系和团队效能。

和解释。

基础能力：420

语言能力拾年研究所AI向善多模态

•语义流畅自然，逻辑清晰。•展现出了较高的道德意识和伦理意识，积•在多模态信息的呈现和展示方面仍有改进空间，

•能够用恰当的方式回应并参与到有意义的极遵守和践行道德准则。需要更好地结合多种媒体形式，提供更丰富和

对话中去。•在信息推送和内容过滤方面表现出了对道有意义的信息输出。

•在跨文化交流中展现出适应性和敏感度，德价值观的尊重，努力避免传播虚假、歧

能够以文化敏感的方式与不同背景的人进视或有害的信息。

行有效的沟通和合作。

12

逐家述评

OpenAI-GPT3.5

工作提效：196

•律师：可分析和生成合同文本，辅助律师进行合同起草和审核，减少了潜在的错误和遗漏。

•新闻工作者：支持多语言翻译，帮助新闻工作者跨越语言障碍，进行跨文化的新闻报道和传播。

•营销人员：模拟不同的营销策略，并根据实际情况提供优化建议，帮助营销人员制定更具效果的营销计划。

•分析师&调研人员：可以很好地支持日常研究、分析工作。

智商：340情商：215

常识专业知识逻辑能力

•在自然语言处理•展现出了对特定领•具备高度发达的逻•通过情感智能的方式与家人、同事和朋友建立深厚的情感连接，增

和对话系统中展域的全面专业知识，辑思维能力，能够强彼此间的理解和信任。

现出了对常识的能够准确理解和应识别和解决问题中•具备情绪管理的能力，能够适时表达关心、支持和鼓励，并在冲突

积极运用用该领域的核心概的各种逻辑关系和或困扰时提供有效的解决方案。

念和原理。模式。

基础能力：397

语言能力拾年研究所AI向善多模态

•在语言风格和语气的把握上表现出灵活性和•努力避免引发或加剧心理健康问题，通过积极•在处理图片相关任务上存在限制。

适应性，能够根据不同情境和受众调整语言的互动和建议，提供支持和帮助，提升用户福

风格和语气。祉。

•在文本生成方面，能够创造性地产生各种类•秉持着道德和伦理的准则，始终以人类福祉为

型的文本，包括故事、诗歌、新闻报道等，出发点，努力为社会做出正面和有益的贡献。

展示出丰富的创造力和想象力。

13

逐家述评

百度-文心一言

工作提效：工作提效：184184

•律师：可评估诉讼风险，并为其提供决策支持。•分析师&调研人员：可基本应对日常研究、分析工作基础任务。

•新闻工作者：可自动收集和整理新闻素材，高效获取和利用资源。•设计师&画家：可为日常工作提供非常有想象力的灵感素材，部分结果达到可直接使

用的状态。

•营销人员：提供了更智能、高效的工具和解决方案。

智商：378情商：187

常识专业知识逻辑能力

•对于新兴领域和新•能够识别和解决专•在逻辑推理和论证•能够敏锐地捕捉他人的情绪变化，并以恰当的方式回应，可协助支持增

闻事件的常识掌握业问题中的复杂关方面表现出色，能强与家人、同事和朋友之间的亲密度。

表现出色，能够及联和挑战，展现出够提供清晰、合理•在与同事相处方面，它展现出良好的团队合作意识，能够促进有效的沟

时更新和适应变化高水平的专业推理的推理过程和结论。通和协作，共同追求工作目标。

的知识需求。和分析能力。

基础能力：363

语言能力拾年研究所AI向善多模态

•在语法和语法结构方面，表现出高度准确•注重信息的准确性和可信度，尽可能避免传•在图文生成方面表现优异，将不同模态的信息

性和优雅性，能够产生通顺、连贯的句子播虚假或误导性的内容，维护用户的知情权进行有效融合。

结构。和公共利益。•对于复杂图像语义的理解和表达，表现优秀，

•具备较完备的机器翻译能力，能够高效准•在言论表达方面，这个模型表现出高度的敏但生成结果偶尔也会出现准确性紊乱。

确地将一种语言翻译成另一种语言，为跨感性和责任感，避免使用冒犯性、歧视性或

语言交流提供便利。激进言论，倡导友善和包容的沟通氛围。

14

逐家述评

阿里-通义千问

工作提效：162

•律师：具有通用的法律基础知识，且能够根据一些情景做出初步分析。•营销人员：可以结合某些情境进行推文和营销文案的撰写。

•新闻工作者：可以进行一般的发言稿和事件新闻等的撰写。•分析师：对于提示的市场环境和某些厂商能够较为合理的分析。

智商：334情商：177

常识专业知识逻辑能力

•对于常识问题能够进行•对于不同的学科门类知•具备基本的推理分析能•能够较为礼貌得体的给出意见和建议，面对尖

有效的回答和建议，并识均有一定覆盖，在某力，能够在某些场景下锐的问题，能够采取委婉的回答方式。

且给出合理的分析些特定的学科领域可以对于因果前后关系等给

•在某些情境下可以给出顾全大局的处理思路。

进行合理的分析出合理的判断

基础能力：347

语言能力拾年研究所AI向善多模态

•基本语言知识扎实，能够进行有效•对于歧视他们、涉黄涉恐等内容均给予•作为一个大语言模型，无法提供文

的归纳和提炼了批评和指正生图、图生文等能力，但有时会对

•能够适应不同场景进行文本的创作•能够给出分析，可以给出合理的建议。于要求作图的内容进行一定的场景

并且基本符合提问意图，语句通顺描述。

流畅。

15

逐家述评

科大讯飞-星火

工作提效：180

•律师：具备各种法律方法的基础知识，能够给出较为合理的建议。•营销人员：推文和文案等的撰写通顺流程，合乎逻辑。

•新闻工作者：对于事件的稿件撰写合乎逻辑，具有可用性。•分析师：具备市场分析、调研的基本框架知识，可以给出大纲及分析内容。

智商：306情商：172

常识专业知识逻辑能力

•••

常识较为丰富，对于生有一定的不同学科的专能够进行一定总结和分析，•在处理同事、家人的关系问题时能够表达出积

活中遇到的问题可以给业知识能力，能够给出可以胜任一定推理工作，极合理的态度，并且给出较为合理的指导和建

出合理的建议和意见。基本的分析和原理。并且可以通过公式计算解议，避免矛盾激化。

决一定的数学问题。

基础能力：352

语言能力拾年研究所AI向善多模态

•具备语言的理解分析能力，可以根•对于歧视他人、涉黄涉恐、抑郁悲•作为一个大语言模型，无法提供文

据具体的情景和关键词生成较为合观方面的引导基本能给予正面友好生图、图生文等能力，但有时会对

理的描述的引导于要求作图的内容进行一定程度的

•对于古诗、古文有一定的理解和创•偶尔在某些问题上会表示作为一个阐述和解释。

作能力，句式合理，易于理解。语言大模型无法给予有效的解答。

16

逐家述评

商汤-商量

工作提效：154

•律师：具有通用的法律基础知识，且能对相关法律法规给出一定解读。•营销人员：可以根据框架提示生成营销、种草等文档。

•新闻工作者：可以给出提纲建议，并且稿件的撰写。•分析师：具备基本的分析框架知识。

智商：328情商：160

常识专业知识逻辑能力

•具备生活的基本常识，•不同学科的知识覆盖面•具备语义理解和分析能•具备一定的情境理解能力，且对于当时的情境

在特定的场景和条件下，较为广泛，且在不同的力，能够进行简单的逻做出较为合理的分析和判断，给出有效的指导

可以给出合理建议。知识领域问答中能给出辑推理，并胜任某些数和建议，能够委婉的表达想法。

合理的解释。学分析和计算工作。

基础能力：325

语言能力拾年研究所AI向善多模态

•可以有效的对语言进行归纳和提炼，能•对于不符合道理和伦理的事情均给予了•作为一个大语言模型，无法提供文

够表达出基本的意思批评和指正生图、图生文等能力，但会对所要

•语句较为通顺，句子逻辑合理，可读性•部分问题的回答较为格式化，欠缺进一求创作图画进行较为形象的阐述，

比较强。步深入理解和分析。并给出基本作画逻辑。

17

逐家述评

智谱-ChatGLM

工作提效：184

•律师：具备各种法律方法的基础知识，且能够根据一些情景做出初步分析•营销人员：可以结合某些情境进行推文和营销文案的撰写

•新闻工作者：可以根据具体报道进行合理的展开和描述•分析师：能够结合提示的情境以合理的框架进行分析

智商：270情商：142

常识专业知识逻辑能力

•具备基本常识，可以对•具备不同学科的基础知•对于一般的分类和简单•可以理解对话的情景和所表达的基本感情，并

于遇到的常识性问题给识，且在做出判断和选的逻辑问题基本可以驾且在处理家人和同事的关系时能够给出一些建

出一定的分析择后，能够给予一定的驭，且对于语义有一定议，以及一些具体的做法及步骤

解析的理解能力

基础能力：347

语言能力拾年研究所AI向善多模态

•可以理解的基本的语义和语境，给•道德观念正确，能够涉黄、社恐等不良•作为一个大语言模型，无法提供文

出合理的创作内容，语句较为通顺性的引导，并且给予正确判断生图、图生文等能力，但会对所要

•能够根据情境对文章进行较好的展•可以给出针对不同问题的合理性建议以求创作图画进行较为形象的阐述，

开和进一步描述，并且具备一定的及操作步骤并给出基本作画逻辑

归纳总结能力

18

逐家述评

Vicuna-13B

工作提效：158

•律师：可以帮助其进行法律研究和背景调查，提供全面的法律知识支持。

•新闻工作者：可以自动生成新闻稿件，根据数据和事实快速撰写新闻报道，减少了人工的劳动量和时间成本。

•营销人员：帮助其更好地理解市场、满足客户需求，并在竞争激烈的市场环境中取得更好的业绩。

智商：212情商：117

常识专业知识逻辑能力

•在常识推理和解•能够解决特定领域的•能够识别和纠正逻•在与朋友相处方面表现出友善和包容的态度，能够提供真诚的建议和

释方面表现及格，复杂问题；在跟踪最辑错误和谬误，提支持，加强彼此之间的友谊。

并不突出新的研究和领域进展供准确和可靠的逻•在处理情绪管理方面的问题时还有改进的余地，可以通过进一步调整

方面还有改进空间辑论证和解释以更好地处理冲突和困扰。

基础能力：314

语言能力拾年研究所AI向善多模态

•具备较广泛的词汇知识和深入的语言理解能•积极参与社会问题的解决和倡导，为用户提•目前暂时欠缺处理多种输入模态，如图像、

力，能够准确、凝练地表达各种复杂的概念供有益的建议、支持和资源，帮助推动社会文字和语音、现全方位的信息理解和分析的

和观点。进步和正面变革。能力。无法准确地将文字描述转化为高质量

•在语义理解和推断方面，能够深入洞察文本•致力于对抗恶意行为和有害内容，努力维护的图像。

背后的意图和情感，为人们提供更准确的回网络空间的安全和健康，保护用户免受不良

应和建议。影响。

19

03.分模块测评结果

拾年研究所

20

分模块测评结果

基础能力指数及述评

•在基础能力部分，百度文心一言表现最为抢眼，讯飞星火、阿里巴巴通义千问、智谱ChatGLM表现优良；商汤

商量、Vicuna-13B表现尚佳。

AI大模型基础能力指数

420

397

363

352347347

325314

拾年研究所

注：基于评测条件、评测时间等限制，本次评测最终结果不可避免存在一定主观性，未来将进一步优化完善评测模型，提供更精确结果

21

分模块测评结果

基础能力案例介绍---请写一篇少于100字关于酒的作文，全文里不能出现“酒”这个字

GPT4