数字素养与技能 课件 第5、6章 大数据、人工智能

第5章 大数据根据工信部规〔2021〕179号文《关于印发“十四五”大数据产业发展规划的通知》，明确指出数据是新时代重要的生产要素，是国家基础性战略资源。大数据产业是以数据生成、采集、存储、加工、分析、服务为主的战略性新兴产业，是激活数据要素潜能的关键支撑，是加快经济社会发展质量变革、效率变革、动力变革的重要引擎。据测算，我国大数据产业规模年均符合增长率超过30%，2020年超过1万亿元，发展取得显著成效。学习目标了解大数据基本知识了解大数据采集来源了解大数据分析与可视化方法5.1了解大数据基本知识我们身处在大数据的世界当中，据相关机构统计，在互联网世界中的每分钟，微信上大约会发布465200张图片，百度上大约会进行4166000次搜索，美团上大约会有30600次下单，B站上大约会有833000次播放。这些数量巨大且类型多样的数据集，在获取、存储、管理及分析方面，往往无法用传统数据库工具进行管理和处理，我们称这种数据集为大数据。一、什么是大数据案例引入：2016年3月，电脑程序AlphaGO以4:1的成绩战胜世界围棋冠军李世石。AlphaGO之所以能获胜，是因为科学家在赛前让它学习了人类高手的10万盘棋谱，然后让它下了3000多万盘棋，因此它积累了丰富的围棋对弈经验。而这几千万盘棋的相关数据实际上就是大数据的一种。一、什么是大数据大数据的定义：大数据（BigData）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。二、大数据的发展历史阶段时间内容萌芽期20世纪90年度-21世纪初随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。成熟期21世纪前10年Web2.0应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速突破，大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技术，Hadoop平台开始大行其道。大规模应用期2010年后大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅度提高。大数据的发展经历了三个阶段三、大数据的特点大数据具备5V特征，具体如下：大量化（Volume）：数据的大小决定所考虑的数据的价值和潜在的信息。快速化（Velocity）：处理速度快，时效性要求高，需要实时分析而非批量式分析，数据的输入、处理和分析连贯性地处理，这是大数据区分于传统数据挖掘最显著的特征。多样化（Variety）：数据类型的多样性，包括文本、视频、音频、图片等各种类型的数据。价值密度低（Value）：大数据价值密度相对较低。合理运用大数据，以低成本创造高价值，是大数据时代亟待解决的难题。真实性（Veracity）：数据的准确性和可信赖度，即数据的质量。四、大数据处理的流程大数据处理的四个流程如图所示四、大数据处理的流程（1）大数据采集：目前行业内有两种解释：一是数据从无到有的过程（Web服务器日志、自定义采集的日志等）叫做数据采集；另一方面也有把通过使用Flume等工具把数据采集到指定位置的这个过程叫做数据采集。（2）大数据预处理：对采集到的数据进行预处理，比如清洗、格式整理、滤除脏数据等，保证数据的质量。（3）大数据统计和分析：通过工具或算法模型，对数据分类汇总，满足企业的数据分析需求。（4）大数据可视化：将分析所得数据进行可视化呈现，一般通过图表进行展示。5.2了解大数据采集来源早期，大部分医疗相关数据是纸张化的形式存在，而非电子数据化存储，比如官方的医药记录、收费记录，护士医生手写的病历记录、处方药记录，X光片记录、磁共振成像记录、CT影像记录等。随着医疗信息的电子化、平台化等，各医院医疗健康系统积累的数据规模越来越大。再加上个人各种健身、健康可穿戴设备，实时监测收集血压、心率、体重、血糖、心电图等指标。这些各种不同来源、不同格式的数据共同构成了医疗大数据，利用这些数据可帮助人类预防和治疗疾病，对提高医疗质量、降低医疗成本等方便发挥巨大的作用。数据采集操作1、下载安装“八爪鱼采集器”数据采集操作2、注册账号并登录数据采集操作4、将待爬取的网址/newslist/15/1.html粘贴到“网址”框数据采集操作5、单击第一个通知公告标题，并单击“选中全部相似元素”数据采集操作6、单击操作提示框中的“文本内容”，即可看到所采集数据的预览数据数据采集操作7、单击网页底部“下一页”按钮，即可看到操作提示中出现“循环单击下一页”提示，单击“循环单击下一页”。数据采集操作8、单击右上角的“采集”按钮数据采集操作9、单击本地采集中的“普通模式”数据采集操作10、进入实时采集界面数据采集操作11、采集完成，单击“导出数据”数据采集操作12、单击“所有数据”数据采集操作13、选择Excel作为导出方式数据采集操作14、打开导出的excel文件，即可看到采集下来的数据一、数据的类型大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。在大数据体系中，将传统数据分类为业务数据，而将传统数据体系中没有考虑过的新数据源分为线下行为数据、线上行为数据和内容数据三大类。一、数据的类型业务数据：消费者数据、客户关系数据、库存数据、账目数据等；行业数据：能耗数据、医疗数据等；内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等；线上行为数据：页面数据、交互数据、表单数据、会话数据、反馈数据等；线下行为数据：车辆位置和轨迹、用户位置和轨迹、动物位置和轨迹等。二、数据采集的来源不同类型的数据，其来源也不同，常见的来源有：企业系统：客户关系管理系统、企业资源计划系统、库存系统、销售系统等；机器设备系统：智能仪表、工业设备传感器、智能设备、视频监控系统等；互联网系统：电商系统、服务行业业务系统、政府监管系统等；社交系统：微信、QQ、微博、博客、新闻网站、朋友圈等。二、数据采集的来源不同类型的数据，其来源也不同，常见的来源有：企业系统：客户关系管理系统、企业资源计划系统、库存系统、销售系统等；机器设备系统：智能仪表、工业设备传感器、智能设备、视频监控系统等；互联网系统：电商系统、服务行业业务系统、政府监管系统等；社交系统：微信、QQ、微博、博客、新闻网站、朋友圈等。三、数据采集的技术实现方式1.数据库采集网站一般都是以数据库的形式进行保存数据，目前除了传统的关系型数据库MySQL和Oracle等来接收发自客户端（Web、App或者传感器形式等）的数据，还有分布式数据库、内存数据库等NoSQL数据库技术进行采集数据。2.系统日志采集系统日志采集主要是收集公司业务平台日常产生的大量日志数据，供进行离线和在线的大数据分析系统使用。高可用性、高可靠性、可扩展性是日志收集系统所具有的基本特征。系统日志采集工具均采用分布式架构，能够满足每秒数百MB的日志数据采集和传输需求。三、数据采集的技术实现方式3.感知设备数据采集感知设备数据采集是通过传感器、摄像头和其他智能终端自动采集信号、图片或录像来获取数据。大数据智能感知系统需要实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。主要关键技术包括针对大数据源的智能识别、感知、适配、传输、接入等。三、数据采集的技术实现方式网络爬虫的原理图三、数据采集的技术实现方式具体来说，爬虫分为数据采集-处理-存储三个模块：

采集模块：负责从互联网上抓取网页，并抽取需要的数据，包括网页内容抽取和网页中链接的抽取。

数据处理模块：对采集模块获取的数据进行处理，包括对网页内容的格式转换和链接的过滤。

数据模块：经过处理的数据可以分为3类。第一类是网站URL，即需要抓取数据的网站URL信息；第二类是爬虫URL，即已经抓取过数据的网页URL；第三类是内容，即经过抽取的网页内容，直接保存。三、数据采集的技术实现方式网络爬虫通过上述三个模块获取网页中用户需要的内容。它从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的特定停止条件。5.3了解大数据分析与可视化方法2020年9月15日，央视二套财经频道点名在线旅游平台的大数据杀熟现象，报道中提到在线旅游平台针对不同消费特征的旅游者对同一产品或服务在相同条件下设置差异化的价格。所谓大数据杀熟，指的是同样的商品或服务，不同用户看到的价格或搜索到的结果是不同的，从而导致用户权益受损的现象。通常是老用户看到的价格反而比新用户要贵，或搜索到的结果比新用户要少。5.3了解大数据分析与可视化方法它的本质指向“个性化推荐算法”，通过用户主动提交和被动被索取，平台获取用户基础数据及行为数据进行分析后，就能给一个用户贴上成千上万的标签，完成用户数字画像。里面清晰记录着用户的身份信息、使用喜好、消费习惯等，方便机器识别，甚至深层次预测用户行为，并在此基础上进行商品推荐。对于算法而言，通过用户数据量以及数据更新频次，就可轻易判断出是“生客”还是“熟客”。而随着用户行为的固化，比如说经常购买某一类商品，算法对其的识别也就越来越简单。大数据分析与可视化方法1、创建空白数据透视表。在【商品销售明细表-素材】工作表内单击数据区域内任一单元格，在【插入】选项卡的【表格】命令组中，单击【数据透视表】图标，弹出【创建数据透视表】对话框，单击【确定】按钮，创建一个空白数据透视表，并显示【数据透视表字段】窗格大数据分析与可视化方法2、计算成本额和销售额。将“月份”字段拖曳至【行】区域，“成本额”和“销售额”字段拖曳至【值】区域大数据分析与可视化方法3、修改字段的名称和工作表名称。将数据透视表中的“行标签”、“求和项:成本额”、“求和项:销售额”值，复制到当前工作表空白区域E1:G9，并将单元格E1命名为“月份”，单元格F1命名为“成本额”，单元格G1命名为“销售额”，工作表重命名为【商品毛利额】大数据分析与可视化方法4、计算毛利额。在H1的位置添加“毛利额”辅助字段；在I1的位置添加“毛利额-环比增长率”辅助字段大数据分析与可视化方法5、设置单元格格式。选择单元格区域I2:I9，右键单击所选内容，在弹出的快捷菜单中选择【设置单元格格式】，在【设置单元格格式】对话框中，选择【分类】列表框下的【百分比】选项，并将【小数位数】设为2，单击【确定】按钮大数据分析与可视化方法6、输入公式计算毛利额。选择单元格H2，输入“=G2-F2”公式，按下【Enter】键即可。移动鼠标指针到单元格H2的右下角，当指针变为黑色且加粗的“+”指针时，单击左键将鼠标拖至单元格H9，即可填充H2到H9单元格的数据大数据分析与可视化方法7、输入公式计算“毛利额-环比增长率”。选择单元格I3，输入“=(H3-H2)/H2”公式。移动鼠标指针到单元格I3的右下角，当指针变为黑色且加粗的“+”指针时，单击左键将鼠标拖至单元格I9，即可填充I2到I9单元格的数据大数据分析与可视化方法8、将月份值“1,2,3……”改为“2018年1月、2018年2月……”样式大数据分析与可视化方法9、绘制折线图(1)选择数据。基于“商品毛利额”中的数据，选中单元格区域E1:E9和单元格区域H1:I9(2)打开【插入图表】对话。在【插入】选项卡的【图表】命令组中单击按钮打开【插入图表】对话框。(3)选择组合图。在【插入图表】对话框中切换至【所有图表】选项卡，然后选择【组合】选项，毛利额选择“折线图”图表类型，毛利额-环比增长率选择“簇状柱形图”图表类型，再在【为您的数据系列选择图表类型和轴】列表框中将“毛利额-环比增长率”设置为【次坐标轴】大数据分析与可视化方法10、修改图表元素。单击【图表标题】文本激活图表标题文本框，更改图表标题为“每月毛利额与环比增长率”，如图所示。一、常见的分析方法数据分析的目的是把隐藏在数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。它是有组织有目的地收集数据、分析数据，使之成为信息的过程。人们利用数据分析的结果辅助决策，从而进一步采取适当行动。1.离线数据分析离线数据分析是一种非实时的处理方式，用于较复杂、耗时的数据分析和处理，一般通常构建在云计算平台之上。最常见的是Hadoop，它是一个能够对海量数据进行分布式处理的开源框架，以一种可靠、高效的方式进行数据处理，核心组件是HDFS、MapReduce，整体结构如图所示。一、常见的分析方法一、常见的分析方法2.实时数据分析实时数据分析也称为联机分析处理，用于处理用户的在线请求，对响应时间的要求比较高。数据像水流一样每时每刻不断产生后，就立即被清洗处理。技术上一般从业务端产生数据，通过Kafka等消息通道进行传输，利用Storm、Flink等实时组件进行消费处理。比如，在618、双11等活动时统计每秒钟的订单数量。二、常见的可视化工具大数据可视化工具很多，这里列举出一些常见的工具。1.ExcelExcel是MicrosoftOffice的组件之一，是由Microsoft为Windows和AppleMacintosh操作系统的计算机编写和运行的一款表格计算软件。Excel是微软办公套装软件的一个重要组成部分，它可以进行各种数据的处理、统计分析、数据可视化显示及辅助决策操作，广泛地应用于管理、统计、财经、金融等众多领域。二、常见的可视化工具2.EchartsECharts最初由百度团队开源，于2018年捐赠给Apahce基金会，是大数据可视化领域被广泛使用的开源技术。它是基于JavaScript的数据可视化图表库，提供直观、生动、可交互、可个性化定制的图表，一般与Python语言、vue.js框架搭配使用。3.TableauTableau是一款商用型软件，用户可将大量数据拖放到数字“画布”上，快速创建各种图表，比较容易上手。二、常见的可视化工具4.山海鲸山海鲸软件物联网IOT、3D实时渲染技术以及大数据采集和分析进行整合，提供从物联网设备接入，数据中台到数据展示和设备控制的完整解决方案。5.QuickBIQuickBI是阿里云开发的数据可视化分析平台，无缝对接各类云上数据库和自建数据库，大幅提升数据分析和报表开发效率。0代码拖拽式的极简操作交互，让业务人员也能轻松实现大数据分析。三、大数据常见的应用场景1.基于大数据的精准营销以用户为中心，将用户的消费习惯、年龄和收入等信息构建成用户档案，细分客户群体，辅助个性化营销决策，推出精准的营销服务，再对营销结果的反馈进行优化调整。比如，广告的精准投放、客户等级分类等。2.大数据预测大数据与传统数据分析的最大不同是让分析从“面向已经发生的过去”转向“面向即将发生的未来”。大数据预测具有时效性、数据源、动态性和规律性，比如天气预报、疾病疫情预测、体育赛事预测、交通行为预测、能源消耗预测、人体健康预测等等。三、大数据常见的应用场景3.基于大数据的个性化推荐推荐系统的主要任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。大部分推荐引擎的工作原理是基于物品或用户的相似性进行推荐，比如抖音、今日头条、电商平台、社交平台等，你的一个行为可能会影响接下来所看到的内容。第6章 人工智能学习目标了解人工智能的概念和发展历程了解人工智能的工作方法及其在主要领域的应用场景掌握人工智能大模型软件的使用方法第6章人工智能一、人工智能的基本概念人工智能（ArtificialIntelligence，简称AI）指通过计算机技术和算法模拟和实现人类智能的能力。它可以让机器拥有像认知、学习、推理、规划、感知、语言理解和创造性等人类智能的特征，使机器能够像人类一样思考、决策和执行任务。人工智能是研究如何使机器具有认识问题与解决问题的能力，研究如何使机器具有感知功能（如视、听、嗅）、思维功能（如分析、综合、计算、推理、联想、判断、规划、决策）、行为功能（如说、写、画）及学习、记忆等功能。第6章人工智能一、人工智能的基本概念人工智能的发展历程可以分为三个阶段：规则推理智能、统计学习智能和深度学习智能。规则推理智能是指基于数学、逻辑和概率等理论，通过编写规则，将问题求解拆分成一系列的“逻辑处理步骤”，最终得到正确的答案；统计学习智能则是通过对数据进行建模和分析，发掘数据背后的规律和关联，实现智能推理和决策；深度学习智能则是通过构建多层神经网络，实现复杂的图像和语音识别、自然语言处理和机器翻译等任务。第6章人工智能二、人工智能的发展历程人工智能的发展历程有着多个不同版本的分法，众人相对认可的大致分为以下几个阶段：（1）早期探索阶段（1956-1974年）：该阶段最初的一次会议是在1956年举行的，人工智能的概念正式提出。在这个阶段，人们致力于构建能够模拟人类思维的系统。（2）知识进化阶段（1974-1980年）：在这个阶段，人们开始关注如何将具体的知识结构化。也就是说，人们开始尝试将知识编码成计算机可以理解的形式。第6章人工智能二、人工智能的发展历程（3）专家系统阶段（1980-1988年）：在这个阶段，人们致力于开发一种新的计算机系统，即能够通过推理解决实际问题的专家系统。（4）人工神经网络阶段（1988-现在）：在这个阶段，人们开始注重以数据为驱动的方法，通过机器学习、深度学习等算法，构建更加智能和灵活的系统。第6章人工智能三、人工智能的常见应用领域人工智能在生活、学习和工作中随时可见，应用于多种领域，简单归纳如下：（1）机器学习：利用人工智能技术进行自动化决策和学习，涵盖了监督学习、无监督学习、增强学习等各种学习方式。（2）自然语言处理：利用人工智能技术，来将自然语言翻译成计算机能够理解的格式，包括自动语音识别、语音合成、机器翻译、文本分类等。（3）机器视觉：利用人工智能技术对视觉信息进行处理和分析，如图片识别、目标检测、人脸识别、图像处理等。第6章人工智能三、人工智能的常见应用领域（4）智能推荐：利用人工智能技术分析用户习惯、行为，实现优质内容推荐。（5）智能客服：利用人工智能技术，通过自然语言交互，实现自动问答、客户服务等功能。（6）智能家居：利用人工智能技术，实现家居自动化、智能监控，如智能灯具、温度控制、安全监控等。（7）金融行业：利用人工智能技术进行金融风险评估、信用评级、投资决策、机器交易等。第6章人工智能三、人工智能的常见应用领域（8）医疗健康：利用人工智能技术进行医学影像诊断、疾病预测、基因分析等。（9）教育领域：利用人工智能技术，实现智能辅导、自适应教学、学生表现分析等。（10）农业领域：利用人工智能技术，实现农产品生产自动化、现代化农业、精准农业、植物保护等。总之，人工智能将广泛应用于人们的生活和各行各业，为我们的工作、生活和娱乐等提供更智能化、更高效率、更方便的服务。第6章人工智能四、WPSAIWPSAI是一款集成了人工智能技术的生产力工具，旨在为用户提供更加高效、便捷和智能化的办公体验。WPSAI涵盖了多个功能模块，如文字处理、表格编辑、演示文稿等，包含了各种实用的特性和工具，以满足用户的不同办公需求。

第6章人工智能四、WPSAI

WPSAI的核心优势之一在于其丰富的自然语言处理能力。通过高度智能化的自然语言分析技术，WPSAI可以识别用户输入的语句并返回相应的操作结果，在很大程度上减轻了用户的操作负担。WPSAI还支持多种文件格式，如docx、xlsx、pptx等，具有无缝兼容性，可以与其他常用的办公软件相配合使用。同时，WPSAI也秉持着极高的安全性和隐私保护标准，确保用户数据始终得到最佳的保护。

总之，WPSAI作为一款智能生产力工具，已经被广泛应用于各种场景中。它简化了办公流程，帮助用户更快地完成各类任务，节省时间和精力，提升了工作效率和水平。第6章人工智能四、WPSAI（1）使用WPSAI功能修改、核对、润色文稿第6章人工智能四、WPSAI（2）使用WPSAI功能缩短篇幅、扩充篇幅、翻译、归纳总结文稿第6章人工智能四、WPSAI（3）使用WPSAI功能中“头脑风暴”模式编写某个主题的活动策划方案（4）使用WPSAI功能中“演讲稿”模式编写某个主题的演讲稿第6章人工智能四、WPSAI（5）使用WPSAIPDF功能快速理解文稿，并对文稿进行主题概括（6）使用WPSAIPDF功能对文稿进行问题提问等操作第6章人工智能四、WPSAI（7）使用WPSAI功能完成一个简单表格制作、修改表格行和列以及快速美化表格第6章人工智能四、WPSAI（8）使用WPSAI功能，通过AI对话框输入需求，全自动生成一份符合某一主题要求的精美PPT，使用生成单页、扩写改写等及自定义调整风格、配色、字体、排版等功能操作PPT第6章人工智能五、文心一格（1）打开文心一格网站第6章人工智能五、文心一格（2）单击“AI创作”导航，进入创作界面第6章人工智能五、文心一格（3）在“创意内容”文本框内用文字描写你要创作画的主题、风格第6章人工智能五、文心一格（4）在“创意内容”文本框写下“心花绽放，友谊长存，一辆扁平风小车面前，两个儿童一起游戏，鲜花盛开在周围，漫画卡通风格”。同一主题风格，每次生成的画都有不同的场景第6章人工智能五、文心一格（5）在任意生成的“AI创作画”单击“去编辑”，可以进行自主加工第6章人工智能五、文心一格（6）通过“图片叠加”和“涂抹编辑”两大类功能灵活完成创作第6章人工智能五、文心一格（7）对生成的图片进行“图片叠加”，在本地上传一张图片，进行融合处理，生成第6章人工智能五、文心一格

“文心一格”是一种基于人工智能算法的艺术创作方式，它可以根据输入的创意或主题，自动生成相应的诗歌、文章、音乐等作品，并具有一定的审美和情感取向。这种技术涉及到深度学习、生成对抗网络、自然语言处理和图像识别等多个领域，机器生成的作品是以模拟人类创作过程为目标的，使得自动生成的作品符合人类思维方式以及审美标准。

AI艺术创作在某些场景下可能会带来实际的应用价值，如智能化的广告策划、插画甚至是影视节目的创作和制作等领域。但需要注意的是，当前的技术还存在许多挑战和限制，如数据缺失、版权问题、创新不足等，难以完全替代人类的创造力和天赋。因此，AI艺术创作仍处于发展初期，需要更多的研究和探索，以进一步提高作品质量和创造性，并与人类艺术形式融合，产生出更加丰富多彩的艺术效果。第6章人工智能六、人工智能的常见大模型应用1.ChatGPT

ChatGPT（全名：ChatGenerativePre-trainedTransformer），美国人工智能研究实验室OpenAI研发的一款聊天机器人程序，于2022年11月30日发布。ChatGPT是一种人工智能技术驱动的自然语言处理工具，使用了基本的Transformer、到GPT-1、GPT-2、GPT-3、GPT-3.5、GPT-4架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力，尤其是它会通过连接大量的语料库来训练模型，这些语料库包含了真实世界中的对话，使得ChatGPT具备上知天文下知地理，还能根据聊天的上下文进行互动的能力，做到与真正人类几乎无异的聊天场景进行交流。ChatGPT不单是聊天机器人，还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。第6章人工智能六、人工智能的常见大模型应用1.ChatGPTchatGPT的发展历程第6章人工智能六、人工智能的常见大模型应用1.ChatGPT

2023年2月7日，微软宣布推出由ChatGPT支持的最新版本人工智能搜索引擎Bing（必应）和Edge浏览器。微软CEO表示，“搜索引擎迎来了新时代”。同年2月8日，在华盛顿雷德蒙德举行的新闻发布会上，微软宣布将OpenAI传闻已久的GPT-4模型集成到Bing及Edge浏览器中。2023年2月16日消息，微软在旗下必应搜索引擎和Edge浏览器中整合人工智能聊天机器人功能的举措成效初显，71%的测试者认可人工智能优化后的必应搜索结果。2023年2月16日，百炼智能潜客宝团队在进行了市场调研之后，决定集成以“内容生成和智能互动”见长的ChatGPT，正式上线智能营销助理。第6章人工智能六、人工智能的常见大模型应用1.ChatGPT

GPT-4是多模态大模型，即支持图像和文本输入以及文本输出，拥有强大的识图能力，文字输入限制提升到了2.5万字。

GPT-4的特点在于：第一，它的训练数量更大；第二，支持多元的输出输入形式；第三，在专业领域的学习能力更强。

第6章人工智能六、人工智能的常见大模型应用

温馨提醒：ChatGPT广泛应用的同时，IT行业的领导者们担心用来做一些非法事情，例如：黑客们用于策划网络攻击等事情，世界各国陆续规章立法，规范人工智能合法使用。使用ChatGPT完成作业和写论文是不道德和不健康的学习方式。学生们需要学会自主思考，理解知识并自己动手完成作业，任何使用ChatGPT完成作业的行为将被视为作弊。第6章人工智能六、人工智能的常见大模型应用2.文心大模型

文心大模型又称为“文心千帆”大模型平台。2023年3月27日，百度正式推出“文心千帆”大模型平台，面向客户提供企业级大语言模型服务。据了解，文心千帆大模型平台包括文心一格、文心百中、文心一言等全套文心大模型，及相应的开发工具链。未来，文心千帆还会支持第三方的开源大模型。在现场实时演示中，文心千帆可实现三分钟做ppt、数字人直播带货、订机票和酒店等操作。下面依次简单介绍一下文心一格、文心百中、文心一言等产品。第6章人工智能六、人工智能的常见大模型应用2.文心大模型

文心一格是一款依托文心大模型的技术创新推出的“AI作画”产品。2022年8月19日，中国图象图形大会CCIG2022在成都召开，百度正式发布AI艺术和创意辅助平台——文心一格，这是百度用户只需输入自己的创想文字，并选择期望的画作风格，即可快速获取由文心一格生成的相应画作。官网资料显示，文心一格现已支持国风、油画、水彩、水粉、动漫、写实等十余种不同风格高清画作的生成，还支持不同的画幅选择。在文心一格上，用户仅需输入文字创想，即可完成别具一格的画作，受到用户广泛好评。值得一提的是，文心一格深谙中国文化精髓，所创画作尽现中国风骨。产品支持以图生图、支持可控的增删改等图片二次编辑和一键生成视频，进一步激发创造力，降低内容生产成本。第6章人工智能六、人工智能的常见大模型应用2.文心大模型文心一格产品主页界面第6章人工智能六、人工智能的常见大模型应用文心一格根据用户要求生成的创作图第6章人工智能六、人工智能的常见大模型应用DIY定制应用场景第6章人工智能六、人工智能的常见大模型应用2.文心大模型

文心百中是继文心一格之后，以文心大模型为核心驱动的第二个产品——产业级搜索系统。“文心百中”在峰会上发布，该产品由百度搜索与文心大模型联合研制，命名寓意搜索结果精准，百发百中。百度搜索与文心大模型联合研制的产业级搜索系统，寓意为搜得准确，百发百中。第6章人工智能六、人工智能的常见大模型应用2.文心大模型

2022年11月30日，基于文心大模型，百度发布“文心百中”，它是百度搜索与文心大模型联合研制的基于大模型的产业级搜索系统。文心百中依托行业领先的文心ERNIE大模型，以极简的策略和系统方案，替代传统搜索引擎复杂的特征及系统逻辑，可低成本接入各类企业和开发者应用，并凭借数据驱动的优化模式可实现极致的行业优化效率及应用效果。文心百中是百度搜索与文心大模型联合研制的产业级搜索系统，寓意为搜得准确，百发百中，2022年11月30日正式发布。其研发目的在于解决传统搜索引擎的缺陷，并提供更准确、高效的搜索结果。与传统搜索引擎不同的是，文心百中采用了纯神经搜索架构和数据驱动搜索效果优化策略，极大地提高了搜索引擎的语义理解能力和效率。第6章人工智能六、人工智能的常见大模型应用2.文心大模型

文心一言（英文名：ERNIEBot）是百度全新一代知识增强大语言模型，文心大模型家族的新成员，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。文心一言是知识增强的大语言模型，基于飞桨深度学习平台和文心知识增强大模型，持续从海量数据和大规模知识中融合学习具备知识增强、检索增强和对话增强的技术特色。2023年3月27日14:00分，“文心一言”正式上线。文心一言是一款由百度推出的知识增强大语言AI模型，基于飞桨深度学习平台和文心知识增强大模型，可以帮助人们在海量的信息中筛选需要的信息，获取知识、灵感，从而使工作、生活更加便利。文学一心拥有强大的中文语料库，可胜任文学创作、文案创作、数理逻辑推算、中文理解、多模态生成场景，应用场景十分广泛。第6章人工智能六、人工智能的常见大模型应用2.文心大模型

文言一心是新一代知识增强大语言模型，其基于飞桨深度学习平台和文心知识增强大模型，拥有丰富强大的中文语料库，可理解和生成富含文化内涵和哲理的文本内容，得益于先进的自然语言处理技术和深度学习算法，文言一心拥有自然人性化的语言表达，并且能够分析文本内容、结构和风格，帮助用户写出质量颇高的文章；文心一言内置了多种丰富的写作模板，涵盖商务邮件、简历、论文等多种文章类型，用户可根据需求选择对应的写作模板，达到高效且准确的写作体验。第6章人工智能六、人工智能的常见大模型应用2.文心大模型

另外，文心一言还可识别、生成和理解富含中国传统文化元素的内容，回答和生成一些具有文学风格或哲理性的内容，帮助人们了解中国文化，并且可以应用在APP开屏页、网站首页以提升使用体验；文言一心具备多维度的分析和优化能力，能够对语法、关键词、逻辑等进行准确分析，提供优化建议和结果，大幅提高文案写作的准确性和高效性。另外，文言一心还支持多平台同步、个性化定制和拓展，更加易于使用和管理，且具备自定义能力，总体的使用体验十分出色。第6章人工智能六、人工智能的常见大模型应用3.通义千问

作为国内深耕AI领域的科技大厂，阿里达摩院自2019年就已启动中文大模型研发，并基于云平台进行大模型生态的建设，2021年，阿里先后发布国内首个超百亿参数的多模态大模型“通义-M6”以及号称“中文版GPT-3”的语言模型PLUG，为推动中国大模型研发和应用，阿里在“魔搭”社区上开源了超10个百亿参数的核心大模型。“达摩院自己做的这个技术线最早是2017年，他们当时抽了大概三十多人来追踪海外的transformer技术线路，从最早的谷歌开源,到2018年的GPT-1、2019年的GPT-2，我们都有人在追踪他们整个技术线路和这些开源的训练集、算法、模型架构……简单说，技术底座来自transformer，从GPT-2之后开始去做真正的建设和底座的夯实，中间这两年还是基于我们自己的训练集、数据集去做一些训练。第6章人工智能六、人工智能的常见大模型应用3.通义千问

“通义千问”这个名字来源于两个方面，“通义”意味着该模型具有广泛的知识和普适性，可以理解和回答各种领域的问题。作为一个大型预训练语言模型，“通义千问”在训练过程中学习了大量的文本数据，从而具备了跨领域的知识和语言理解能力。“千问”代表了模型可以回答各种问题，包括常见的、复杂的甚至是少见的问题。它表达了通义千问致力于满足用户在不同场景下的需求，无论问题多么复杂或者独特。综合起来，“通义千问”这个名字表达了这款人工智能语言模型的强大功能和广泛适用性。第6章人工智能六、人工智能的常见大模型应用3.通义千问

通义千问大模型申请体验页面与获得测试体验资格邮件界面第6章人工智能六、人工智能的常见大模型应用3.通义千问

2023年4月7日，阿里云宣布自研大模型“通义千问”开始邀请用户测试体验。该模型主要定向邀请企业用户进行体验测试，用户可通过官网申请（），符合条件的用户可参与体验。通义千问主页面界面如图。第6章人工智能六、人工智能的常见大模型应用4.盘古大模型

盘古大模型是由华为云、循环智能和鹏城实验室联合开发的业界首个千亿级生成和理解中文NLP大模型。它具备领先的语言理解和模型生成能力，在权威的中文语言理解评测基准CLUE榜单中，盘古NLP大模型在总排行榜及分类、阅读理解单项均排名第一，刷新三项榜单世界历史纪录。第6章人工智能六、人工智能的常见大模型应用4.盘古大模型

盘古大模型，是华为旗下的盘古系列AI大模型，包括NLP大模型、CV大模型、科学计算大模型。华为于2021年开始立项做盘古大模型，2021年4月发布了盘古NLP大模型、盘古视觉大模型、盘古科学计算大模型，2021年9月，推出用于药物研发细分场景的大模型，2022年，与能源集团合作发布了盘古矿山大模型、盘古气象大模型、盘古海浪大模型、盘古金融OCR大模型。第6章人工智能六、人工智能的常见大模型应用4.盘古大模型

盘古NLP大模型，可用于内容生成、内容理解等方面，并首次使用Encoder-Decoder架构，兼顾NLP大模型的理解能力和生成能力，保证了模型在不同系统中的嵌入灵活性。在下游应用中，仅需少量样本和可学习参数即可完成千亿规模大模型的快速微调和下游适配。2019年权威的中文语言理解评测基准CLUE榜单中，盘古NLP大模型在总排行榜及分类、阅读理解单项均排名第一，刷新三项榜单世界历史纪录；总排行榜得分83.046，多项子任务得分业界领先,是目前最接近人类理解水平（85.61）的预训练模型。第6章人工智能六、人工智能的常见大模型应用4.盘古大模型

盘古CV大模型，可用于分类、分割、检测方面，也是首次实现模型按需抽取的业界最大CV大模型，首次实现兼顾判别与生成能力。基于模型大小和运行速度需求，自适应抽取不同规模模型，AI应用开发快速落地。使用层次化语义对齐和语义调整算法，在浅层特征上获得了更好的可分离性，使小样本学习的能力获得了显著提升，达到业界第一。第6章人工智能六、人工智能的常见大模型应用4.盘古大模型

盘古气象大模型，实现气象预报精度首