《大数据导论》课件 第8章 大数据的行业应用

第8章数据的行业应用演讲人2024-08-08目录8.1互联网大数据的应用8.2金融大数据的应用8.3医疗大数据的应用8.4工业大数据的应用8.5智慧城市大数据的应用018.1互联网大数据应用8.1.1互联网大数据简介互联网大数据概述互联网的飞速发展产生了海量大数据，据统计，2021年，全球每天收发电子邮件数量估计为3196亿封，基于计算机信息处理终端、互联网传输渠道，大数据时代已经来临。全球数以亿计的互联网用户将自己听到、看到的原创信息，通过文字、图像、音频和视频的方式上传，在互联网终端上产生了海量的大数据。不同于传统的书信、电话和短信方式，互联网以极快的速度传播海量大数据，数据量之多堪称是“数据爆炸”。互联网大数据在不同业务末端都产生了海量的创新应用。例如：华尔街金融机构通过对投资者的留言进行情绪分析，通过情绪判断股票买卖的时机。当投资者情绪高涨时买进，而当情绪低落时则卖出，可以将收益稳定在可控水平。针对互联网中的个体，也可以通过对其新浪微博、微信朋友圈和淘宝消费倾向，分析出该个体在互联网中的“画像”，从而有针对性地进行精准营销。8.1.1互联网大数据简介互联网大数据概述互联网大数据产生了“互联网+”的概念，“互联网+”是一种全新的思维方式具象化，是互联网延伸到各行各业的改革方式。“互联网+=互联网+思维”。互联网是基础，加号是方式，思维是核心，通过互联网中大数据的沉淀，在各行各业中实现业务创新与改革。海量的数据虽然能够反映出问题，但是不能直接代替人类做出决策。大数据的核心功能是提供辅助知识，为人类的决策提供参考。因此，“互联网+”的本质是如何将蕴含在互联网大数据中的价值最大化。面向互联网沉淀的海量大数据，运用大数据存储、分析和挖掘工具获取大数据中的知识才是王道。8.1.1互联网大数据简介互联网大数据的特点除了大数据的“4V”特性以外，互联大数据改变了行业业务逻辑，重构了互联网逻辑思维，图8-1给出了互联网大数据的词云。互联网大数据具有的特征如下：（1）个性化：互联网大数据的来自不同的个体，每个连接入互联网的个体，无时无刻不在产生与自己相关的大数据。例如：个人的爱好、购物倾向、出行方式、吃饭习惯、消费方式以及社交软件使用记录等，这些互联网大数据中积淀了用户的“个性化”标签。因此，互联网大数据具有个性化的特征；（2）智能化：随着互联网的全民普及，互联网大数据已经形成了一个庞大的智能生态体系，不但包括技术体系还涵盖业务体系，涉及到数据采集、预处理、存储、安全和应用。随着大数据落实到互联网的行业领域，大数据正在开辟出越来越大的价值空间。由于互联网源源不断产生数据，因此行业领域的数据价值将逐渐得到体现；8.1.1互联网大数据简介互联网大数据的特点（3）产业化：互联网大数据正在形成自己独有的一条上下游产业链，无论软件、硬件都朝着产业方向迈进。在产业链上游，主要是大数据的基础支撑服务；产业链中游提供的是数据服务，包括各类大数据处理的核心技术；产业链下游进行数据融合应用，尤其是互联网大数据涵盖的各行各业，在互联网大数据作用下都重构了业务逻辑，提升了业务效率。图8-1互联网大数据词云8.1.1互联网大数据简介互联网大数据应用互联网沉淀的海量大数据，在众多领域中都具有广泛的应用，通过分析不断增长的互联网大数据，在众多领域实现了创新领域。经过多年的发展，互联网大数据主要包含如下八大应用领域：01（1）理解客户服务需求：通过客户线上社交数据、浏览日志、文本和传感器数据，互联网企业更加全面的了解客户需求和偏好，提高用户体验；02（2）业务流程优化：通过社交媒体数据、业务数据和互联网检索数据，从中挖掘出有价值的知识，指导互联网企业进行业务流程优化；03（3）改变个人生活：通过可穿戴设备、智能手机、智能平板等设备，互联网深刻地改变了个人的生活，例如：追踪个人健康数据，匹配个人爱好等；048.1.1互联网大数据简介互联网大数据应用（4）记录体育锻炼数据：体育锻炼过程中的数据记录意义重大，专业运动员能够通过专业设备记录体育锻炼成绩。近年来，随着互联网体育锻炼的兴起，普通大众也能够通过运动App记录自己的体育锻炼数据，如：Keep体育锻炼App等；（5）优化交通工具性能：近年来，互联网造车新势力得到了快速发展。以蔚来汽车、理想汽车为代表的新兴交通工具，将汽车行驶数据接入互联网中，通过记录汽车大数据，能够逐步优化交通工具性能，提升交通出行的效率和体验；（6）改善安全执法过程：互联网大数据也被广泛应用到城市安全和执法过程。例如：在国务院联防联控机制下，与我们生活息息相关的健康码、行程码等都基于居民生活的大数据实现。同时，大数据也被用于公安执法，能够快速定位犯罪行为，快速跟踪可疑人员等；1238.1.1互联网大数据简介互联网大数据应用（7）改善城市生活：在互联网企业的发展下，城市生活逐渐便利起来。如今，城市年轻人在大数据的支持下开启了全新的生活方式，例如：手机App线上点外卖，同城生活产品配送，实时交通信息推送和天气数据推荐等；（8）金融交易辅助决策：随着互联网金融企业的兴起，大数据在金融行业也有广泛应用，金融交易是大数据应用最多的领域。在金融交易中收集社交媒体、网站新闻以及政策法规等信息，能够快速给出金融买卖辅助决策，提升金融收益。具体来看，如今互联网企业遍布各行各业，深刻改变着各行各业的业务逻辑。表8-1给出了互联网大数据的主要应用场景。其中，绝大多数涉及到如今主流的互联网企业，如互联网支付来自支付宝、腾讯；线上零售来自淘宝、京东；线上房屋租赁来自安居客、贝壳；线上订票来自携程、去哪儿；线上外卖点餐来自美团、饿了么等。8.1.1互联网大数据简介互联网大数据应用表8-1互联网大数据的主要应用场景8.1.2零售业互联网大数据应用零售业的形式多种多样，传统线下的零售业有门店销售、百货商店、专卖店、便利商店等方式，线上的零售则集中在电视购物和电话购物。随着互联网的普及，2005年开始，零售业的电子商务网站如雨后春笋般崛起，零售业在互联网中得到了极大的发展。经过近15年的发展，我国互联网零售业沉淀了海量的业务大数据，如何利用这些数据提升零售业务却面临着巨大挑战。传统电子商务平台业务主要问题来自两方面，一是不断上升的经营成本；二是较弱的客户黏性，由于缺乏消费洞察导致客户丢失。面对日益激烈的互联网零售市场竞争环境，电子商务企业逐渐明白了基于数字化营销、服务的重要性。当前，零售业一直在与“数据孤岛”和封闭的数据库做斗争，历史交易数据往往沉淀在某个部门中，使得管理、分析和挖掘零售业务数据变得困难，妨碍了零售业大数据的商业价值。8.1.2零售业互联网大数据应用根据国家统计局数据，2022年我国互联网零售额137853亿元，比上年增长4.0%。其中，实物商品互联网零售额119642亿元，比上年增长6.2%，互联网零售占比消费零售总额比例为27.2%。互联网零售业积累的海量大数据，可用于制定零售业务计划与决策，深入了解客户群体，挖掘隐藏的趋势，零售业的互联网大数据包含如下五大应用：8.1.2零售业互联网大数据应用零售业的客户行为数据分析如今，零售购物方式只需在手机App上进行，经年累月记录了大量客户行为数据，通过分析这些客户行为数据，能够提升客户转化率、降低获客成本，避免客户流失，同时还能够精准推送个性化商品，提振个性化的广告营收。8.1.2零售业互联网大数据应用基于大数据的个性化购物体验基于大数据的行为追踪，能够分析每个客户进入网络虚拟店铺后的行为，从而构建个性化的销售策略。一般情况下，客户拥有全局的购买和浏览记录，特定商品分类的购买和浏览记录，以及商铺的购买和记录，通过这些数据确定客户的需求与兴趣，为客户定制个性化的购物体验。8.1.2零售业互联网大数据应用大数据精准营销提升客户转化率如今，在大型互联网企业的业务支持下，零售大数据与社交媒体大数据已经打通，将客户的购物记录、个人行为信息，以及社交媒介数据相结合，能够获得更为精准的营销方向，针对性进行商品推送和广告植入。8.1.2零售业互联网大数据应用基于大数据的用户画像分析在互联网购物过程中，每位用户存储了海量行为大数据，这些数据可用于构建每位用户的画像。借助于大数据的分析与挖掘技术，零售企业能够结合结构化和非结构化数据，客观分析用户的画像，例如：用户的消费本质是什么、哪些是高价值用户，这类用户行为方式特点、与用户互动方式策略等。8.1.2零售业互联网大数据应用基于大数据的运营和供应链优化在互联网环境下，零售业的商品生命周期不断加快，运营和应用过程日益复杂。利用商品积累的大数据，能够深入分析商品供应链和商品分销，优化流程并缩减成本。基于大数据的运营和供应链优化，分析大数据从而挖掘出隐藏在日志、传感器和机器数据中的知识，通过知识改进决策，改善运营流程，从而达到大幅缩减成本目的。8.1.3房地产业互联网大数据应用随着“互联网+”概念的兴起，众多互联网企业开始纷纷涉足房地产业，同时传统房地产企业也迅速开始建立互联网平台。媒体属性需求显著的房地产业，对于媒体传播具有较高的依赖性，互联网平台大力发展P2P信贷、线上众筹等业务，为新房、二手房和家居三大交易主体提供金融支持。同时为房地产业提供买房、卖房、租房和装修等金融需求，全面完成房地产用户的闭环需求。此外，传统房地产中介业务也受到了冲击，互联网改变了房屋租赁模式、中介虚假房源以及中介对客户挑剔等弊病，摒弃了传统房屋中介的层级管理制度，采用互联网企业的扁平化管理模式，精细化运营房屋租赁市场。最终，未来的房地产社区能够基于大数据构建更为科学的应用，打通用户大数据、房屋大数据、价格大数据和中介服务大数据，为用户提供精准营销服务，提升房地产企业的服务质量。8.1.3房地产业互联网大数据应用在互联网背景下，无论是传统房地产企业，如万科、碧桂园等，还是互联网房地产中介企业，如：贝壳找房、安居客等，都积攒了海量房地产互联网大数据。针对大数据的分析与挖掘，可以重构房地产业务逻辑，提升房地产行业的服务质量。具体来讲，房地产大数据能够为房地产业提供如下的创新应用：8.1.3房地产业互联网大数据应用精准了解客户的住房需求无论是房屋购买还是房屋租赁，住房是每个家庭最重要的需求之一。面对海量的住房信息，传统房地产开发商、中介商都采用拜访、广告等粗犷方式，获客成本较高且客户对于住房信息满意度不高。在大数据的支撑下，房地产开发商、中介商能够分析客户的工作性质、消费习惯和年龄结构，通过挖掘出的知识过滤、计算和优化客户群体，将目标客户划分为高质量客户和潜在客户，根据不同的住房需求提供个性化住房推荐。例如：通过分析某个街区的常驻人口数量，房屋数量，学历比例和工作热力图等信息，能够针对性进行精准的房屋买卖、租赁推荐。8.1.3房地产业互联网大数据应用精确定位房地产企业的市场房地产开发商进入某个区域建设、销售房商品房时，首先需要进行项目的评估和可行性分析，传统企业一般通过收集统计年鉴、房管局数据、行业相关报告、行业专家意见以及属地市场调查等数据。这类数据通常存在年代久远，样本不足、准确度低等缺点，导致房地产企业的市场地位模糊。在大数据时代背景下，针对某个地区的大数据获取居民画像，有助于房地产企业判断是否进入该地区开拓房地产市场。例如：通过大数据分析某个地区的收入水平、私家车出行比例、职业分布比例以及消费水平和年龄分布，能够快速定位该地区的商品房市场。8.1.3房地产业互联网大数据应用房地产业务需求的开拓创新随着互联网的普及，知乎、新浪微博、微信公众平台、抖音短视频等平台得到了快速发展，社会公众在互联网上的信息分享变得更为自由，“网络评论”成为了新型舆论发展形势。房地产开发商、中介商若能够收集互联网上关于地产行业的评论数据，构建房地产网络评论数据库，再通过大数据分析与挖掘技术，了解房地产消费者的新需求、价值取向以及房地产质量问题等，从而改进并创新房地产业务，量化房产价值，制定合理的价格并提高服务质量。依托于网络评论构建的交互性大数据，其中蕴含着巨大的房地产行业需求和开发价值，利用好这些数据与信息将提升房地产企业效益。8.1.3房地产业互联网大数据应用房地产业务需求的开拓创新【案例8-1】某找房App：居住服务全量信息的数字空间。房屋买卖、租赁和装修等居住服务业务具有交易频次低、单次交易金额高、交易流程漫长、相关知识专业，以及相关政策法规复杂等特点。同时，居住服务没有明确的标准化，中间商容易产生恶性竞争，行业效率低下，且消费者难以获得高品质的专业服务。经过20年房地产居住服务行业的沉淀，某找房App基于大数据、人工智能和虚拟现实技术，打造居住服务行业的“数字空间”，对居住服务全量信息构建数字化复刻。如图8-2所示，找房App的“数字空间”倡导房地产业上下游共同参与数据共享和建设，通过不断迭代基础数据、潜藏数据和交互数据，串联房地产开发商、房产租赁中介商、家装和家居提供商以及家政服务商，共同为消费者构建房产交易平台。在数字空间的支持下，贝壳找房实现了智能匹配、房客分级、智能签约等多个大数据、人工智能应用场景，重构了居住服务领域的业务逻辑。8.1.3房地产业互联网大数据应用房地产业务需求的开拓创新图8-2某找房App：居住服务全量信息的数字空间8.1.4餐饮业互联网大数据应用在“互联网+”概念的风靡下，餐饮行业也逐渐进入信息化时代。餐饮信息化是通过计算机代替手工作业作为服务终端，以信息化管理软件作为平台，将餐饮企业的各项业务统一进行数字化管理，从而达到安全稳定、准确高效等目的。餐饮业在互联网中获得了蓬勃发展，其主要原因是面向的用户群体转变。随着90后消费群体崛起并成为主流，对餐饮业需求与传统70后的需求不再相同，使餐饮企业在品牌定位、产品设计、营销策略、客户体验和经营思维等业务逻辑都需要进行重构，逐渐发展出线上订餐、预制菜和菜谱信息化等多个互联网平台应用。例如：线上订餐（即：外卖）成为了餐饮业“互联网+”的重要赛道，并发展出外卖单品、外卖平台、预制菜和同城物流，以及厨师上门等多种餐饮业线上服务。8.1.4餐饮业互联网大数据应用在互联网背景下，无论是互联网团购、订餐平台，如：美团、大众点评、饿了么等，还是传统餐饮企业的互联网平台，如：麦乐送、肯德基宅急送、海底捞外送等，都积攒了海量餐饮互联网大数据。针对这类大数据的分析与挖掘，可以重构餐饮平台的业务逻辑，提升餐饮行业的服务质量。具体来讲，餐饮大数据能够为餐饮产业提供如下的创新应用：8.1.4餐饮业互联网大数据应用线上订餐准时交付准时交付是线上订餐的重要服务需求之一，尤其是恶劣天气、高峰时段的外卖配送，由于订单量大、配送人员少等因素，导致准时交付成为了送餐瓶颈之一。在大数据的共享支持下，订单配送可以得到高度优化和定时。准时交付最早出现在物流配送体系中，随着外卖行业的兴起，外卖平台通过收集不同来源的大数据，涵盖道路交通、天气、温度和路线，对订单配送的交付时间进行估算，能够科学、客观的保证准时交付。此外，基于大数据分析，能够获得不同因素对食品质量的影响，确保不同类型食品交付的不同方案，例如：水果等易腐食品的准时交付，提升线上订餐的效率。8.1.4餐饮业互联网大数据应用餐厅运营效率提升虽然如今线上订餐已经占据了餐饮业半壁江山，但是传统餐厅仍然具有一定的市场份额。在“互联网+”概念冲击下，传统餐厅也逐渐打造出以食客为中心的前厅信息化，以及以厨房为中心的后厨信息化。其中，前厅信息化将获客引流、预定餐位、排队叫号、点餐和收银都接入互联网，通过数据分析极大的提升前厅的运营效率；后厨信息化则能够将订餐信息传递给后厨，通过数据分析优化服务员与厨师的工作流程，保证有序、高效的精细化后厨，优化后厨业务，提升出餐效率。8.1.4餐饮业互联网大数据应用精准了解消费者的用餐需求随着90后成为餐饮消费主力，对餐饮质量、个性化餐饮服务提出了全新的需求。因此，餐饮平台、企业需要基于大数据精准了解不同消费者的用餐需求。首先，通过用餐评价大数据不但能够分析消费者情绪，还能够规模化分析负面评论，防止负面评价传播，提升餐厅的品质；其次，通过社交媒体大数据预测不同地区消费者的口味变化，让区域餐厅提前改进菜品，迎合消费者的新需求；最后，90后成为了线上订餐的主要对象，面对琳琅满目的餐品通常难以选择，外卖平台可以根据每个用户的社交媒体、用餐评论和历史操作数据，分析出每个用户在不同时期的用餐偏好，从而有针对性的进行个性化餐品推送。8.1.4餐饮业互联网大数据应用精准了解消费者的用餐需求【案例8-2】某餐饮App：餐饮大数据平台。某餐饮平台创立于2008年，是国内最大的本地生活平台之一，其主营业务涵盖在线外卖、新零售、及时配送和餐饮供应链等业务。其中，在线外卖是其最重要的业务之一。随着大数据的积累与沉淀，2015年5月成立大数据团队，并主导开发大数据平台。早期大数据团队选择开源的Hadoop框架构建大数据平台。2016年4月，餐饮大数据平台构建了100+个节点的Hadoop集群。随着数据的不断提升，大数据团队意识到外卖行业的特殊性：业务大数据中不但包含批处理数据分析任务，而且在每天的高峰期中还存在流数据分析任务。因此，大数据团队也引入了流计算框架。然而，外卖行业的发展速度太快，仅仅一年后，Hadoop集群已经增长到1000+个节点，同时也引入了生命周期管理模块，而流计算的数据规模也在短短一年时间中增长了10倍，一些主题的吞吐量超过每秒百万条外卖信息。8.1.4餐饮业互联网大数据应用精准了解消费者的用餐需求随着数据规模的增长，餐饮大数据平台的框架也在不断调整。2018年至今，餐饮大数据平台已经整合多个框架，提供数据存储、数据管理、在线应用、批处理计算、查询引擎、流计算和离线计算多个模块，涵盖了外卖服务的整个流程，平台逻辑架构如图8-3所示。统计数据显示，截止到2022年12月底，我国互联网外卖用户规模达到5.21亿人次，在外卖点餐、出餐和配送整个流程中，产生了海量的餐饮大数据。采用大数据和人工智能算法分析这类大数据，不但能够提升行业，还能够创新更多的线上订餐服务。如今，基于海量餐饮大数据的人工智能技术已经深入到外卖产业链中，构建了许多应用：8.1.4餐饮业互联网大数据应用精准了解消费者的用餐需求图8-3某餐饮大数据平台的逻辑架构图8.1.4餐饮业互联网大数据应用精准了解消费者的用餐需求(1)出餐时间预测：出餐时间的准确预测能够为骑手节省大量时间，尤其是用餐高峰期，利用各个店铺的历史出餐时间构建预测模型，合理分配送餐员的路线，在高峰期能够保证送餐员最少的等待时间，提升外卖配送效率。(2)行程时间预估：当送餐员拿到外卖后，预估其送达的时间有利于提升用户的信任度。在地图数据、天气数据和高峰期配送数据支持下，构建行程时间预估模型，不但能够保证每位送餐员准时送达，还能够辅助用于优化送餐路线。(3)智能分单系统：在送餐高峰期，餐饮平台经常会出现订单量远远大于骑手的情况，因此需要利用历史分单大数据，构建智能分单系统，合理为每个骑手分配合适的单量，保障外卖平台整体的平稳运行。8.1.4餐饮业互联网大数据应用精准了解消费者的用餐需求(4)订餐推荐系统：餐饮大数据平台收集每个用户的订餐历史、浏览历史，实时预测用户每天的用餐偏好和需求，进而有针对性地进行个性化订餐推送。028.2金融大数据应用8.2.1金融大数据简介金融大数据概述金融业属于典型的数据密集型产业，金融业务中包含较多结构化和非结构化数据，再加上金融业中较高的交易数据频次，使得大数据在金融业中具有潜在的应用价值。一方面，金融机构经过多年业务发展，积累了海量日常业务数据，不仅包括客户账户、资金交易等存储在数据库中的结构化数据，还包括客服音频、网络银行记录、电子商城记录以及网点电子监控等非结构化数据。其中，客户身份、资产负债情况和资金交易等数据价值很高，通过大数据分析和挖掘技术，能够产生巨大的商业价值。同时，传统金融机构工作人员，也具备极为丰富的金融数据处理经验，这些经验可以拓展至金融大数据中，提升金融机构的竞争力，使金融机构能够更好地适应技术变革。8.2.1金融大数据简介金融大数据概述此外，大数据技术的日益成熟，新兴的Hadoop、Spark平台可以同时对结构化大数据和非结构化大数据同时进行存储、分析、计算和挖掘，利用平台的优势能够加速金融大数据的应用。同时，云计算的发展也为金融大数据提供了弹性扩展、相对价格低廉的存储空间和分析手段，使得中小型金融机构与大型金融机构都能够完成金融大数据的分析与应用。同时，大数据的决策模式同样适用于金融业的日常决策过程。在大数据平台和技术的推动下，金融业的管理模式、发展趋势、产业创新将会带来极大的改变。大数据思维也会影响着金融业的进一步发展，通过运营中积累的金融大数据资源，深入挖掘金融大数据的潜在价值，对经济运行、金融机构决策都有较大的促进作用。8.2.1金融大数据简介金融大数据的特点除了大数据的“4V”特性以外，金融大数据将改变金融服务模式，重构金融产业价值链，还具有如下的特征：（1）虚拟化：近年来，随着数字货币和数字化金融交易逐渐深入人心，数据化、网络化和智能化全面深入的发展极大的改变了金融行业。金融行业逐渐积累的金融大数据，使得传统金融机构服务属性转变为虚拟化和电子化的交易特征。金融交易服务以数字化为主，以大数据技术为辅，全面颠覆传统金融机构的服务体系表8-2给出了金融大数据的虚拟化特点；8.2.1金融大数据简介金融大数据的特点表8-2金融大数据的虚拟化特点8.2.1金融大数据简介金融大数据的特点（2）开放性：在大数据时代，金融机构依托于互联网、移动支付等新兴技术，降低了金融交易服务的信息不对称和信息障碍。通过信息流、数据流构建开放式的资源分配，金融交易的资金供需双方能够平等参与交易，保障了各个金融机构主体的相对平等。金融大数据的开放性，保障了金融机构与客户的平等交流，主动收集客户的金融数据，保障客户的隐私安全；（3）高生产力：在金融、经济活动中，大数据将与物质资本、人力资源绑定在一起，成为一个重要的生产要素，合理使用金融大数据将能够提升金融机构的生产力。表8-3给出了金融大数据提升金融机构生产力的关键要素。8.2.1金融大数据简介金融大数据的特点表8-3金融大数据提升金融机构生产力的关键要素8.2.1金融大数据简介金融大数据的特点（4）科学决策：在大数据时代背景下，金融机构能够获得更全面的数据决策支持，使得决策和判断更具有客观性、科学性。针对海量结构化和非结构大数据的分析，金融机构能够及时准确地发现业务，以及判断业务可能存在的风险，为业务发展和风险控制提供重要的科学决策依据。8.2.1金融大数据简介金融大数据应用随着物联网、大数据、云计算和人工智能技术的逐渐成熟，利用新兴技术提升金融机构竞争力是其内在需求。金融机构与金融大数据紧密相连，一方面金融机构可以利用大数据提升金融服务水平，提高金融数据的运行效率；另一方面，金融大数据能够为金融机构创造更大的价值，更好地提升金融资源与实体经济之间的融合。表8-4给出了金融大数据的主要应用场景。8.2.1金融大数据简介金融大数据应用表8-4金融大数据的主要应用场景8.2.1金融大数据简介金融大数据应用金融大数据应用的重点在于客户、市场和运营，三者关系如图8-4所示。首先，客户洞察指的是基于客户金融大数据，一方面提升金融服务质量，另一方面构建客户预测模型，分析客户行为模式，提升客户转化率，提供新开发、新服务和新营销；其次，市场洞察指的是基于金融市场历史数据，构建大数据分析模型，寻找金融创新机会，建立新策略、新模式和新产品；最后，运营洞察指的是基于金融机构运营大数据，协助提高风险透明度，加强风险管理控制，降低业务成本，构建新治理、新监管和新风控。8.2.1金融大数据简介金融大数据应用图8-4金融大数据的应用重点8.2.2银行业金融大数据应用近年来，银行业的交易数据、客户数据、管理数据等均呈现快速增长势头。大数据对传统大型银行造成突出影响，股份制银行是应用金融大数据最活跃的群体。当前，金融大数据对银行业务的改革创新主要体现在四个方面，分别是客户管理创新、精准营销创新、风险管控创新和运营优化创新。表8-5给出了金融大数据在银行业中的应用创新。8.2.2银行业金融大数据应用表8-5金融大数据在银行业中的应用创新8.2.2银行业金融大数据应用客户管理创新应用在金融大数据的支持下，客户拥有了更多的自主选择权，银行能够提供更加多元化的金融产品和服务。新兴的互联网银行客户，要求银行能够提供满足个人偏好或需求的、跨渠道的、一致的、具有良好互动体验的客户管理过程。同时，银行能够将金融服务和生活服务相融合，精准预测客户的交易和消费行为，对客户群体进行精确划分，提供具有个性化、差异化以及竞争力的服务。在客户大数据的支持下，绝大多数大型银行选择将电子商务模式与金融服务相结合，在网上商城中设置基金、理财产品和保险等多个金融服务相关栏目。电子商务平台不但能够为个人客户提供服务，还能够为企业客户提供服务，构建了全新的客户管理创新方案。8.2.2银行业金融大数据应用精准营销创新应用当前，商业银行的金融产品差异较小，同质化较为严重，利用金融大数据进行精准营销，是提高核心竞争力的重要手段之一。近年来，随着金融产品的竞争日益加剧，基于大数据的精准营销推动银行金融理财产品的变革。首先，基于数据的整合与反馈，实现以客户为中心的金融服务模式，从广泛的数据源中持续获取业务相关的金融大数据；其次，经过数据加工和智能分析，预测客户的个性化需求，在流程和服务中实时共享数据。最后，商业银行经过大数据智能分析，能够拓展业务发展空间，提升银行运转效率，也能够让客户享受到精准、优质的金融产品服务。因此，基于金融大数据展开精准营销，是众多商业银行金融产品的创新方向。8.2.2银行业金融大数据应用风控体系创新应用金融大数据的核心功能在于为金融机构提供全面、动态的风险控制体系，并推动金融体系创新。征信系统是风险控制的核心，我国的征信体系发展起步较晚。截止到2022年底，中国人民银行征信系统收录11.6亿自然人、收录1亿户企业和其他机构。当前，现有征信数据均来自地方商业银行的自主上报，存在准确率低、迟滞性强等特点。尤其是个人征信和小微企业征信，往往无法通过上报数据确定信用状况。在这样的背景下，传统大型商业银行往往很少为小微企业和个人客户等提供信用贷款金融服务。在金融大数据的支持下，商业银行建立相对成熟的风控体系，保障客户的资金、交易安全，极大的降低金融交易服务的风险。8.2.2银行业金融大数据应用运营优化创新应用在金融大数据背景下，商业银行对数据获取、分析和运用等机制都得到了改变和创新。面向海量结构化和非结构化金融数据，通过大数据平台进行分析、判断和挖掘，商业银行能够及时、准确发现业务风险，以及运营中可以优化的地方，为业务发展、运营优化和风险防范提供全面、及时的支持。基于金融大数据的运营优化创新，集中体现在决策模式上的创新。传统商业银行的决策过程对异常样本和高层经验的依赖性较强，在决策过程中具有较强的片面性和主观性。数据决策建立在牢固的数据智能分析基础之上，金融大数据具有全面分析能力，其提供的智能决策具有全局性、客观性和支持性。大数据的客观性能够为银行的运营优化带来巨大创新。8.2.2银行业金融大数据应用运营优化创新应用【案例8-3】某商业银行金融大数据平台：善融商务。善融商务平台包含面向企业客户的B2B商城和面向个人客户的B2C商场，是某商业银行推出的以专业化金融服务为依托的电子商务金融服务平台（如图8-5所示）。该平台为广大企业和个人客户提供产品信息发布、在线交易、融资贷款等全方位专业服务。善融商务平台以资金流为核心，在金融大数据的支持下，具有支付结算、信贷融资、信用中介等方面的特色优势，为客户提供安全、高效的交易结算工具。从事电子商务的企业供应商可在平台上发布商品、在线交易和供应链融资等，采购商也可以在平台上发布采购信息、求购信息和融资贷款等。善融商务平台作为交易中介，充分利用金融客户的大数据，提供全新的客户管理模式，极大地提升了银行客户管理中的效率，降低了成本。8.2.2银行业金融大数据应用运营优化创新应用图8-5某银行善融商务平台8.2.3证券业金融大数据应用证券业是典型的信息密集、智力密集以及资本密集的行业。在大数据时代背景下，证券业的数据、信息在产生、传播和表达中都出现了复杂化、多样化的特点，对证券行业的相关业务发展产生了深远影响。随着金融大数据的兴起，在其强大的信息载体基础上，大数据也在证券市场得到了广泛应用。随着证券市场的信息化、智能化，参与者对证券信息的形式、数量和质量都提出了更高的要求。国内外证券交易所都基于金融大数据，设计并开发了信息化证券产品，有针对性地构建证券市场的信息挖掘和情绪分析，并提供机器推送证券订阅产品服务等。此外，大部分证券交易所还建立了“证券云平台”，提供针对性的云计算和大数据服务。众多证券投资机构已经将金融大数据因素融入投资分析框架中，期待使用大数据的信息分析能力，设计抗风险、可持续的投资方案。表8-6给出了金融大数据在证券业中的应用创新。8.2.3证券业金融大数据应用表8-6金融大数据在证券业中的应用创新8.2.3证券业金融大数据应用证券行业架构创新应用经过多年的电算化、信息化经营，证券行业的信息管理系统已经积累了大量的碎片化数据资产，在大数据的挖掘和分析中提供了重要的数据资源支撑，因此证券行业非常适合大数据的思维模式。首先，金融大数据为证券行业带来技术架构创新，主要包括更便捷、高效的信息收集和信息反馈过程。在大数据搜索技术下，强大的关键字搜索和导航能力，将为证券行业提供短时间内海量金融大数据的挖掘和分析能力，创造更多、更大的价值。其次，在金融大数据的冲击下，证券业务架构也要进行相应的调整，传统投资银行的中介职能将被削弱，取而代之的是证券业务的精细化和专业化，通过互联网渠道构建更高效率的证券投资业务架构。最后，由于历史原因，证券公司对风险的内容控制意识薄弱，利用大数据的实时分析和反馈能力，可以极大地改善内容风险控制。在金融大数据的参与下，也能为证券行业的管理带来更深远的变化。8.2.3证券业金融大数据应用证券投资策略创新应用证券投资的成败决定因素是信息拥有量，信息如何有效传播是证券投资策略研究的核心问题。在传统证券投资中，由于信息不对称，经常造成投资决策失败。随着互联网和大数据的兴起，证券市场的信息不对称问题得到了改善，信息的快速增长为投资分析和预测带来了巨大便利。新兴的社交媒体，为投资决策提供了丰富的数据支撑，例如：新浪微博、微信公众号和网络论坛等。此外，投资者利用搜索引擎获取金融信息，在互联网中交流投资心得的现象越来越普遍，市场信息结构逐渐影响了资产定价和金融资源配置。8.2.3证券业金融大数据应用量化投资创新应用在传统量化投资中，投资者经常采用主观判断的“定性投资”方法。例如：当新闻播报乌克兰与俄罗斯发生战争时，人们的投资理念可能会分析出天然气价格的上涨，从而主观判断天然气类投资产品的持仓。在这样主观判断的“定性投资”方案中，投资策略容易受到投资者的情绪波动，即投资过程按照“趋利避害”的主观意识进行，导致无法从客观的角度分析投资产生的风险。然而，基于大数据技术的量化投资策略，能够从客观风险的角度出发，排除主观情绪对投资策略的影响。因此，在金融大数据的支撑下，量化投资将会创新地获得客观的精准度，从而能够提升量化投资成功的概率。8.2.4保险业金融大数据应用我国保险业经过多年发展积累了海量大数据，因此金融大数据与保险行业也有着天然的关联性。2014年，中国保险信息技术管理有限公司，构建了中国保险行业首个保险大数据共享平台，该平台为金融大数据在保险业中的应用和发展提供了数据支撑。保险业的数字化、智能化转型之路正在提速，基于大数据与人工智能的保险赛道成为了保险业潜力竞争、基础设施建设和战略调整新动力。在保险行业中，数字化转型成效体现了金融保险企业的核心竞争力。保险业作为社会经济发展的润滑剂、连接器，在整个社会的数字化转型过程中起到了至关重要的作用。随着金融大数据的发展，国内外许多保险公司已经布局大数据应用，涵盖产品创新、风险控制和运营优化等。此外，随着互联网金融产品的快速发展，互联网保险也逐渐成为了保险交易的新平台，例如：阿里健康保险、京东安联保险等平台。在金融大数据的冲击下，保险业也涌现了许多应用创新。表8-7给出了金融大数据在保险业中的应用创新。8.2.4保险业金融大数据应用表8-7金融大数据在保险业中的应用创新8.2.4保险业金融大数据应用保单管理创新应用在保险业的发展历史中，每个客户的保单信息化管理是重要的业务之一。传统保险公司采用关系型数据库存储用户保单，想要获取多个保单之间的关系，须采用关联操作将多个保单业务串联。一般情况下，保险客户通常购买多个保单，采用关系型数据库能够消除冗余，保证保单数据的一致性，但是其缺点也较为明显，必须使用数据库的关联操作才能够实现表单数据的查询。随着历史保单数据增多，查询操作过程越来越复杂，效率越来越低。在大数据时代背景下，NoSQL数据库逐渐兴起，其不再遵循强关系数据模型，存储较为灵活，容易实现数据整合，将不同版本的历史保单数据整合至统一的模型和数据标准中，从而实现便捷、高效的历史保单大数据的管理创新应用。8.2.4保险业金融大数据应用保险信息标准化创新应用在传统的保单信息录入中，人工录入是保险公司积累原始数据的重要来源。在非标准化的信息录入中，以客户地址为例，不同录入人员在相同的地址录入中可能呈现不同版本。这些非标准化的信息在存储过程中通常会影响数据库的完整性和准确性。因此，传统保单信息管理中的非标准化信息管理有较大困难。在大数据技术的支持下，针对非标准化的信息，在人工录入过程中可实现标准化地址库匹配，同时与地图引擎结合进行地址标注，从而实现保险信息的标准化创新应用。一方面，标准化的地址信息方便检索，同时还能够促进保险业务服务范围的划分，提升保险服务效率；另一方面，保险信息标准化有助于建立统一的NoSQL数据库模型，从而对海量保险大数据进行存储、分析和挖掘，实现保险业其他业务的创新应用。8.2.4保险业金融大数据应用保险营销方式创新应用与银行、证券市场类似，传统保险公司的营销方式较为局限，一般采用“地推、扫楼和拜访”的方式，营销效率极低。在大数据时代背景下，保险业务同样能够实现精准营销。保险公司采集客户大数据，构建保险用户画像和用户关系，发现潜在的客户需求，实现精准营销。基于大数据的保险营销方式创新应用，一方面，能够提升保险客户范围，客户不再局限于销售代表的个人资源，保险客户的质量与销售人员的业绩息息相关；另一方面，统一的客户信息管理平台，也能够降低开拓新客户的成本。基于大数据的精准营销，通常以海量大数据作为强大的支撑，保障保单的质量和数量。目前，许多保险公司已经基于大数据实现了保险营销方式创新应用，走在了保险行业科技化、智能化的前列。【案例8-4】某保险公司大数据平台：数字化保险转型。8.2.4保险业金融大数据应用保险营销方式创新应用某保险公司成立于2005年7月，是中国500强企业、100强服务企业，旗下拥有财产保险、人寿保险、信用保险和资产管理等专营业务。经过10年的发展与沉淀，于2015年启动了“数字阳光”战略，其口号为“只有以科技创造出先进的武器，才有资格去参加未来的战斗”。在大数据中心、区块链、人工智能技术研究部门的支持下，该保险公司在不同的业务端实现了数字化转型，具体如下：（1）销售端：2016年启动“凤凰工程”项目，为客户、代理人和员工构建了简单易用的移动平台，并开发了一套面向代理人、客服坐席的智能营销培训系统。此外，还研发了销售培训机器人，通过实战演练的方式帮助销售人员掌握沟通技巧；（2）承保端：利用大数据分析、人工智能技术针对客户群体特点和需求，设计了差异化的产品服务。此外，构建了线上化、自动化、智能化的承保流程，实现高效的客户群体拓展、深入不同客户的承保服务，以及全生命周期的客户管理能力；8.2.4保险业金融大数据应用保险营销方式创新应用（3）理赔端：基于历史理赔大数据的沉淀，采用人工智能和反欺诈技术，大幅度地简化理赔流程，提高保险理赔效率，提升了保险公司的风险管理能力。2021年推出“闪赔宝”，采用流程压缩和智能定损技术，进一步降低了客户理赔成本，实现服务科技升级；（4）风控端：采用健康大数据核心引擎整合内外部数据，为每个客户建立“红黄蓝”风险模型，识别“逆选择”风险和阳性案件，提升了风险识别能力。在人身险风控中，开发了“智能核保大脑”项目，通过智能核保引擎、机器人和人工智能以及天网系统，实现了一体化的数值化核保体系。037.3

医疗大数据应用8.3.1医疗大数据简介医疗大数据概述医疗大数据包括个人健康、疾病防控、医疗服务、健康保障以及养生保健等方面的数据，涵盖了个人的全生命周期，对改善个人身体健康、改进医疗服务模式、提升居民幸福感指数都具有促进作用，是国家重要的基础性战略资源。医疗大数据的分析与使用能够深刻改变医疗模式，不但对提升医疗服务的效率和质量有重要作用，还可满足人民群众多层次、多样化的健康需求，为建立数字健康中国提供医疗大数据基础。医疗大数据的分类方法较多，按照传统的大数据类别，也可以划分为结构化数据、半结构化数据和非结构化数据。通常，患者诊疗数据为结构化数据，存储在数据库管理系统中；不同病症的电子病历变化较大，但都存储在规定的框架结构中，属于半结构化数据；医疗影像、基因序列等属于非结构化数据，虽然可以采用分布式文件系统存储，但是对其进行分析、计算和挖掘难度较大，需采用机器学习以及深度学习技术。8.3.1医疗大数据简介医疗大数据概述此外，医疗大数据还可以按照数据来源，划分为临床大数据、健康大数据、生物大数据和医院运营大数据，具体数据描述和数据来源如表8-8所示。8.3.1医疗大数据简介医疗大数据概述表8-8医疗大数据类别及数据来源8.3.1医疗大数据简介医疗大数据的特点除了大数据的“4V”特性以外，医疗大数据具有与医疗服务、生命健康相关联的特性：（1）不完整特性：医疗大数据以病人个体为对象，通常由于个体的健康状态变化、医疗手段多样化等特点，几乎无法全部收集、处理和分析全面反映任一疾病的医疗大数据。医疗大数据经常存在偏差和残缺，造成个体医疗和健康数据的不完整性，这也加剧了医疗大数据分析、计算和挖掘的困难程度；（2）长期保存特性：医疗大数据关乎国民健康，不同疾病在同一个体上的数据结果不同。按照相关规定，门急诊患者的医疗大数保存不少于15年，住院患者的大数据保存不少于30年，医疗影像、红外和超声等大数据将无限期保留。8.3.1医疗大数据简介医疗大数据的特点（3）时间序列特性：医疗大数据来自患者的治疗过程，疾病一般包含发病、治疗、康复等时间周期，且不同时间周期的症状、病情和用药情况都不同，因此收集的大数据具有时间序列特性。另外，医学检查时的影像、红外和超声等均具有时间特性，如：磁共振功能成像、脑电图、心电图等。近年来，我国医疗卫生信息化系统构建得到了重视，不同信息平台架构、不同管理部门构建了类目繁多的医疗信息管理系统。因此，医疗大数据的存储与分析面临着多源异构数据的问题，需要从不同地点、不同系统、不同数据标准的数据源中进行医疗大数据的合并与预处理，突破异构信息、融合各级各类数据是应用医疗大数据的关键。根据医疗大数据的特点，首先，应使用面向大数据的预处理技术，解决医疗数据缺失的问题；其次，应合理使用分布式文件系统、分布式数据库以及分布式数据仓库技术，长期存储必要的珍贵医疗数据；最后，应广泛使用混合大数据分析平台，既要面向患者历史数据构建批处理任务，又要面向时间序列数据构建流处理任务，才能更好地支持多源异构医疗大数据的信息融合。8.3.1医疗大数据简介医疗大数据应用的需求随着我国医疗健康信息管理系统的完善，国民健康对医疗大数据的需求越来越急迫。统计数据表明，到2021年底，全国60岁及以上老年人口达到2.67亿人，占总人口比例18.9%；预计到2035年，60岁及以上老年人口将突破4亿，超过总人口比例接近30%。人口老龄化日益凸显，对医疗资源和服务的需求也越来越明显。此外，我国慢性病群体庞大，根据我国卫生健康委员会2021年底的数据显示，有超过1.9亿老年人患有慢性病。根据《国家计划十三五期间居民慢性病监测的报告》，全国2023年慢性病确诊人数预计超过4.8亿，占我国总人口的30.5%，慢性病对医疗资源的需求更为强烈。在这样的背景下，基于大数据提升健康医疗服务整体水平、效率，成为了医疗大数据迫切的应用需求，包括解决合理分配医疗资源、提升医疗服务质量、缓解医患关系等问题。此外，医疗信息不透明、不对称等问题经常造成过度医疗问题。8.3.1医疗大数据简介医疗大数据应用的需求例如，北京市药监局西城分局对五个街道的过期药品回收统计数据表明，91.8%的家庭存在过期药品、70.1%的家庭存在超过半年的余药，其主要原因是医疗诊断中的过度用药，导致大量的医疗资源浪费。因此，医疗诊断过程中的信息亟需透明化，减少患者的医疗成本。此外，医疗作为服务行业，患者信息、医生信息、诊疗方案、医院信息等都属于个人隐私，在未授权情况下应该得到保护，因此医疗诊断信息透明化还存在隐私保护的安全问题。面对医疗大数据的特点，一般可采用匿名策略。为解决隐私保护问题，常用于医疗大数据的匿名策略如下：8.3.1医疗大数据简介医疗大数据应用的需求（1）经典匿名策略：针对静态数据，提供数据表级别的保护力度，默认所有数据重要性相同；（2）个性化匿名策略：对数据表中不同数据给予不同粒度的隐私保护；（3）面向应用的匿名策略：通过对数据赋予不同的权重，衡量不同数据在医疗中的重要性。综上，医疗大数据在提升医疗服务效率和质量、改变医疗模式、实现科学化控费和精算管理等领域，都具有十分重要的意义和应用价值。因此，发展医疗大数据的应用正当时。近年来，在国家政策的支持下，多方资本投入到健康医疗大数据领域，进一步加速了我国医疗大数据产业应用的发展。截止到2022年，在政策和资本的激励下，中国医疗大数据的应用产品全面铺开，如：健康管理、全科辅助决策、影像病理辅助诊断、医疗智能化等应用领域。表8-9给出了医疗大数据的主要应用场景。8.3.1医疗大数据简介医疗大数据应用的需求表8-9医疗大数据的主要应用场景8.3.1医疗大数据简介医疗大数据应用的需求表8-9医疗大数据的主要应用场景8.3.2临床大数据应用医学在保护和加强人类健康、日常生活的疾病预防和治疗中，占据着不可取代的重要地位。其中，临床医学作为医学中的实践活动，在医学中的重要性更是不言而喻。临床医学是根据病人的临床表现，从整体出发研究疾病的病因、发病机理和病理过程，从而设计相应的诊治方案，提升临床治疗水平，促进人体健康的实践医学。在临床上，通过对病人的预防与治疗，最大程度上减弱疾病、健康病人的痛苦。临床医学经过多年发展，在不同的医院、医疗机构中积累了大量的临床大数据。这些大数据在临床医学中也将发挥着重要作用，主要包括：8.3.2临床大数据应用临床大数据在临床医学决策中的应用如今，随着医疗信息化的发展，电子病历逐渐取代了传统纸质病历，在临床医疗数据的收集、存储和分析提升了较大的便利性。基于电子病历中的海量大数据，可通过大数据的分析与挖掘技术，提升针对病人的临床决策高效性。例如：当医疗机构为病人开展手术前，病人的信息应该完全记录在电子病历中。若临床治疗过程中发现患者的病情与手术无关，则主治医生可以通过分析该患者的历史大数据，对其既往病史和手术史进行相关研究，从而判断出该患者是否具有其他疾病因素，以及是否由于前序手术造成的损伤等。在电子病历历史大数据的支持下，主治医生能够详细、全面掌握患者情况，针对实际情况，进行有效的临床医学决策。8.3.2临床大数据应用临床大数据在临床医学决策中的应用大数据在患者临床手术后期提升生活质量中也有较大作用。实际上，针对每个患者采集的临床医学大数据，工作人员都会确保每条数据记录的准确性，详细整理整个临床治疗过程中的病例、辅助诊疗的病例影像、手术记录等数据。此外，轮值医生还会对患者进行特定的随机访问，交流病情的相关内容也将被记录保存。当患者在临床手术中后期有任何不良反应出现时，主治医生能够调取患者详细的临床资料，快速明确不良反应出现的原因，通过临床大数据能够很大程度提升患者临床后期的生存质量。【案例8-5】恶性肿瘤临床医学大数据平台。

恶性肿瘤又称为癌症，属于临床医学中慢性病危害最大的疾病之一。近年来，癌症已经成为威胁中国居民健康额主要公共卫生问题之一，国家癌症中心统计数据显示，我国癌症死亡占居民全部死因的28.3.91%，发病率和死亡率逐年上升。8.3.2临床大数据应用临床大数据在临床医学决策中的应用2022年2月，国家癌症中心发布了2016年度全国癌症统计数据，从全国682个癌症监测点中遴选487个高质量监测点，覆盖人口高达8.3.8亿人。该年度癌症新发病例超过406.4万人，新增癌症死亡241.35万人，即：我国每天都有1万多人被确诊为新发癌症，平均每分钟有7人被诊断出癌症。下图给出了2016年不同癌症的人数分布。从图中可以看出，男性癌症患者人数高于女性癌症患者，肺癌、结肠癌、胃癌、肝癌和乳腺癌是五大发病率最高的癌症。因此，开展恶性肿瘤诊疗的研究，对提高早期癌症发现率，提升癌症治疗有效性，具有十分重要的社会意义。8.3.2临床大数据应用临床大数据在临床医学决策中的应用不同癌症比例在传统癌症科学研究模式中，由于各种现实条件的限制，癌症疾病诊疗研究存在着种种不足。一方面，由于癌症诊疗的临床数据往往来自少数医院的少量数据，获取到的数据样本是相对较小的数据集，并不具有代表性；另一方面，图2016年我国癌症发病人数及8.3.2临床大数据应用临床大数据在临床医学决策中的应用现有的癌症大数据往往存在研究的预设性和意向性，无法有效支持创新的科学研究模式。因此，面向癌症大数据，我们希望能够从更多渠道、更多角度采集到癌症临床及基因数据，为科研人员提供大数据的分析基础。利用大数据的分析和挖掘技术，针对癌症治疗开展多维度的研究，从而以临床医学大数据推动癌症新疗法的研究。8.3.2临床大数据应用大数据在临床用药中的应用当患者结束临床治疗后，还需要遵医嘱服用药物，且该步骤是患者康复的重要步骤之一。实际上，针对不同患者的身体状况，错误使用药物极有可能引起不良反应。这些不良反应不但会限制药物挥发作用，弱化治疗效果，而且严重时将会危及患者生命，对患者造成更大的经济负担。因此，在对患者构建临床后期用药方案时，相关主治医生应该首先调取患者临床数据，通过临床相关数据辅助指定用药方案。同时，还能够参考以往类似的临床患者相关数据，从而提升临床后期用药方案的准确性和高效性。此外，药物重定向的大数据分析，也是临床用药的经典应用之一。药物重定向是一种针对已经投入临床使用的药物，发现其新的治疗作用的研究方法。药物在人体中的代谢机理较为复杂，很多已经投入临床使用的药物，后续被发现对其他疾病也有良好的治疗、缓解作用，该过程在早期只能依靠随机偶然事件。8.3.2临床大数据应用大数据在临床用药中的应用近年来，随着基因数据、药物化学结构数据、小分子结构数据以及临床大数据的兴起，研究人员逐渐扩大了对药物代谢的研究过程，从而构建出药物重定向系统化研究方法。在药物研发的成功率低、成本逐渐提升的背景下，通过药物重定向研发，能够快速定向药物在临床中新的治疗用途。8.3.2临床大数据应用临床疾病辅助诊断分析应用当前，世界临床医疗正处于医疗数据和医疗资讯飞速发展的年代。与肿瘤、癌症相关的指南、药物分析、治疗方案等文献、论文和医学影像学数据包含了巨大的知识体量，更新速度非常快。2015年，全球与癌症治疗相关的文献超过4万篇，若一个肿瘤科医生阅读完所有与癌症治疗相关的文献，则每天需要花费29小时不停阅读，即实际情况无法完成海量医疗文献的阅读。因此，在临床疾病治疗中，肿瘤医生需要一个便捷、高效且可靠的辅助工具。通过该工具快速处理文献大数据，从中找到与当前病例相似的治疗过程，辅助进行临床疾病的诊断分析，作为最终诊疗方案的决策依据。因此，海量临床研究的文献大数据，还能够应用到临床疾病辅助诊断分析中。8.3.3健康管理大数据应用随着电子病历、数字化诊断、可穿戴医疗设备的流行，平均每个人在一生中将会留下超过1PB（106GB）的健康管理大数据，该数据量提供的信息约等于3亿本书。因此，全球公民在医疗创新技术的飞速发展下，积累了海量的健康管理大数据。然而，当前仅有20%的健康数据被开发、利用，余下的80%健康数据大部分为非结构化数据，难以直接被开发、利用。在健康管理大数据中，应用较为广泛的包括健康体检大数据、慢病管理大数据以及睡眠大数据等。与临床医学大数据相比，这些健康管理大数据往往更具多样化，应用好这些大数据对于人们的健康管理将发挥重要作用。8.3.3健康管理大数据应用健康体检大数据应用随着我国公民生活水平的提高，慢性病发病率高、亚健康问题凸显、癌症发病率持续攀升，提升了公民对于身体健康的自我意识，越来越多的公民定期接受健康体检。数据统计表明，2016-2020年我国健康体检人数在4.5亿人上下浮动，整体呈现小幅度上升趋势，复合增长率达到13%。我国体检市场主要分为公立医院和私立机构两大阵营，根据观知海内咨询整理的数据，2021年我国公立医院体检市场份额占比超过七成，民营体检机构的市场份额不足21.5%。实际上，无论是公立医院体检还是民营体检结构，其信息化尚处于起步阶段，在体检数据采集、数据格式、数据标准和数据分析方法等方面还存在不足之处。随着经济发展进入新常态，资本开始入局健康体检产业，健康服务业的发展进入快车道，健康体检大数据的应用已经被提上日程。8.3.3健康管理大数据应用健康体检大数据应用【案例8-6】某健康研究院：健康体检大数据云平台。“健康体检大数据云平台”项目由某健康集团研究院牵头、北京大学、中国人民解放军总医院、北京市体检中心、四川大学华西医院等单位联合承担。该项目旨在保证各类健康体检数据安全和个人隐私的前提下，利用体检平台优势，联合政府、医院及高校科研机构，采用统一的数据标准、数据格式和数据分析方法，构建健康体检大数据云平台，实现数据的交互、共享、应用和转化，推动体检产业的发展。该平台主要完成如下的功能：（1）研究健康体检大数据集成与融合的关键技术及应用、隐私保护机制设计、标准信息模型以及基于openEHR标准健康体检数据库接口；（2）构建覆盖全生命周期的健康体检/组学大数据集成、关联、整合、存储、质量控制、共享和分析的标准化体系以及全过程的数据安全技术体系；（3）建立个性化、智能化、跨机构互联互通的健康体检信息系统；8.3.3健康管理大数据应用健康体检大数据应用（4）汇集700多家体检机构的体检大数据，实现数据集成、清洗、管理功能，实现数据汇交、共享、应用和转化；（5）发布中国城市成年人群健康体检画像、全国流行地图，并基于体检数据和多组学数据构建肿瘤和脑梗预测模型。8.3.3健康管理大数据应用慢性病管理大数据应用近年来，我国慢性病的增速较快，居民健康受到严峻的挑战。国家卫生健康委员会2019年7月31日提供的数据显示，我国现有超过1.8亿老人患有慢性病，其中患有一种及以上慢性病的老年人占比高达75%，以慢性病为主的健康问题是影响老年人群生命质量的重要因素。慢性病的危害主要是造成脑、心、肾、肝等重要脏器的损害，容易形成患者的伤残，影响生活质量。此外，慢性病的疗程较长，医疗费用极其昂贵，极大地增加了社会和家庭经济负担。大数据在慢性病管理中的应用，侧重点在于慢性病的连续监测和风险评估。根据不同慢性病患者的情况给予精准的建议和指导，与主治医生进行数据交换，能够提升慢性病监控和防治方案。8.3.3健康管理大数据应用睡眠大数据应用人的一生超过1/3时间在睡眠中度过，睡眠是人类不可或缺的生命活动之一。睡眠与觉醒功能之间存在密切联系，睡眠紊乱与多种慢性病的发生息息相关，如：糖尿病、心血管疾病以及癌症等，失眠人群患有各类内科疾病的发生率显著高于非失眠患者。睡眠障碍问题与心理健康和精神类疾病密不可分，尤其是焦虑障碍、抑郁症患者，同时在睡眠障碍中具有较高的共同发病率。2017年《中国失眠诊断和治疗指南》中的数据显示，约有70%~80%的精神障碍患者均有失眠症状的报告，大约50%的失眠患者同时患有另一种精神障碍疾病。睡眠障碍与心理和精神疾病之间具有互为因果的强相关关系。睡眠医学中常用的治疗手段包含两类，一类是睡眠相关评估表，通过问卷的形式获取睡眠相关数据；另一类则是客观方法，包括多导睡眠图、便携式睡眠记录仪、睡眠体动记录仪等。其中，可穿戴式的睡眠质量记录设备近年来成为了热点。8.3.3健康管理大数据应用睡眠大数据应用例如，某科技公司在2020年发布睡眠大数据人工智能引擎SomnusCare，该设备对睡眠数据监测精度超过80%，对于超过25分钟的午睡数据监测精度几乎达到100%。基于该设备，该公司于2021年发布世界睡眠白皮书。根据睡眠大数据统计发现，2021年全球平均每人每天睡眠时长7小时9分，相比于2020年减少了2分钟；男性睡眠时长低于女性，90后人群睡眠时间最长，70后人群前夜睡眠时长最少。未来，经过主观的医学问卷调查，搭配客观的可穿戴设备大数据，睡眠大数据将在多种慢性病、精神类疾病中取得不错的应用。8.3.4基因检测大数据应用基因检测是指对人类的DNA、RNA、蛋白质及代谢物进行分析，用于诊断、预测和预防遗传性疾病，指导疾病治疗方案的选择，以及作为评估个人体质或特质的依据。当前，基因检测技术主要包含四个类别，分别是PCR技术、基因测序技术、FISH技术和基因芯片技术其中，基于基因大数据的应用，测序技术成为了最为主流的基因检测技术。基因检测行业的发展由大数据和人工智能技术驱动，其中的利好政策环境成为了基因检测智能化发展的重要推手。基因检测大数据的应用将在各个领域产生深远的影响：8.3.4基因检测大数据应用基因编辑在基因大数据的基础上，基因编辑技术能够改变个体的DNA，涉及在某个点位切割DNA并添加、移除或替换该DNA。基因编辑技术使活体药物成为可能，活体药物由有机体构建而成，通过人类免疫系统更好地对抗疾病。8.3.4基因检测大数据应用癌症检测在基因组测序和液体活检基础上，多癌症筛查能够更好地降低癌症死亡率。基于单次血液检测，通过合成生物学及早发现多种类型的癌症，极大地降低癌症筛查成本。未来，癌症的治疗模式将转变为预防模式，对于医疗保健产生了革命性改变。基于基因检测大数据，研究人员构建了现代形式的DNA“长读长”测序方法。通过该方法，研究人员能够更快、更经济地识别基因序列。8.3.4基因检测大数据应用农业生物学基因检测技术带来的基因组革命，将在农业生物学领域取得进展。研究人员利用基因检测大数据寻找降低农作物成本、改善植物育种提高产量的方法。【案例8-6】某基因检测公司：肿瘤基因检测服务。

某基因检测公司是专门从事生命科学的科技前沿机构，自1999年成立以来，先后完成了国际人类基因组计划“中国部分”、国际人类单体型图谱计划和亚洲人基因组图谱等基因组研究工作。目前，华大基因已经成立了生育健康中心和临床及医学健康中心，进一步促进基因组学研究成果向人类健康服务、环境应用和生物育种等多个方面转化。在众多基因遗传类疾病中，恶性肿瘤成为了威胁中国人群健康的主要公共卫生问题之一。癌症预防包含三个层级，一是病因预防，远离致癌危险因素；二是对癌症早发现、早诊断、早治疗；三是临床癌症康复治疗，改善患者预后生活质量。伴随着生物技术和大数据技术的发展，通过个体基因检测早发现肿瘤基因，避免恶性肿瘤的蔓延，成为了基于基因检测预防和治疗疾病的主要手段。8.3.4基因检测大数据应用农业生物学2020年5月，在“全景测序，防癌控癌——肿瘤技术成果研讨与发布会”上，该基因检测公司发布了三款肿瘤基因检测技术：（1）新型肝癌早检技术：通过高深度测序检测血液中DNA携带的与肝癌相关的甲基化变异，捕捉肿瘤组织释放的痕量信号，提示患者肝癌风险，为早期肝癌诊断提供依据。（2）基因组瘢痕评估：基于中国人群遗传多态性特征，自主开发了同源重组缺陷检测技术，构建覆盖全基因组的瘢痕评估技术，助力相关肿瘤精准维持治疗，即在肿瘤缓解或稳定时继续采用化疗维持，预防肿瘤的复发和转移。（3）实体瘤定制化监测技术：研发了针对实体瘤患者的定制化检测技术，命名为Signatera。该技术能够检测血浆中低于0.1%的ctDNA变异，具有99%以上的临床特异性和灵敏性，在肿瘤复发和疾病进展中做到了更早、更精准的预测。8.3.4基因检测大数据应用农业生物学实际上，肿瘤基因检测技术离不开基因大数据的沉淀，该企业坚持在肿瘤基础科研和临床应用方面不断探索，从积累的海量肿瘤基因大数据中精准发力，构建了应对肿瘤的早期诊断、用药指导、复发监测以及助力肿瘤的全景防控体系。047.4

工业大数据应用8.4.1工业大数据简介工业大数据概述工业大数据是指在工业生产领域，围绕典型智能制造模式，从客户需求到研发、工艺、制造、交付、运维和回收等产品生命周期各个环节记录的大数据总称。工业大数据作为制造业数字化转型与智能化升级的关键技术，受到学术界和产业界的广泛关注。工业大数据的研究涵盖如下三个方面：（1）工业大数据来源：随着工业信息化建设和物联网的兴起，工业大数据主要源于两个方面：企业信息化数据和工业物联网数据。其中，与互联网相比，工业信息化起步较晚，但是由于工业生成、制造和销售过程的环节众多，因此囤积了海量的工业大数据。此外，以传感器为主体的物联网如今也逐渐被应用至工业生产，在生产、制造环节产生海量流式大数据，可用于生产和制造环节的质量把控、设备健康管理和故障诊断等。8.4.1工业大数据简介工业大数据概述（2）工业大数据技术：工业大数据技术旨在将大数据存储与管理、分析与计算技术，应用至工业场景并从海量工业大数据中挖掘有意义的信息和知识。实际上，针对工业大数据的挖掘，将面向全新的任务和全新的数据特点，需要对传统方法做出调整和改进。（3）工业大数据应用：工业大数据是支撑工业制造全方面发展的重要工具。目前，工业大数据已经被应用至从业务探索、到产品研发、生产、管理到销售等多个环节。表8-10给出了工业大数据的主要应用场景及其应用实例。下面，给出三种常见的工业大数据应用实例：8.4.1工业大数据简介工业大数据概述表8-10工业大数据的主要应用场景8.4.1工业大数据简介工业大数据概述（1）设备故障诊断与健康管理，保障工业设备可靠性：工业生产过程中的设备往往超负荷运作，一旦出现设备故障将会造成产线停滞，导致螺旋式上升的经济损失。传统企业一般采用发生故障后解决问题的思路，在工业大数据的洞察下，能够提前判断设备发生故障，将被动的故障诊断转化为主动预测，管理设备运营过程中的健康。（2）生产质量分析，提高企业的生产良率：对工业产品的质量检测，一方面能够保证企业提供合格产品，另一方面能够反映出的生产过程的疏漏。针对工艺参数的控制情况，能够在生产中预测产品的质量，保证生产线处于最佳状态；（3）工业产品需求预测，制定精准营销方案：工业产品数量的需求能够指导产品生产过程，良好的需求预测结果能够制定更为精准的营销方案。基于产品数量需求的预测结果，不仅能够指导设计精准的营销方案，还能够基于生产线的运行状态，减少不必要的开销。8.4.1工业大数据简介工业大数据的新特性除了大数据的“4V”特性以外，工业大数据的新特性为快速性、准确性、强关联性和闭环性。其中，快速性指工业生产、制造过程中由传感器获取的大数据通常为毫秒级的流数据，需要快速、实时地响应；准确性指由于工业生产、制造较高的成本，对工业大数据和分析结果的准确程度要求更高，不但需要挖掘结果通常还需要分析因果关系；强关联性指工业生产、制造包含多个环节，且每个环节包含多个工序，整个流程中产生的大数据具有较强的前后关联关系，在数据挖掘中起重要作用；闭环性指工业生产、制造过程通常是循环往复的闭环过程，在整个生命周期中，需要同时进行数据采集、处理、分析、控制和反馈，并持续调整优化存储和计算策略。8.4.1工业大数据简介数据资源和数据仓库并不丰富工业大数据通常面向传统行业，大数据的构建起步较晚，数据资源和数据仓库并不丰富。虽然依赖批量传感器构建的物联网体系，在短期内积攒了海量的工业大数据，但是其中有价值的数据却十分稀缺。一方面，工业生产、制造中的设备一般稳定、耐用，极端的异常工况难以捕捉，有分析意义的样本相对短缺。此外，异常工况转瞬即逝，通常需要利用高频传感器捕捉，才能够在精密时间节点分析异常原因。另一方面，工业生产、制造的工序相对复杂，仅仅采用每个工序的大数据无法恢复工业生产、制造的全貌，工序间的有效关联难以实现。此外，由于不同工序的异同点，将会导致数据维度的变化，数据维度不完整和序列间断也是造成样本不丰富的另一个因素。8.4.1工业大数据简介具有丰富的专家先验知识工业生产、制造是强机理、知识密集型过程，其中的传感器设置、数据采集往往都伴随着丰富的专家先验知识。工业大数据表达的是经由专家精心设计的工业生产、制造过程的部分表征，对不同维度的数据分析提出了更高的要求。因此，针对工业大数据分析的各个环节，通常需要借助于大量行业先验知识，例如：数据预处理、模型优化、数据筛选和特征选择等环节。研究者要将丰富的专家先验知识有机的融合进大数据分析、计算和挖掘中，创造更高的工业经济效益。表8-11给出了工业大数据与互联网大数据的对比信息。8.4.1工业大数据简介具有丰富的专家先验知识表8-11工业大数据与互联网大数据对比8.4.1工业大数据简介工业大数据的架构为了实现工业大数据平台，依托于云计算、物联网、大数据和人工智能技术，工业大数据的技术架构包含4个层次：（1）数据采集：数据采集包含企业信息化数据采集和工业生产、制造过程数据采集。其中，企业信息化数据采集与经典大数据相同，工业生产、制造过程通常采用各类传感器采集数据，其设计过程依赖专家的先验知识，采集后的数据通过以太网传输至服务器。通常来讲，各个环节的数据采集具有不同的特点，因此采集到的大数据具有多源异构特点；（2）数据存储：工业大数据的存储依靠分布式存储技术，既可使用在云平台上构建存储集群，也可由企业构建基于Hadoop的分布式存储集群。同时，构建分布式数据仓库用于存储历史工业大数据；8.4.1工业大数据简介工业大数据的架构（3）数据分析：工业大数据的分析依靠分布式大数据分析技术，除了基础的大数据并行分析引擎和可视化工具外，还须支持大数据挖掘的算法和模型库；（4）数据应用：工业大数据应用是整个技术架构中的最终环节，利用从工业大数据中分析和挖掘出的知识，应用于实际工业生成、制造和销售环节的优化。8.4.2设备故障诊断与健康管理工业设备是工业生产中最重要的工具，在工业生产、制造过程中，设备的可靠性、利用率和效率是重点关注内容。现代工业生产面向自动化、连续化和集成化发展，对生产过程中的设备可靠性提出了更高的要求。工业生产中的设备通常是大型精密仪器，设备故障具有多样性、不确定性、多源性和传播性，对故障诊断和健康管理提出了更高的要求。设备故障诊断与健康管理（PHM）是一门新兴、多学科交叉的综合研究领域，主要针对服役的大型工业设备，通过工业大数据的分析、计算和挖掘，构建设备寿命退化模型，进行可靠的设备动态评估和实时故障预警，实现科学有效的健康管理策略。实际上，设备在复杂的多工序生产、制造中将会出现各种问题，一般包含两类问题：8.4.2设备故障诊断与健康管理（1）可见问题：设备生产的产品出现缺陷、设备加工失效、设备的效率降低以及设备运行中出现安全问题等；（2）不可见问题：设备的性能下降、设备寿命出现衰减、零部件有磨损现象以及设备运行的风险上升等。一般情况下，可见问题实际上在