智慧人社大数据平台整体解决方案

智慧人社大数据平台整体解决方案智慧人社大数据平台整体解决方案1人社大数据业务需求第一章目录Contents人社大数据面临挑战第二章人社大数据解决方案第三章人社大数据实施路径第四章典型业务场景总体架构技术架构实施路径12333语音大数据方案人社大数据业务需求第一章目录Contents人社大数据面临挑2人社大数据业务需求1人社大数据业务需求13人社大数据业务需求信息共享内部共享：“五险”合一，全国联网共享，异地就业、异地就医、异地领取养老金的需求非常强烈；内外部共享：人社与地税，工商，民政、卫生、住房保障、公安等部门存在信息共享需求。精准决策就业和失业形势分析预测；人才供需医保支付政策调整等业务创新与扶贫办、公安、民政等部门联合，发现违规行为个性化培训服务和评估，及时提醒代办事宜；科学监管医疗保险监管养老保险监管就业专项资金监管等人社大数据业务需求信息共享内部共享：“五险”合一，全国联网共人社大数据面临的挑战2人社大数据面临的挑战25人社数据管理现状以及面临的挑战全国所有省级城市和地级人社部门均已建立了数据中心：社会保障卡超过10亿张，覆盖72%的人口32个省级单位全部实现了与部中央数据中心的网络联结90%以上的地市实现了与省级数据中心的联网社保数据量不断增加。以某地级市为例，仅结构化的社保数据库数据已达TB级，如果算上12333电话语音、医保药店视频监控等数据，数据已接近PB级。数据类型已不是简单的结构化数据。数据库中存储的图片信息、12333的语音信息、医保药店的视频监控信息等非结构化数据日益增多。数据统计分析困难。历史数据繁多，部分历史数据未能有效整合、数据不能有效共享，数据提取利用困难。对数据处理速度要求高。海量数据的处理遇到性能瓶颈，而社保经办需要实时性，对数据处理速度提出了挑战。人社数据管理现状以及面临的挑战全国所有省级城市和地级人社部门人社大数据解决方案3人社大数据解决方案37人社大数据建设目标业务创新科学监管精准服务人社大数据建设目标业务创新科学监管精准服务人社大数据业务分析专题人社大数据业务分析专题人员画像示例人员画像示例人社数据管理现状以及面临的挑战骗保人员相似性分析Patient

Similarity

Analysis人社数据管理现状以及面临的挑战骗保人员相似性分析Patien利用相似性分析精准识别同类人员利用相似性分析精准识别同类人员个性化信息推送和提醒示例个性化信息推送和提醒示例领导仪表盘示例领导仪表盘示例LED大屏幕分析示例LED大屏幕分析示例人社大数据总体架构人社大数据总体架构人社大数据物理部署架构人社大数据物理部署架构数据挖掘建模过程数据挖掘建模过程数据挖掘业务场景—人员群体分类应用场景：在商业上，聚类可以帮助市场分析人员利用消费者的消费数据区分出不同的消费群体，并且的信息，并且概括出分析。概括出每一类消费者的消费习惯。它可以发每一类的特点，进而把注意力放在某一个特ns聚类算法。数据需要是数值化的。，就是将相似的事物聚集在一起，而将不分聚类算法是根据给定的n个对象或者元组每个划分即为一个聚簇,并且k<=n。现数据中一些深层定的类上做进一步采用的算法：K-mea算法要求：被分类的算法原理：所谓聚类同的类别的过程。划个划分聚类的方法。相似的事物划分到不的数据集，构建k步骤一：将所有对象随机分配到k个非空的簇中。步骤二：计算每个簇的平均值，并用该平均值代表相应的簇中心。步骤三：根据每个对象与各个簇中心的距离，分配给最近的簇。步骤四：转到步骤二，重新计算每个簇的平均值。这个过程不断重复直到没有数据点被重新分配则停止。数据挖掘业务场景—人员群体分类应用场景：在商业上，聚类可以帮典型业务场景-相关性分析应用场景：产品关联度分析主要的应用场景就是购物篮分析，用于购物推荐或者电影推荐等。比如最典型“啤酒和尿不湿”的案例。在本次项目中，我们可以用于分析客户（经销商、最终买家）的购买记录，为有关联的商品做一些捆绑促销等。采用的算法：Apriori关联算法。算法要求：被分析的商品需要是相对独立的，本身并未作捆绑销售。算法原理：关联度分析是基于概率进行分析的。需要计算以下指标：支持度：一条销售记录同时包含A、B的概率，记作support(A=>B)。置信度：包含A的销售记录中包含B的概率，记作confidence（A=>B）。提升度：（X发生则Y发生的概率）/（Y发生的概率），记作lift(A=>B)=confidence(A=>B)/support(B)。• 提升度=1表明A与B是独立的• 提升度>1表明A与B是有关联性的，一般实际大于2我们才承认有效• 提升度<1表明A与B是互斥的典型业务场景-相关性分析应用场景：产品关联度分析主要的应典型业务场景-需求量预测应用场景：为了更好的调整产量，需要对需求进行预测，根据预测结果动态调整产能。采用的算法：ARIM算法要求：一般需A时间序列算法。要数据的波动有一定的规律性。动态数据处理的统计方法。该方法基于随序列所遵从的统计规律，以用于解决实际有的历史数据对未来进行预测。据进行平稳性检验。据进行多阶差分，阶数需要多次尝试。据进行平稳性检验的白噪声检验。CF（自相关系数）和PACF（偏自相关系算法原理：是一种学方法，研究数据主要目的是根据已机过程理论和数理统计问题。时间序列分析的步骤一：对数步骤二：对数步骤三：对数步骤四：计算A步骤五：确立模型的自回归项和移动平均项。数）。步骤六：使用模型预测短期的值，并评估误差，如果效果不好，重新进行步骤二。典型业务场景-需求量预测应用场景：为了更好的调整产量，需数据治理-数据标准管理数据治理-数据标准管理数据治理-数据质量管理框架数据治理-数据质量管理框架数据治理-数据质量事后管理流程数据治理-数据质量事后管理流程数据治理-数据生命周期n 数据治理规划阶段：○ 业务规划定义阶段：业务规划、业务标准设计○ 应用设计实现阶段：数据模型设计、应用设计实现、数据录入n 数据生命周期管理阶段○ 数据创建○ 数据使用○ 数据归档○ 数据销毁数据治理规划阶段数据生命周期管理阶段业务规划业务标准设计数据模型设计应用设计实现业务规划定义阶段数据采集应用设计实现阶段数据创建数据创建数据使用数据归档数据销毁数据销毁数据治理-数据生命周期n 数据治理规划阶段：数据治理规划数据治理-数据治理工具支撑环境数据治理-数据治理工具支撑环境人社大数据实施路径4人社大数据实施路径427人社大数据平台实施路径人社大数据平台实施路径12333语音数据平台建设依据人力资源社会保障部办公厅关于加快推进12333电话咨询服务事业发展的指导意见人社厅发〔2016〕186号。。。完善自动语音、质量监控、满意度评价等功能，实现集约化发展，有效支撑跨地区业务服务和数据集中管理。。。。，建立12333电话咨询服务监测分析平台，。。。。。。。实现业务办理的在线预约和进度查询，提升12333电话咨询服务体验。探索面向各类服务对象的身份验证机制，并与网站、短信、移动应用及线下窗口等服务渠道实现用户身份互信与服务联动。。。。。。大力发展自动语音和互联网服务，丰富移动应用、自助终端、短信、微信等服务渠道，。。。加强技术创新，探索语音识别、智能客服等新技术的应用，提升12333电话咨询服务的智能化水平。强化咨询数据收集，推进数据利用。建立和完善咨询数据采集标准，搜集整理咨询业务数据和来电行为数据，夯实数据基础，提升数据质量。完善咨询数据报送机制，形成支撑大数据应用的资源基础。加强数据分析利用，洞察民生诉求、分析用户行为规律，提升服务的针对性、有效性和主动性。加强分析成果的应用转化，提升对管理决策的支撑作用。12333语音数据平台建设依据人力资源社会保障部办公厅关于加12333语音数据业务现状和面临的挑战实际的访问量大，涉及咨询种类繁杂；通过过去多年的运行，12333劳动保障热线已经积累了大量的语音、文本信息，却无法对这些语音和文本进行有效的整理和利用；12333语音数据业务现状和面临的挑战实际的访问量大，涉及12333语音数据分析应用建设目标29满足人社工作中，不同角色的需求，为社会公众、人社业务部门和领导提供服务。金保应用数据特色应用数据其它资源数据社会公共服务管理应用数据资源库主题库……省级大数据中心基础数据库……学生奖惩曲线分析大数据关联性分析参保人分布分析参保体征曲线分析人社工作曲线分析人社业务分析成本分析社保医保量分析税源成长档案体征关联分析专业情况分析自建主题分析征收效率分析安全预警分析社会公众参保单位人社资源利用分析12333大数据平台……参保单位遵从度分析服务过程监控……服务质量评估管理决策……人社干部各级领导地方政府 人社业务发展分析 就业现状分析 。。。 人社业务发展分析 绩效评价 工作评估 管理决策 参保人分析 综合素质评价 业务预警 。。。 人社信息公开 咨询。。。 人社业务个性化服务 人社业务辅导 。。。12333语音数据分析应用建设目标29满足人社工作中，不同角12333语音数据应用建设模式方法一：12333大数据平台•

数据应用驱动业务流程创新再造的依据；政策变化带来的业务流程调整方式二：12333服务过程监控•

通过对数据的集成，以及与各业务系统的数据实时交互，实现对人社业务流程事前、事中、事后监控。方式三：大数据平台的整合•

通过数据应用，完成12333业务过程中的质量控制、进度控制、成本控制风险控制等等方式四互联网+人社应用•

互联网+人社的应用，再造流程。方式五开放的应用模式建立标准、开放的数据接口和应用接口，鼓励本地化的创新应用以数据应用为核心，业务流驱动为动力，探索12333数据应用在智慧人社中的实现途径。整合资源挖掘潜力创新应用重构流程Ø

可视化、智慧化的建立一系列基于应用场景的大数据分析及应用模型；.Ø

12333业务流程和监控流程的应用场景形成闭环，建立智慧化12333服务体系，实现12333业务质量可控、安全可控、效率提升、风险可控。。。。。12333语音数据应用建设模式方法一：12333大数方式二12333语音数据分析思路12333语音数据分析思路12333语音数据平台系统架构门户统计报表统计报表统计报表展现层能力API业务层数据清洗业务中文预处理主体挖掘自动分类数据清洗规则业务逻辑中文处理算法文本分类算法主题挖掘算法算法数据层HDFS数据库RedisØ面向接口的松耦合设计；Ø数据层：采用分布式文件存储，并提供Redis快速访问；Ø业务层：算法和业务逻辑，并能够调整；Ø展现层：最终用户访问和第三方调用。12333语音数据平台系统架构门户统计报表统计报表统计报表展12333语音数据平台处理过程录音系统

业务系统

其它系统实时录音数据业务索引数据其它类型数据数据归集服务器检索调听系统管理自动质检

业务分析浏览器数据归档服务器语音处理服务器语音分析集群应用服务集群运维监控服务器数据存储分析集群12333语音数据挖掘分析云大数据基础平台语音大数据分析平台需求：PB级数据在线查询，历史数据调听响应录音存管

从数日降秒级；质检覆盖率提升至100%；智能质检了解群众需求，人社业务主题，提升主题分析

服务水平；可以通过第三方语音云服务，完成语音数据的识别、分词和检索。12333语音数据平台处理过程录音系统业务系统其它系智能咨询实现过程渠道WEB微信APP自助终端电话短信其他渠道交互形式人工座席业务人员消息回复请求响应座席及业务人员处理人工解答互联网用户互联网问答用户经验交流延时跟进机器人智能回复文本语音咨询答案无答案图片智能咨询实现过程渠道WEB微信APP自助终端电话短信其他智能咨询产品对比分析项目\产品长天科大讯飞小I机器人云问科技是否支持web端是是是是是否支持APP/微信是是是是是否支持实体机器人是是否否是否支持电话端是是否否知识库维护简易度简中难中语音识别非自主研发自主研发非自主研发非自主研发产品性能高高中中语义理解32个语义领域可以挂接多个领域无自主领域无自主领域转人工方式可自动转人工 可自动转人工金融，政府行业

银行，保险，政等案例 府行业等案例清华 中科大可现场支持 远程支持可自动转人工可自动转人工成功案例在企业，航空，银行方面有成功案例互联网、政府有成功案例产品团队微软自行组建产品技术支持可现场支持可现场支持业内成熟智能咨询产品对比智能咨询产品对比分析项目\产品长天科大讯飞小I机器人云问科技谢谢你的观看谢谢你的观看38智慧人社大数据平台整体解决方案智慧人社大数据平台整体解决方案39人社大数据业务需求第一章目录Contents人社大数据面临挑战第二章人社大数据解决方案第三章人社大数据实施路径第四章典型业务场景总体架构技术架构实施路径12333语音大数据方案人社大数据业务需求第一章目录Contents人社大数据面临挑40人社大数据业务需求1人社大数据业务需求141人社大数据业务需求信息共享内部共享：“五险”合一，全国联网共享，异地就业、异地就医、异地领取养老金的需求非常强烈；内外部共享：人社与地税，工商，民政、卫生、住房保障、公安等部门存在信息共享需求。精准决策就业和失业形势分析预测；人才供需医保支付政策调整等业务创新与扶贫办、公安、民政等部门联合，发现违规行为个性化培训服务和评估，及时提醒代办事宜；科学监管医疗保险监管养老保险监管就业专项资金监管等人社大数据业务需求信息共享内部共享：“五险”合一，全国联网共人社大数据面临的挑战2人社大数据面临的挑战243人社数据管理现状以及面临的挑战全国所有省级城市和地级人社部门均已建立了数据中心：社会保障卡超过10亿张，覆盖72%的人口32个省级单位全部实现了与部中央数据中心的网络联结90%以上的地市实现了与省级数据中心的联网社保数据量不断增加。以某地级市为例，仅结构化的社保数据库数据已达TB级，如果算上12333电话语音、医保药店视频监控等数据，数据已接近PB级。数据类型已不是简单的结构化数据。数据库中存储的图片信息、12333的语音信息、医保药店的视频监控信息等非结构化数据日益增多。数据统计分析困难。历史数据繁多，部分历史数据未能有效整合、数据不能有效共享，数据提取利用困难。对数据处理速度要求高。海量数据的处理遇到性能瓶颈，而社保经办需要实时性，对数据处理速度提出了挑战。人社数据管理现状以及面临的挑战全国所有省级城市和地级人社部门人社大数据解决方案3人社大数据解决方案345人社大数据建设目标业务创新科学监管精准服务人社大数据建设目标业务创新科学监管精准服务人社大数据业务分析专题人社大数据业务分析专题人员画像示例人员画像示例人社数据管理现状以及面临的挑战骗保人员相似性分析Patient

Similarity

Analysis人社数据管理现状以及面临的挑战骗保人员相似性分析Patien利用相似性分析精准识别同类人员利用相似性分析精准识别同类人员个性化信息推送和提醒示例个性化信息推送和提醒示例领导仪表盘示例领导仪表盘示例LED大屏幕分析示例LED大屏幕分析示例人社大数据总体架构人社大数据总体架构人社大数据物理部署架构人社大数据物理部署架构数据挖掘建模过程数据挖掘建模过程数据挖掘业务场景—人员群体分类应用场景：在商业上，聚类可以帮助市场分析人员利用消费者的消费数据区分出不同的消费群体，并且的信息，并且概括出分析。概括出每一类消费者的消费习惯。它可以发每一类的特点，进而把注意力放在某一个特ns聚类算法。数据需要是数值化的。，就是将相似的事物聚集在一起，而将不分聚类算法是根据给定的n个对象或者元组每个划分即为一个聚簇,并且k<=n。现数据中一些深层定的类上做进一步采用的算法：K-mea算法要求：被分类的算法原理：所谓聚类同的类别的过程。划个划分聚类的方法。相似的事物划分到不的数据集，构建k步骤一：将所有对象随机分配到k个非空的簇中。步骤二：计算每个簇的平均值，并用该平均值代表相应的簇中心。步骤三：根据每个对象与各个簇中心的距离，分配给最近的簇。步骤四：转到步骤二，重新计算每个簇的平均值。这个过程不断重复直到没有数据点被重新分配则停止。数据挖掘业务场景—人员群体分类应用场景：在商业上，聚类可以帮典型业务场景-相关性分析应用场景：产品关联度分析主要的应用场景就是购物篮分析，用于购物推荐或者电影推荐等。比如最典型“啤酒和尿不湿”的案例。在本次项目中，我们可以用于分析客户（经销商、最终买家）的购买记录，为有关联的商品做一些捆绑促销等。采用的算法：Apriori关联算法。算法要求：被分析的商品需要是相对独立的，本身并未作捆绑销售。算法原理：关联度分析是基于概率进行分析的。需要计算以下指标：支持度：一条销售记录同时包含A、B的概率，记作support(A=>B)。置信度：包含A的销售记录中包含B的概率，记作confidence（A=>B）。提升度：（X发生则Y发生的概率）/（Y发生的概率），记作lift(A=>B)=confidence(A=>B)/support(B)。• 提升度=1表明A与B是独立的• 提升度>1表明A与B是有关联性的，一般实际大于2我们才承认有效• 提升度<1表明A与B是互斥的典型业务场景-相关性分析应用场景：产品关联度分析主要的应典型业务场景-需求量预测应用场景：为了更好的调整产量，需要对需求进行预测，根据预测结果动态调整产能。采用的算法：ARIM算法要求：一般需A时间序列算法。要数据的波动有一定的规律性。动态数据处理的统计方法。该方法基于随序列所遵从的统计规律，以用于解决实际有的历史数据对未来进行预测。据进行平稳性检验。据进行多阶差分，阶数需要多次尝试。据进行平稳性检验的白噪声检验。CF（自相关系数）和PACF（偏自相关系算法原理：是一种学方法，研究数据主要目的是根据已机过程理论和数理统计问题。时间序列分析的步骤一：对数步骤二：对数步骤三：对数步骤四：计算A步骤五：确立模型的自回归项和移动平均项。数）。步骤六：使用模型预测短期的值，并评估误差，如果效果不好，重新进行步骤二。典型业务场景-需求量预测应用场景：为了更好的调整产量，需数据治理-数据标准管理数据治理-数据标准管理数据治理-数据质量管理框架数据治理-数据质量管理框架数据治理-数据质量事后管理流程数据治理-数据质量事后管理流程数据治理-数据生命周期n 数据治理规划阶段：○ 业务规划定义阶段：业务规划、业务标准设计○ 应用设计实现阶段：数据模型设计、应用设计实现、数据录入n 数据生命周期管理阶段○ 数据创建○ 数据使用○ 数据归档○ 数据销毁数据治理规划阶段数据生命周期管理阶段业务规划业务标准设计数据模型设计应用设计实现业务规划定义阶段数据采集应用设计实现阶段数据创建数据创建数据使用数据归档数据销毁数据销毁数据治理-数据生命周期n 数据治理规划阶段：数据治理规划数据治理-数据治理工具支撑环境数据治理-数据治理工具支撑环境人社大数据实施路径4人社大数据实施路径465人社大数据平台实施路径人社大数据平台实施路径12333语音数据平台建设依据人力资源社会保障部办公厅关于加快推进12333电话咨询服务事业发展的指导意见人社厅发〔2016〕186号。。。完善自动语音、质量监控、满意度评价等功能，实现集约化发展，有效支撑跨地区业务服务和数据集中管理。。。。，建立12333电话咨询服务监测分析平台，。。。。。。。实现业务办理的在线预约和进度查询，提升12333电话咨询服务体验。探索面向各类服务对象的身份验证机制，并与网站、短信、移动应用及线下窗口等服务渠道实现用户身份互信与服务联动。。。。。。大力发展自动语音和互联网服务，丰富移动应用、自助终端、短信、微信等服务渠道，。。。加强技术创新，探索语音识别、智能客服等新技术的应用，提升12333电话咨询服务的智能化水平。强化咨询数据收集，推进数据利用。建立和完善咨询数据采集标准，搜集整理咨询业务数据和来电行为数据，夯实数据基础，提升数据质量。完善咨询数据报送机制，形成支撑大数据应用的资源基础。加强数据分析利用，洞察民生诉求、分析用户行为规律，提升服务的针对性、有效性和主动性。加强分析成果的应用转化，提升对管理决策的支撑作用。12333语音数据平台建设依据人力资源社会保障部办公厅关于加12333语音数据业务现状和面临的挑战实际的访问量大，涉及咨询种类繁杂；通过过去多年的运行，12333劳动保障热线已经积累了大量的语音、文本信息，却无法对这些语音和文本进行有效的整理和利用；12333语音数据业务现状和面临的挑战实际的访问量大，涉及12333语音数据分析应用建设目标29满足人社工作中，不同角色的需求，为社会公众、人社业务部门和领导提供服务。金保应用数据特色应用数据其它资源数据社会公共服务管理应用数据资源库主题库……省级大数据中心基础数据库……学生奖惩曲线分析大数据关联性分析参保人分布分析参保体征曲线分析人社工作曲线分析人社业务分析成本分析社保医保量分析税源成长档案体征关联分析专业情况分析自建主题分析征收效率分析安全预警分析社会公众参保单位人社资源利用分析12333大数据平台……参保单位遵从度分析服务过程监控……服务质量评估管理决策……人社干部各级领导地方政府 人社业务发展分析 就业现状分析 。。。 人社业务发展分析 绩效评价 工作评估 管理决策 参保人分析 综合素质评价 业务预警 。。。 人社信息公开 咨询。。。 人社业务个性化服务 人社业务辅导 。。。12333语音数据分析应用建设目标29满足人社工作中，不同角12333语音数据应用建设模式方法一：12333大数据平台•

数据应用驱动业务流程创新再造的依据；政策变化带来的业务流程调整方式二：12333服务过程监控•

通过对数据的集成，以及与各业务系统的数据实时交互，实现对人社业务流程事前、事中、事后监控。方式三：大数据平台的整合•

通过数据应用，完成12333业务过程中的质量控制、进度控制、成本控制风险控制等等方式四互联网+人社应用•

互联网+人社的应用，再造流程。方式五开放的应用模式建立标准、开放的数据接口和应用接口，鼓励本地化的创新应用以数据应用为核心，业务流驱动为动力，探索12333数据应用在智慧人社中的实现途径。整合资源挖掘潜力创新应用重构流程Ø

可视化、智慧化的建立一系列基于应用场景的大数据分析及应用模型；.Ø

12333业务流程和监控流程的应用场景形成闭环，建立智慧化12333服务体系，实现12333业务质量可控、安全可控、效率提升、风险可控。。。。。12333语音数据应用建设模式方法一：12333大数方式二12333语音数据分析思路12333语音数据分析思路12333语音数据平台系统架构门户统计报