Sark大数据的实现及行业应用案例

目录联合实验室大数据分析平台产品技术架构典型行业应用案例中国科大-象形科技大数据商业智能联合实验室，由科大多位博导、教授领衔，集中了30位博士、硕士，20位大数据研发人员的联合研发队伍，在多个大数据技术领域进行技术研究和成果转化。联合实验室介绍技术基础研究方向研究方向关键任务制高点大数据可视化挖掘1）新型内存迭代数据挖掘算法2）数据挖掘可视化开发平台3）房地产、金融、电信等机器学习模型研究1）基于内存计算的机器学习算法2）行业大数据深度机器学习模型3）大数据可视化挖掘大数据内存计算1）基于内存的迭代算法研究2）内存大数据高速统计分析技术1）基于大数据内存的计算技术2）国内产品领先大数据语义分析1）大数据自然语言识别2）非结构化数据的知识发现、集成技术大数据平台的可视化集成目前是空白领域大数据云计算技术1）大数据云计算平台技术2）商业智能云平台技术1）云BI技术及大数据平台的核心技术研究2）大数据云BI在国内应用是未来趋势，有望建成国内第一家云BI平台实验室介绍-技术基础研究方向产学研合作项目合作成果大数据环境下的无重叠视域跟踪技术研究项目1）智慧城市合作2）9项大数据视频专利3）多项国家自然科学基金4）大数据视频分析平台审计行业大数据知识推理系统

（国家863项目）课题《大数据环境下基于案例的知识推理平台》申请国家863计划审计数据中心平台，全国推广中。房地产大数据分析建立房产数据开发服务平台，提供公众服务。房地产价值评估。建立房产评估模型，房地产指数等模型。制造业大数据信息挖掘云图制造业生产设备生命周期大数据分析。制造业信息云图。碳交易平台大数据碳金融算法与模型建立。碳交易与分析平台。实验室介绍-研究成果开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文。获得视频识别，知识学习与推理相关发明专利2项，申请发明专利7项。大数据环境下的无重叠视域跟踪大数据技术，解决视频领域的知识识别，知识发现，知识集成与跟踪，推理等关键技术问题。多项国家自然科学基金大数据技术来实现国家经济免疫系统数据接口大数据知识推理系统疑点数据审计数据中心审计跨12个行业，跨地区数据源传统审计大数据审计无法跨地区、跨行业审计跨行业、跨区域审计事后审计、周期性审计连续审计复杂性隐蔽问题难以发现智能化，具有预测功能依据小样本经验地毯式排查大数据分析，建立抵御和预防手段审计行业大数据知识推理系统房地产大数据利用大数据建模技术，实现房地产价格指数、房地产评估模型碳交易利用大数据建模技术，建立全省碳排放计量监测体系的数据体系、技术体系、模型体系和评估体系，形成满足碳排放计量关系方程和参数目录联合实验室大数据分析平台产品技术架构典型行业应用案例数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等数据挖掘应用领域产品名产品ETHINK可视化挖掘掘概要通过在浏览览器内，鼠鼠标拖拽形形式实现加加载数据、、转换、建建模、评估估、图形以以及结果输输出特点通过视觉工工作方式轻轻松获得此此界面可以以保障操作作的灵活性性在最短的时时间内形成成最多样的的模型大数数据挖掘，，速度快关系型数据据库数据挖掘模模型算法库库/语义分析Hbase/Hive/Hdfs可视化数据据挖掘平台多维自助分分析调度管理SQL接口JDBC/ODBC内存计算服服务Scala/Java/PythonOLAPServer手机平板电脑批处理实时流处理理交互式查询询统计分析平平台ETHINK产品架构特点一丰富建模方方法特点可拖拽式建建模JDBCWebServicesRestfulapi可扩展性强强自定义模型型，扩充组组件特点传统的关系系型数据(mysql、Oracle等)列式数据库库(Hbase)非结构化数数据(Hdfs、文件系统统)大数据（Hbase、Hive）特点二大数据处理理特点开放型平台台BS结构，一站站式建模、、评估、部部署基于Spark平台内存计算运算速度快快特点GBPB特点三大数据处理理能力特点基于Spark平台内存计算执行数据挖挖掘时，方方法论非常常重要.因为准确的的方法论能能够提高作作业速度,能系统地减减少各种进进展状况，，所以选择择正确的方方法论是很很重要的.CRISP-DM方法论是全全球认可的的数据挖掘掘的标准执执行方法论论.功能模块金融电信行业1.信用卡用户流失预测2.基于客户分群的精准智能营销3.基于公司价值评价的证券策略投资电力行业1.电力负荷预测2.自适应防窃漏电实时诊断互联网行业1.电子商务网站用户行为分析2.基于用户行为分析的定向广告投放3.企业信息系统用户服务感知评估

制造业行业1.制造设备生命周祺管理2.制造业投入产出预测公共服务业

1.空气质量预测2.卷烟消费者购买行为分析3.纳税人偷税漏税评估场景应用（（实验室模模拟实验课课题）目录联合实验室大数据分析平台产品技术架构典型行业应用案例交互式查询实时在线处理实时流处理

批处理基于spark内存的计算算模型，同同时支持批批处理、交交互式处理理、流处理理。技术架构解解决方案-要解决的问问题技术架构解解决方案-分布式内存存计算批处理应用用（分钟级别别~小时级别））OLTP/在线事务处处理应用（毫秒~秒级别）OLAP/在线交互式式分析应用用（秒级别））实时流处理理（持续不断断）技术架构解解决方案-交互式查询询通常的时间间跨度在数数十秒到数数分钟之间间按数据维度度进行统计计、聚合根据历史数数据进行拟拟合和预测测计算数据之之间的相关关性和模式式等适合提供高高速在线分分析服典型应用场场景政府各部门门数据证券交易银行保险企业ERP/CRM等适用于数据据量在GB到TB的高速数据据分析技术架构解解决方案-实时在线处处理通常的时间间跨度在数数百毫秒到到数秒之间间数据来源多多、高并发发、数据处处理量达分析结果快快速响应典型应用场场景社交网络分分析、关联联关系分析析用户分类、、用户行为为预测高并发查询询按主键毫秒秒级检索按多维度秒秒级检索按照关键字字秒级检索索事件驱动计计算模型，，系统处于于持续不断断计算之中中，事件响响应延迟在在毫秒~秒级。流式计算系系统处理应应用的处理理逻辑是由由源源不断断的数据流流驱动。典型应用场场景有金融在线线欺诈预警警广告CTR推荐系统技术架构解解决方案-实时流处理理技术架构解解决方案-批处理及离离线挖掘时间跨度在在数十分钟钟到数小时时之间。离线挖掘主主要用于，，多维统计计预测，准准实时分析析以及对客客户进行聚聚类、分类类等数据挖挖掘应用。。典型应用场场景电子商务推推荐引擎流失客户预预测挽留日志清洗、、ETL用户行为分分析目录联合实验室大数据分析平台产品技术架构典型行业应用案例项目需求将总行下发发的数据及及核心业务务数据，经经过数据整整理、加载载到省级数数据中心，，并进行各各项业务快快速应用开开发数据源某省公积金金中心，近近五年的操操作、交易易记录，共共10亿条左右。。系统环境4台X86架构的PC服务器，共共128G内存单台服务器器，8核CPU,32G内存解决方案Hbase导入海量数数据，并支支撑大数据据查询可视化设计计、可视化化报表实现现了数据的的实时分析析行业应用案案例-金融行业应用案案例-金融系统由对公公客户综合合积分子系系统、展业业通客户综综合收益分分析子系统统、授信客客户资金结结算子系统统、对公柜柜面交易流流水分析子子系统等组组成行业应用案案例-金融项目需求整合第三方方支付数据据资源，分分析挖掘客客户交易、、反馈信息息、交易行行等数据，，实现精准准营销，最最大限度地地提升产品品价值数据源某第三方支支付平台交交易、反馈馈数据，月月交易记录录量1亿条。系统环境６台X86架构的PC服务器，共共96G内存单台服务器器，8核CPU,16G内存解决方案Hbase导入海量数数据，并支支撑大数据据查询Hive对历史交易易数据进行行分析可视化设计计、可视化化报表实现现数据的实实时分析基于于ETHINK可视视化化挖挖掘掘平平台台，，完完成成精精准准营营销销建建模模持卡卡客客户户多多维维分分析析：：持卡卡客客户户人人口口统统计计特特征征分分析析持卡卡客客户户交交易易行行为为模模式式分分析析持卡卡客客户户应应用用场场景景分分析析特约约商商户户多多维维分分析析：：商户户基基本本信信息息分分析析/商户户业业务务收收益益分分析析商户户价价值值贡贡献献度度评评估估／／商商户户收收单单风风险险分分析析持卡卡客客户户和和特特约约商商户户双双向向分分析析特定定特特征征客客户户特特定定时时间间消消费费商商户户分分布布分分析析特定定时时间间在在特特定定商商户户消消费费的的客客户户特特征征分分析析行业业应应用用案案例例-金融融项目目需需求求烟草草工工业业企企业业目目前前积积累累了了大大量量的的数数据据信信息息，，管管理理方方式式由由粗粗放放式式管管理理转转为为精精细细化化管管理理，，产产生生了了利利用用大大数数据据技技术术收收集集、、管管理理和和展展示示分分析析结结构构化化和和非非结结构构化化的的数数据据和和信信息息的的诉诉求求，，于于是是如如何何利利用用这这些些数数据据创创造造更更大大的的价价值值、、为为领领导导决决策策和和企企业业精精益益管管理理提提供供有有力力支支撑撑成成为为重重要要的的课课题题。数据据存存储储近1年数数据据，，每每秒秒钟钟10000个数数据据采采集集点点系统统环环境境硬件件环环境境：：数数据据库库服服务务器器1台+4台分分布布式式pcserver单台台4核，，16G内存存解决决方方案案流处处理理模模块块处处理理