EHINK可视化挖掘,Sark大数据的实现及行业应用案例

目录联合实验室大数据分析平台产品技术架构典型行业应用案例中国科大-象形科技大数据商业智能联合实验室，由科大多位博导、教授领衔，集中了30位博士、硕士，20位大数据研发人员的联合研发队伍，在多个大数据技术领域进行技术研究和成果转化。联合实验室介绍技术基础研究方向研究方向关键任务制高点大数据可视化挖掘1）新型内存迭代数据挖掘算法2）数据挖掘可视化开发平台3）房地产、金融、电信等机器学习模型研究1）基于内存计算的机器学习算法2）行业大数据深度机器学习模型3）大数据可视化挖掘大数据内存计算1）基于内存的迭代算法研究2）内存大数据高速统计分析技术1）基于大数据内存的计算技术2）国内产品领先大数据语义分析1）大数据自然语言识别2）非结构化数据的知识发现、集成技术大数据平台的可视化集成目前是空白领域大数据云计算技术1）大数据云计算平台技术2）商业智能云平台技术1）云BI技术及大数据平台的核心技术研究2）大数据云BI在国内应用是未来趋势，有望建成国内第一家云BI平台实验室介绍-技术基础研究方向产学研合作项目合作成果大数据环境下的无重叠视域跟踪技术研究项目1）智慧城市合作2）9项大数据视频专利3）多项国家自然科学基金4）大数据视频分析平台审计行业大数据知识推理系统

（国家863项目）课题《大数据环境下基于案例的知识推理平台》申请国家863计划审计数据中心平台，全国推广中。房地产大数据分析建立房产数据开发服务平台，提供公众服务。房地产价值评估。建立房产评估模型，房地产指数等模型。制造业大数据信息挖掘云图制造业生产设备生命周期大数据分析。制造业信息云图。碳交易平台大数据碳金融算法与模型建立。碳交易与分析平台。实验室介绍-研究成果开创了基于人类视觉智能的动态目标捕捉、跟踪和行为分析的研究，在国内外杂志、会议发表了多篇高水平论文。获得视频识别，知识学习与推理相关发明专利2项，申请发明专利7项。大数据环境下的无重叠视域跟踪大数据技术，解决视频领域的知识识别，知识发现，知识集成与跟踪，推理等关键技术问题。多项国家自然科学基金大数据技术来实现国家经济免疫系统数据接口大数据知识推理系统疑点数据审计数据中心审计跨12个行业，跨地区数据源传统审计大数据审计无法跨地区、跨行业审计跨行业、跨区域审计事后审计、周期性审计连续审计复杂性隐蔽问题难以发现智能化，具有预测功能依据小样本经验地毯式排查大数据分析，建立抵御和预防手段审计行业大数据知识推理系统房地产大数据利用大数据建模技术，实现房地产价格指数、房地产评估模型碳交易利用大数据建模技术，建立全省碳排放计量监测体系的数据体系、技术体系、模型体系和评估体系，形成满足碳排放计量关系方程和参数目录联合实验室大数据分析平台产品技术架构典型行业应用案例数据挖掘越来越多的应用到了各个领域中，主要包括与客户关系管理相关的模型、与风险控制相关的模型、与生产销售预测相关的模型等数据挖掘应用领域产品品名名产品品ETHINK可视视化化挖挖掘掘概要要通过过在在浏浏览览器器内内，，鼠鼠标标拖拖拽拽形形式式实实现现加加载载数数据据、、转转换换、、建建模模、、评评估估、、图图形形以以及及结结果果输输出出特点点通过过视视觉觉工工作作方方式式轻轻松松获获得得此此界界面面可可以以保保障障操操作作的的灵灵活活性性在最最短短的的时时间间内内形形成成最最多多样样的的模模型型大大数数据据挖挖掘掘，，速速度度快快关系系型型数数据据库库数据据挖挖掘掘模模型型算算法法库库/语义义分分析析Hbase/Hive/Hdfs可视视化化数数据据挖掘掘平平台台多维维自自助助分分析析调度管理SQL接口口JDBC/ODBC内存存计计算算服服务务Scala/Java/PythonOLAPServer手机机平板板电脑脑批处处理理实时时流流处处理理交互互式式查查询询统计计分分析析平平台台ETHINK产品品架架构构特点点一一丰富富建建模模方方法法特点点可拖拖拽拽式式建建模模JDBCWebServicesRestfulapi可扩扩展展性性强强自定定义义模模型型，，扩扩充充组组件件特点点传统统的的关关系系型型数数据据(mysql、Oracle等)列式式数数据据库库(Hbase)非结构构化数数据(Hdfs、文件件系统统)大数据据（Hbase、Hive）特点二二大数据据处理理特点开放型型平台台BS结构，，一站站式建建模、、评估估、部部署基于Spark平台内存计计算运算速速度快快特点GBPB特点三三大数据据处理理能力力特点基于Spark平台内存计计算执行数数据挖挖掘时时，方方法论论非常常重要要.因为准准确的的方法法论能能够提提高作作业速速度,能系统统地减减少各各种进进展状状况，，所以以选择择正确确的方方法论论是很很重要要的.CRISP-DM方法论论是全全球认认可的的数据据挖掘掘的标标准执执行方方法论论.功能模块金融电信行业1.信用卡用户流失预测2.基于客户分群的精准智能营销3.基于公司价值评价的证券策略投资电力行业1.电力负荷预测2.自适应防窃漏电实时诊断互联网行业1.电子商务网站用户行为分析2.基于用户行为分析的定向广告投放3.企业信息系统用户服务感知评估

制造业行业1.制造设备生命周祺管理2.制造业投入产出预测公共服务业

1.空气质量预测2.卷烟消费者购买行为分析3.纳税人偷税漏税评估场景应应用（（实验验室模模拟实实验课课题））目录联合实验室大数据分析平台产品技术架构典型行业应用案例交互式查询实时在线处理实时流处理

批处理基于spark内存的的计算算模型型，同同时支支持批批处理理、交交互式式处理理、流流处理理。技术架架构解解决方方案-要解决决的问问题技术架架构解解决方方案-分布式式内存存计算算批处理理应用用（分钟钟级别别~小时级级别））OLTP/在线事事务处处理应应用（毫秒秒~秒级别别）OLAP/在线交交互式式分析析应用用（秒级级别））实时流流处理理（持续续不断断）技术架架构解解决方方案-交互式式查询询通常的的时间间跨度度在数数十秒秒到数数分钟钟之间间按数据据维度度进行行统计计、聚聚合根据历历史数数据进进行拟拟合和和预测测计算数数据之之间的的相关关性和和模式式等适合提提供高高速在在线分分析服服典型应应用场场景政府各各部门门数据据证券交交易银行保保险企业ERP/CRM等适用于于数据据量在在GB到TB的高速速数据据分析析技术架架构解解决方方案-实时在在线处处理通常的的时间间跨度度在数数百毫毫秒到到数秒秒之间间数据来来源多多、高高并发发、数数据处处理量量达分析结结果快快速响响应典型应应用场场景社交网网络分分析、、关联联关系系分析析用户分分类、、用户户行为为预测测高并发发查询询按主键键毫秒秒级检检索按多维维度秒秒级检检索按照关关键字字秒级级检索索事件驱驱动计计算模模型，，系统统处于于持续续不断断计算算之中中，事事件响响应延延迟在在毫秒秒~秒级。。流式计计算系系统处处理应应用的的处理理逻辑辑是由由源源源不断断的数数据流流驱动动。典型应应用场场景有金融融在线线欺诈诈预警警广告CTR推荐系系统技术架架构解解决方方案-实时流流处理理技术架架构解解决方方案-批处理理及离离线挖挖掘时间跨跨度在在数十十分钟钟到数数小时时之间间。离线挖挖掘主主要用用于，，多维维统计计预测测，准准实时时分析析以及及对客客户进进行聚聚类、、分类类等数数据挖挖掘应应用。。典型应应用场场景电子商商务推推荐引引擎流失客客户预预测挽挽留日志清清洗、、ETL用户行行为分分析目录联合实验室大数据分析平台产品技术架构典型行业应用案例项目需需求将总行行下发发的数数据及及核心心业务务数据据，经经过数数据整整理、、加载载到省省级数数据中中心，，并进进行各各项业业务快快速应应用开开发数据源源某省公公积金金中心心，近近五年年的操操作、、交易易记录录，共共10亿条左左右。。系统环环境4台X86架构的的PC服务器器，共共128G内存单台服服务器器，8核CPU,32G内存解决方方案Hbase导入海海量数数据，，并支支撑大大数据据查询询可视化化设计计、可可视化化报表表实现现了数数据的的实时时分析析行业应应用案案例-金融行业应应用案案例-金融系统由由对公公客户户综合合积分分子系系统、、展业业通客客户综综合收收益分分析子子系统统、授授信客客户资资金结结算子子系统统、对对公柜柜面交交易流流水分分析子子系统统等组组成行业应用案例例-金融项目需求整合第三方支支付数据资源源，分析挖掘掘客户交易、、反馈信息、、交易行等数数据，实现精精准营销，最最大限度地提提升产品价值值数据源某第三方支付付平台交易、、反馈数据，，月交易记录录量1亿条。系统环境６台X86架构的PC服务器，共96G内存单台服务器，，8核CPU,16G内存解决方案Hbase导入海量数据据，并支撑大大数据查询Hive对历史交易数数据进行分析析可视化设计、、可视化报表表实现数据的的实时分析基于ETHINK可视化挖掘平平台，完成精精准营销建模模持卡客户多维维分析：持卡客户人口口统计特征分分析持卡客户交易易行为模式分分析持卡客户应用用场景分析特约商户多维维分析：商户基本信息息分析/商户业务收益益分析商户价值贡献献度评估／商商户收单风险险分析持卡客户和特特约商户双向向分析特定特征客户户特定时间消消费商户分