工业大数据平台的概括、应用和课题研究

1、工业大数据平台工业大数据平台主要内容主要内容n1、工业大数据、工业大数据n2、工业大数据实践、工业大数据实践n3、课题进展、课题进展同时GE公司的报告还揭示了工业大数据所蕴含的巨大价值。工业大数据领域工业大数据领域2/82/8法则法则n数据价值密度n20%的SQL小数据具有80%的价值密度n例如：产品图纸、试验分析、加工工艺等n80%的工业大数据密度只有20%，需要分析挖掘n例如：工况数据、图片数据、文本数据等n数据的依赖关系n20%的SQL小数据将引爆80%工业大数据价值n不举小数据之“纲”，难张大数据之“目”工业大数据演进过程案例工业大数据演进过程案例在企业内部切换数据库的难度在企业内部切

2、换数据库的难度n如果将数据比作血液，数据库相当于心脏n替换数据库相当于心脏移植n静脉血管，数据写入n动脉血管，数据查询n整个过程生命不能停顿，系统不能中断运行n意外发生可以恢复，切换途中可以回退工业大数据的切换过程工业大数据的切换过程无耗损数据修补技术无耗损数据修补技术n传统方案，造成三类数据损耗n切换时刻不明导致误差损耗n切换过程中发生的停机损耗n切换试验造成的脏数据损耗n利用双系统切换实现无损修补n先进行双向删除，然后再进行修补双系统并行，非中断切换双系统并行，非中断切换n单系统停机切换存在的问题n应用停机n查询和写入接口同时修改，导致上层应用长时间不能工作n以服务部门为例：停产一天，将导

3、致百万元的损失n数据丢失n原始数据库停机后，实时数据丢失，无法找回微创式应用一直方案微创式应用一直方案n通过专用代理服务将大数据系统透明接入关系型数据库n以最小代价实现关系数据库与大数据系统的优势整合n使得遗留应用程序平稳过渡到大数据平台上应用一直复用应用一直复用SQL知识知识主要内容主要内容n1、工业大数据、工业大数据n2、工业大数据实践、工业大数据实践n3、课题进展、课题进展工业大数据应用系统开发工业大数据应用系统开发面向领域的大数据应用系统开发与运行平台面向领域的大数据应用系统开发与运行平台n构建大数据应用系统的开发与运行平台n创新大数据系统开发的软件工程方法n为计算机辅助开发提供工具和

4、平台支撑如何实现大数据系统的如何实现大数据系统的“计算机辅助开发计算机辅助开发”？n“CAD”for Big Data Systems?nCAD = Computer Aided Developmentn如何“绘制”用户需求图纸？n业务需求如何描述？n如何根据需求图纸“装配”标准组件？n如何根据用户需求选择、配置、部署大数据构件？n如何“检查”标准组件是否满足图纸设定？n如何根据大数据构件的运行时数据优化系统配置？开发与运行的生命周期开发与运行的生命周期集成设计开发环境集成设计开发环境自动部署自动部署集成设计开发环境集成设计开发环境需求建模需求建模大数据构件资源库大数据构件资源库逆向工程逆向工

5、程大数据构件资源库大数据构件资源库系统建模系统建模线程配置对副本一致性的影响运行时分析工具运行时分析工具课题立项半年来的部分学术成果课题立项半年来的部分学术成果n正式发表A类论文5篇nShaoxu Song, Lei Chen, and Hong Cheng,On Concise Set of Relative Candidate Keys.” VLDB 2014nShaoxu Song, et al. “Repairing Vertex Labels under Neighborhood Constrainst .” VLDB 2014nShaoxu Song, Han Zhu, and L

6、ei Chen. ”Probabilistic correlation-based similarity measure on text records.” Information Sciences 2014nShaoxu Song, Lei Chen, and Hong Cheng . “Efficient Determination of Distance Thresholds for Differential Dependencies .” TKDE 2014nMingsheng Long ,Jianmin Wang ,Jiaguang Sun ,Philip S .Yu . “Domain Invariant Transfer Kernel Learning .” TKDE 2014nMingsheng Long . Jianmin Wang . Guiguang Ding et al .”Transfer Learning with Graph Co-Regularization .” TD