工程大数据分析平台.doc

1、工程大数据分析平台随着大数据时代来临、无人驾驶和车联网的快速发展，汽车研发部门需要处理的数据量 激增、数据类型不断扩展。相关数据涵盖车内髙频CAN数据和车外ADAS视频非结构化数据、 位置地理空间数据、车辆运营数据、用户CRM数拯、WEB数据、APP数据、和MES数据等。踣线圍规划大数据管理规划大数据应用大数据存储规划组织、流程成本轴分析在此背景下，整车厂研发部门关心的是：如何将企业内部的研发、实验、测试、生产数 据，社会用户的用车数据，互联网第三方数据等结合起来，将异构数据和同构数据整合到一 起，并在此基础上，实现业务系统、分析系统和服务系统的一体化：怎样利用深度的驾驶员 行为感知、智能的车

2、辆预防性维护、与实时的环境状态交互，通过大数据与机器学习技术, 建立而向业务服务与产品持续优化的车联网智能分析：最终利用数据来为产品研发、生产、 销售、售后提供精准的智能决策支撑。这些都是整车厂在大数据时代下亟待解决的问题。大数据实践平台实施I 人员培训I 经验分拿I 技术支持I针对这一需求，恒润科技探索出以EXCEEDDATA大数据分析平台为核心的汽车工程大数 拯整体解决方案。借助EXCEEDDATA大数携分析平台，企业可以集成、处理、分析、以及可 视化海疑级别的数据，可实现对原始数据的高效利用，并将原始数据转化成产品所需的智能, 从而改进业务流程、实现智慧决策的产业升级。产品介绍： 先进的

3、技术架构EXCEEDDATA采用分布式架构、包含集成处理(ETL)与分析挖掘两大产品功能体系， 共支持超过20多个企业常见传统数据库和大数拯源系统，超过50多个分析处理算法、以 及超过丰富的可视化智能展现库。用户可以自主的、灵活的将并种来源的原始数据与分析处理串联应用，建立科学的数据模型，得出预测结果并配以互动的可视化智能，快速髙效的将 大数据智能实现至业务应用中。大数据系统H5RSEEnamoDB I mongoDB redis I数据源 GXCGGDDZiCTA|- I分析挖掘J用户数据仓库ORACLEIeradaia d号一SQLServer, iviujsql平台包括分布式大数据分析引

4、擎、智能终端展示、以及API。大数据分析引擎为MPP架 构,建立在开源的Apache Hadoop与Apache Spark之上，可简易的scale-out扩展。在 分析引擎的基础上包含数据源库、数据转换匹配器、数据处理操作库、机器学习算法库、可 视化图形库等子模块。智能终端展示为行业通用的B/S架构，用户通过支持跨操作系统和 浏览器的HTML5/JS界面与API来与平台互动。Kafka消息列队分布式计算Hadoop/Spark用户HTML5/JS移动PC终端分析SDE工貝REST APIStream API广泛的数据类型和存储格式支持能力EXCEEDDATA平台支持数值、字符、时间、向量、列

5、表等17种数据类型，还可支持多 种Hadoop数据存储格式，如HDFS的文件存储格式和Hive的表存储格式。为数据分析人 员肖省大屋的数据格式转换和文件系统转移的准备时间。分析员可快速的从既有数据源中灵 活的获取数据，尽快开展数据分析任务。 丰富的算法模块和直观的编程环境EXCEEDDATA平台提供丰富的机器学习算法，共六大类函数对数据进行汇总、分析、分 类或聚类，并配以灵活的算法流程引擎和可拉动式界而。业务人员可轻松地选择和组合多个 数据源和算法模块，快速构建分析流程，对业务进行综合分析。20机器学习算法包网络分析类型：Graph Analytics推荐引擎类型：Recommendation

6、 Engine时间路径类别：Time & Path聚类分析类别：Cluster Analytics 决策树分析类型：Decision Tree 朴素贝叶斯分析类型：Naive Bayes统计分析类别：Statistical Analysis多维度大数据的分析与预测算法包 行为网络算法，包括图谱统讣、最短路径等 中英文语言分析算法，包括TF-IDF、Word2Vec等 地理分析算法 分类挖掘：逻辑回归、向量机、朴素贝叶斯、决策树、梯度提升决策树、随 机森林 回归预测：线性回归、岭回归、套索回归、保序回归 聚类：KMeans、高斯混合模型 关联推荐：Apriori、FPGrowth、Alternate Least Squares （协同过滤） 时间路径：sessionize.去重、分区、路径（遍历、顺序、起始点） 网络地理：最短路径、方块分区索引、异状边际左位 统计处理：直方分布、密度分布、聚合、排序、过滤等丰富的数据呈现方式EXCEEDDATA平