智能建造概论-装配式建筑工程技术专42课件讲解_第1页
智能建造概论-装配式建筑工程技术专42课件讲解_第2页
智能建造概论-装配式建筑工程技术专42课件讲解_第3页
智能建造概论-装配式建筑工程技术专42课件讲解_第4页
智能建造概论-装配式建筑工程技术专42课件讲解_第5页
已阅读5页，还剩6页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

智能建造概论装配式建筑工程技术专业教学资源库功能模块层模块六—智能运维主讲人：在智能运维（AIOps）平台落地的实践中，算法和数据的融合，第一步是数据的采集和汇聚，通过前文介绍的关键技术，我们已经获得了质量标准归一化的、经过了提取和转换的、时间/空间/业务维度标记清楚的数据，需要补充的是数据预处理相关的核心要点。功能模块在数据挖掘中，海量原始数据中存在大量不完整(有缺失值)、不一致或有异常的数据，严重影响到数据挖掘建模的执行效率，甚至可能导致挖掘结果的偏差。数据预处理的目的是提高数据质量，从而提升数据挖掘的质量。方法包括数据清洗、数据集成和转换，以及数据归约。1、数据预处理通过数据预处理，可以去掉数据中的噪音，纠正不一致；数据集成将数据由多个源合并成一致的数据存储，如数据仓储或数据立方；数据变换(如规范化)也可以使用，例如规范化可以改进涉及距离度量的挖掘算法的精度和有效性；数据规约可以通过合并、删除冗余特征或聚类来压缩数据。这些数据处理技术在数据挖掘之前使用，可以大大提高数据挖掘模式的质量，降低实际挖掘所需要的时间。1、数据预处理需要注意，有些算法对异常值非常敏感。任何依赖均值/方差的算法都对离群值敏感，因为这些统计量受极值的影响极大。另一方面，一些算法对离群点具有更强的鲁棒性。数据分析中的描述性统计分析认为：当我们面对大量信息的时候，经常会出现数据越多，事实越模糊的情况，因此我们需要对数据进行简化，描述统计学就是用几个关键的数字来描述数据集的整体情况。1、数据预处理在智能运维（AIOps）算法分析系统中，不同算法对应不同的适配场景，需要根据数据特征模式来选择合适的算法应用。如指标异常算法的应用：针对周期稳定的数据，我们采取动态极限的模型；针对周期不稳定的数据，采用频域分析的模型；针对稳定的数据采用极限阈值判断的模型。通过模型选择的算法，对于相同的数据的模型进行适配，达到最优的效果。2、算法工程集成因此，想要以开箱即用的方式、采用某种标准的机器学习算法直接应用，而不考虑业务特征，通常并不可行。2、算法工程集成我们需要首先考虑该组业务指标间的关联性，如果有应用或系统间的调用链或调用拓扑供参考，这是最好不过的。如果没有调用链或拓扑，则需要先根据已知可能的业务相关性，进行曲线波动关联、回归分析等算法分析，获得极限阈值尝试得到因果匹配，通过一系列的事件归集得到相关性，再对每一次反馈进行适应，尝试自动匹配更为准确的算法和参数，才可能达到期望的异常检测目标。2、算法工程集成智能运维的工程化过程，是一个算法、算力与数据相结合，平台自身与业务系统反馈相结合的复杂过程。在与业务场景结合的前提下，灵活的算

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论