Matlab 数据分析 课件 康海刚 第3、4章 随机模拟、数据预处理

Matlab数据分析第3章随机模拟3.1随机数的生成1.模拟均匀分布随机变量的函数2.模拟指数分布随机变量的函数3.模拟正态分布随机变量的函数3.2蒙特卡罗模拟3.2.1蒙特卡罗模拟估计面积3.2蒙特卡罗模拟3.2蒙特卡罗模拟3.2.2蒙特卡罗模拟寻求近似圆周率3.2蒙特卡罗模拟3.2.3蒙特卡罗模拟解决生日问题3.3随机行为的模拟1.一枚正规硬币2.一个不正规的骰子3.3随机行为的模拟3.3随机行为的模拟3.布朗运动3.4蒙特卡罗模拟应用案例：理发店系统研究1.问题分析2.模型假设1）60%的顾客只需剪发，40%的顾客既要剪发又要洗发。2）每个服务员剪发需要的时间为5min，既剪发又洗发则需要8min。3）顾客的到达间隔时间服从指数分布。4）服务过程中服务员不休息。3.变量说明4.模型建立5.系统模拟（1）状态（变量）3.4蒙特卡罗模拟应用案例：理发店系统研究1）等待服务的顾客数。2）A是否正在服务。3）B是否正在服务。（2）实体两名服务员和多名顾客。（3）事件1）一名新顾客的到达2）A开始服务3）A结束服务4）B开始服务5）B结束服务（4）活动1）顾客排队时间3.4蒙特卡罗模拟应用案例：理发店系统研究2）顾客们到达的间隔时间3）A的服务时间4）B的服务时间6.系统模拟算法设计7.系统模拟程序第4章数据预处理4.1认识数据4.1.1属性4.1.2离散属性和连续属性4.2数据预处理概述1）数据清洗是通过填写缺失的值、光滑噪声数据、识别或删除离群点，并解决不一致性等方式来“清洗”数据的。2）数据集成是把不同来源、格式、性质的数据在逻辑上或物理上有机地集中，以便更方便地进行数据挖掘工作，数据集成通过数据交换而达到，主要解决数据的分布性和异构性的问题。3）数据归约就是得到数据集的简化表示，虽然小得多，但能够产生同样的（或几乎同样的）分析结果。4.2数据预处理概述4）数据变换是将数据从一种表现形式变为另一种表现形式的过程。4.2.1数据清洗1.缺失值处理（1）删除法删除法是对缺失值进行处理的最原始方法，它将存在缺失值的记录删除。（2）插补法它的思想来源是以最可能的值来插补缺失值，比全部删除不完全样本所产生的信息丢失要少。1）均值插补。2）回归插补。3）极大似然估计。2．噪声过滤（1）回归法回归法是用函数拟合数据来光滑数据的。4.2数据预处理概述（2）均值平滑法均值平滑法是指对于具有序列特征的变量用邻近若干数据的均值来替换原始数据的方法，如图4-3所示。（3）离群点分析法离群点分析法是通过聚类等方法来检测离群点，并将其删除，从而实现去噪的方法。4.2数据预处理概述（4）小波去噪法在数学上，小波去噪的本质是一个函数逼近问题，即如何在由小波母函数伸缩和平移所展成的函数空间中，根据提出的衡量准则，寻找对原信号的最佳逼近，以完成原信号和噪声信号的区分。4.2.2数据集成4.2数据预处理概述4.2.3数据归约1）属性选择是通过删除不相关或冗余的属性（或维）来减少数据量的。2）样本选择也就是数据抽样。4.2.4数掘变换1.标准化2.离散化4.3

Matlab与Excel的数据交互4.3.1以交互方式导入数据1）Matlab工具条：在主页选项卡中的变量部分，单击导入数据。2）Matlab命令提示符：输入“uiimport”，在弹出的窗口中选择需要导入的数据文件，如图4-5所示。4.3

Matlab与Excel的数据交互4.3.2炭取和写入表1.用readtable读取表格数据2.用writetable写入表格数据4.3

Matlab与Excel的数据交互4.3.3大型文件和大型数据简介4.3.4数据的清理、平滑和分组等1.清除表中的杂乱数据和缺失数据（1）加载样本数据从一个逗号分隔的文本文件messy.csv加载样本数据。（2）汇总表使用summary函数创建汇总表来查看每个变量的数据类型、说明、单位和其他描述性统计量。（3）查找具有缺失值的行显示表T中至少含有一个具有缺失值的行子集。（4）替换缺失值指示符清除相应数据，将代码-99所指示的缺失值替换标准的Matlab数值缺失值指示符NaN。（5）删除具有缺失值的行创建一个新表T3，该表仅包含T中不带缺失值的行。（6）组织数据先根据C列以降序对T3的行进行排序，然后根据A列以升序排序。4.3

Matlab与Excel的数据交互2.数据平滑和离群值检测（1）移动均值方法移动均值方法是分批处理数据的方法，通常是为了从统计角度表示数据中的相邻点。4.3

Matlab与Excel的数据交互4.3

Matlab与Excel的数据交互4.3

Matlab与Excel的数据交互4.3

Matlab与Excel的数据交互4.3

Matlab与Excel的数据交互（2）其他的平滑方法1）smoothdata函数提供几种平滑选项，如Savitzky-Golay方法，这是一种常用的信号处理平滑技术。2）稳健的Lowess方法是另一种平滑方法，尤其适用于同时包含噪声和离群值的数据。（3）检测离群值数据中的离群值可能使数据处理结果和其他计算量严重失真。4.3

Matlab与Excel的数据交互4.3

Matlab与Excel的数据交互4.3

Matlab与Excel的数据交互4.3

Matlab与Excel的数据交互（4）非均匀数据并非所有数据都由等间隔的点组成，这会影响数据处理的方法。4.3

Matlab与Excel的数据交互4.3

Matlab与Excel的数据交互4.3

Matlab与Excel的数据交互3.拆分数据变量及应用（1）加载电力中断数据示例文件