第17讲数据挖掘技术在矿业工程中应用

第17章数据挖掘技术在矿业工程中的应用主讲：卓金武

MathWorks中国内容提要什么是矿业工程矿业工程数据挖掘实例：提纯预测Page2矿业工程的内容矿业工程包含采矿工程、矿业加工工程、安全工程等细分领域，同时，矿业工程与地质工程、能源工程、冶金工程、材料科学、力学、土木工程、机械工程、化学等相邻工业工程又有密切联系。采矿工程场所大多处在错综复杂的环境中，如右上图所示，采矿工程依赖安全技术及工程提供安全保障。采矿工程开采出的矿产资源，通常需要经过矿物加工才能成为冶金、能源、化工、建材等行业的原料。选矿是整个矿产品生产过程中最重要的环节（右下图是选矿过程示意图），是矿企里的关键部门。用物理或化学方法将矿物原料中的有用矿物和无用矿物（通常称脉石）或有害矿物分开，或将多种有用矿物分离开的工艺过程就称为选矿，又称“矿物加工”。矿业安全工程主要学习矿山与地下建筑、交通、航空航天、工厂、物业、商厦与地面建筑的灾害防治技术及工程和通风、净化与空气调节、安全监测与监控、安全原理、安全系统工程、安全监察和管理等专业知识和实践。Page3Page4矿业工程的数据及特征矿业的数据源来自各种生产系统，有结构化的数据，也有非结构化的数据。矿业的数据特征由于其行业的独特性，也呈现了一定的特点，具体表现为：数据内容多样，有生产、质量控制、销售、研究、管理等多种内容的数据；数据的数据量级差异较大，生产数据的数据量较大，而质量控制等检验型数据数据量较小；相对独立，由于不同业务部门往往拥有各自独立的数据仓库或数据库，所以矿业的数据也相对独立，进行整合挖掘的业务目标不明确。Page5数据挖掘技术在矿业工程中的作用煤矿安全早在20世纪70年代，世界主要发达国家陆续在采煤安全方面建立了瓦斯监测、监控系统。这些系统从建立至今，经过不断的改进、升级，使得这些国家的煤矿的百万吨死亡率大大降低。这些系统的成功运作，无不证明计算机及数据挖掘技术对于传统采煤业安全生产的革命性突破。国内也有煤矿单位利用数据挖掘技术，以历史数据为基础，与数据仓库技术相结合，通过对历史数据的分析和挖掘，找出隐藏在数据内部的安全与数据之间的关联模式。数据矿山在数字矿山方面，数据挖掘技术是数字矿山战略实施的关键技术之一。数字矿山要求能够从煤矿的主要相关海量数据中挖掘和发现矿山系统中内在的、有价值的信息、规律和知识，因此煤矿隐患数据挖掘技术是矿山数字化的重要组成部分，隐患数据挖掘将有力地支撑海量煤矿隐患数据的有效利用。矿山数据挖掘技术是将数据挖掘应用于数字化矿山的构建过程中，以矿山数据仓库中的海量数据为对象，利用数据挖掘技术发掘其中的潜在信息，形成相应的预测知识，指导煤矿安全生产。基于数据的综合管理充分利用矿业公司内部资源、生产、设备、管理、财务、采供链条等各方面数据资源，实现生产计划的自动制定、生产过程的自动控制、质量控制的在线实现。内容提要什么是矿业工程矿业工程数据挖掘实例：提纯预测Page6数据的集成要实施这个项目，数据的集成是第一步，即将可能用到的数据尽量集成在一起，以便于挖掘。作为案例，数据是已经集成好的，这里直接读取就可以了。读入数据的代码如下：数据矿业加工前的理化数据：常规的数据，比如密度、粒度分布等物理属性，以及氧化铁、氧化硅、氧化镁等化学成分的含量等。加工后的数据：二氧化硅和氧化镁的含量clc,

clear

all,

close

all%设置产生随机数的方式rng('default')loadcondata.matPage7Page8采用插值方式处理缺失值观察原始数据可以发现，数据中存在较多的缺失值，为此最好进行缺失值处理。在进行缺失值处理前，需要将表格型的数据转成矩阵型的数据，这样就可以对不同的变量分别进行缺失值处理。实现代码如下：conmat=

table2array(condata(:,2:end));samples=table2array(condata(:,1));samples

=double(samples);conmatint

=

zeros(size(conmat));for

ii=

1:size(conmat,2)idx

=

~isnan(conmat(:,ii));v

=

conmat(idx,ii);

%

values

x

=

samples(idx);%

samplesconmatint(:,ii)

=

interp1(x,v,samples,'spline');endPage9设置建模数据及验证方式设置建模数据主要是指定模型的输入和输出数据，另外还有设置模型的验证方式，实现代码如下：X

=

conmatint(:,1:end-2);Y

=

conmatint(:,end-1:end);%设置交叉验证的数据配比c

=

cvpartition(length(samples),'holdout',0.15);idxTrain

=

training(c);idxTest

=

test(c);Xtrain

=

X(idxTrain,:);Xtest

=

X(idxTest,:);Ytrain

=

Y(idxTrain,:);Ytest

=

Y(idxTest,:);多元线性回归模型Page10采用多元线性回归方法对该问题进行建模。由于有两个输出变量，则需要进行两次回归。具体实现代码和得到的模型如下：程序执行后，同时得到了模型的评估结果，二氧化硅模型的拟合度为0.52137，而氧化镁模型的拟合度为0.27528，相对较差些。分析两个模型的回归误差（右上图为二氧化硅的，右下图为氧化镁的）就可以发现，氧化镁数据中有个较大的离群值，其他数据的误差都比较小，如果剔除这个异常值，回归效果也是非常好的。X

=

conmatint(:,1:end-2);Y

=

conmatint(:,end-1:end);%设置交叉验证的数据配比c

=

cvpartition(length(samples),'holdout',0.15);idxTrain

=

training(c);idxTest

=

test(c);Xtrain

=

X(idxTrain,:);Xtest

=