大数据时代的数据挖掘与商务智能(五)

1、12345事务数据库事务数据库D67891011121314151617学习器（训练器）学习器（训练器） 分类器分类器 类类1 类类2 类类m 未被分类的数据未被分类的数据 训练例训练例训练例训练例 训练例训练例学习（训练）过程学习（训练）过程 分分 类类 过过 程程模型模型 18根据具体问题和具体要求根据具体问题和具体要求来选择不同的方法。来选择不同的方法。1920ageincomestudentcredit_ratingbuys_computer=30highnofairno40mediumnofairyes40lowyesfairyes40lowyesexcellentno3140low

2、yesexcellentyes=30mediumnofairno40mediumyesfairyes40mediumnoexcellentno 选哪个属性为选哪个属性为类属性类属性由关心的问题而定，可为由关心的问题而定，可为buys_computer,123456789101112131421age?overcaststudent?credit rating?noyesfairexcellent40nonoyesyesyes30.402223 v1jmjj2j1mjj2j1m1ii2i),.,(IS.sslogssSSSSSS2425输入3032=960，隐单元3，输出4， 96034的网路。

3、26输入单元输入单元303032=96032=960，隐单元，隐单元4 4，输出输出单元单元3030（代表从最左到最右方向）（代表从最左到最右方向） 9609604 430 30 的网路。的网路。270 1 9输入输入手写数字手写数字人工神人工神经网络经网络输出结果输出结果2829结点结点.xiO1O2Ok3031 ijiijjOwI jIje11O 每个每个都是非线性变换单元都是非线性变换单元IjOi323334n神经网络的设计者们用高超的工程技巧弥补了数学上的缺陷。神经网络的设计者们用高超的工程技巧弥补了数学上的缺陷。n综合利用各种启发式算法，使得用较少的计算取得一个合理的局部综合利用各种

4、启发式算法，使得用较少的计算取得一个合理的局部极小点成为可能。极小点成为可能。35363721( )2() 1,1,.,iiwwyw xbil3839404142) )( () )( () )| |( () )| |( (XPHPHXPXHP 43) )( () )( () )| |( () )| |( (XPHPHXPXHP )H|X(P n1kkHxPHXP) )| |( () )| |( (数据对象有数据对象有n个属性，每个数据属性是独立的，就可计算每个个属性，每个数据属性是独立的，就可计算每个) )| |( (HxPk4445) )( () )( () )| |( () )| |( (

5、XPHPHXPXHP 464748495051数据训练集测试集导出分类法评估准确性52数据S1S2Sk训练集测试集53数据C1C2Ct组合得票新数据样本类预测545556C1 C2 CT traintraintrainxc1(x)c2(x)cT(x)C* c*(x) = max cntt ct(x)S1 S2 ST 57585960Set of weightedinstances Classifier Ct train classifier adjust weights6162xc1(x)c2(x)cT(x)C* c*(x) = argmaxcm Sct(x)=cm log(1/bt)C1 t

6、rainS,w1trainC2 S,w2CT trainS,wT636465666768X1X2X3X4X5X6X1X2X4X3X5X6谱系关系图谱系关系图6970717273747576美国一所大学中空手道俱乐部成员间关系的网络美国一所大学中空手道俱乐部成员间关系的网络77787980818283848586878889文本文本集集预处理与预处理与文本表示文本表示分类器分类器评价评价分类结果特分类结果特征和概要征和概要 词典词典分类模型分类模型标准结果标准结果特征抽取特征抽取文本分类一般包括了文本表达、分类器的文本分类一般包括了文本表达、分类器的选择与训练、分类结果的评价与反馈等过选择与训练

7、、分类结果的评价与反馈等过程，如图所示：程，如图所示：文本分类系统文本分类系统909192网络挖掘网络挖掘网络结构挖掘网络结构挖掘网络内容挖掘网络内容挖掘网络使用挖掘网络使用挖掘网页网页内容内容挖掘挖掘检索检索结果结果挖掘挖掘定制定制使用使用跟踪跟踪存取存取模式模式挖掘挖掘网络网络组织组织挖掘挖掘网络网络引用引用挖掘挖掘媒体媒体信息信息挖掘挖掘93949596 扩充智能数据分析算法扩充智能数据分析算法 将智能数据分析应用到新的数据类型将智能数据分析应用到新的数据类型 发展分布的智能数据分析算法发展分布的智能数据分析算法 提高智能数据分析方法的容易度提高智能数据分析方法的容易度所面临的挑战所面临

8、的挑战97 数据量的增长数据量的增长 对交互式反应和真实反应时间减少的要对交互式反应和真实反应时间减少的要 求的加强求的加强 需要多种算法的组合或新的算法需要多种算法的组合或新的算法 算法要具有可扩展性算法要具有可扩展性扩充智能数据分析算法扩充智能数据分析算法98 时间序列数据时间序列数据 未组织数据未组织数据,如文本如文本 半组织数据半组织数据, 如如HTML和和XML文件文件 多媒体的合作数据多媒体的合作数据 多层次的多层次的,多度量单位的数据多度量单位的数据 集合数据，图数据集合数据，图数据将智能数据分析应用到新的数据类将智能数据分析应用到新的数据类型型99 数据的分布特性数据的分布特性

9、 计算环境越来越普及计算环境越来越普及 必须发展与之匹配的数据分析系统和算法必须发展与之匹配的数据分析系统和算法发展分布的智能数据分析算法发展分布的智能数据分析算法100 数据分析自动化程度的提高数据分析自动化程度的提高 提高用户界面提高用户界面, 支持随机用户的浏览支持随机用户的浏览 提高大型分布数据的可视化程度提高大型分布数据的可视化程度 发展用以管理数据分析的元数据的技术和系统发展用以管理数据分析的元数据的技术和系统 发展恰当的语言和协议支持随机提取数据发展恰当的语言和协议支持随机提取数据 提高智能数据分析的环境提高智能数据分析的环境收集收集加工加工 分析与挖掘分析与挖掘可视化以及必要的合作报告可视化以及必要的合作报告提高智能数据分析方法的容易度提高智能数据分析方法的容易度101支持单个研究数据分析者的研究支持单个研究数据分析者的研究 支持数据挖掘的基础学科的研究支持数据挖掘的基础学科的研究 支