数据仓库与数据挖掘(“数据”文档)共9张

引言

数据是知识的源泉。但是,拥有大量的数据与拥有许多有用的知识完全是两回事。过去几年中,从数据库中发现知识这一领域开展的很快。宽广的市场和研讨利益促使这一领域的飞速开展。计算机技术和数据搜集技术的提高使人们可以从更加广泛的范围和几年前不可想象的速度搜集和存储信息。搜集数据是为了得到信息,然而大量的数据本身并不意味信息。虽然现代的数据库技术使我们很容易存储大量的数据流,但如今还没有一种成熟的技术协助我们分析、了解并使数据以可了解的信息表示出来。在过去,我们常用的知识获取方法是由知识工程师把专家阅历知识经过分析、挑选、比较、综合、再提取出知识和规那么。然而,由于知识工程师所拥有知识的有局限性,所以对于获得知识的可信度就应该打个折扣。目前,传统的知识获取技术面对巨型数据仓库无能为力,数据发掘技术就应运而生。数据的迅速添加与数据分析方法的滞后之间的矛盾越来越突出,人们希望在对已有的大量数据分析的根底上进展科学研讨、商业决策或者企业管理,但是目前所拥有的数据分析工具很难对数据进展深层次的处置,使得人们只能望“数〞兴叹。数据发掘正是为理处理传统分析方法的缺乏,并针对大规模数据的分析处置而出现的。数据发掘经过在大量数据的根底上对各种学习算法的训练,得到数据对象间的关系方式,这些方式反映了数据的内在特性,是对数据包含信息的更高层次的笼统[1]。目前,在需求处置大数据量的科研领域中,数据发掘遭到越来越多的关注,同时,在实践问题中,大量胜利运用数据发掘的实例阐明了数据发掘对科学研讨具有很大的促进作用。数据发掘可以协助人们对大规模数据进展高效的分析处置,以节约时间,将更多的精神投入到更高层的研讨中,从而提高科研任务的效率。目录一、数据仓库概念及特征二、数据仓库系统三、数据发掘的概念及其技术过程四、数据仓库与数据发掘的关系：五、结论但是在运用数据发掘成果时，决策人员所关怀的是数据发掘最终结果与用其他候选结果在实践运用中的差距。(4)关联规那么是指事物之间的联络具有多大的支持度和可信度。虽然现代的数据库技术使我们很容易存储大量的数据流,但如今还没有一种成熟的技术协助我们分析、了解并使数据以可了解的信息表示出来。2数据发掘技术主要有四种开采义务：因此，在实践决策运用中，通常只选择那些获选边沿率超越一定百分比的数据行进展预测运用。其中最重要的一个步骤是数据发掘,它是利用某些特定的知识发现算法,在可接受的运算效率的限制下,从有效数据中发现有关的知识。假设结果是根据某种类型的得分或权值计算的，那就可以按照获选边沿率(最终结果得分-候选结果得分)/最终预测结果得分×lOO%的公式进展决断。主要包括以下几步:预备、数据选择、数据预处置、数据缩减、确定数据发掘的目的、确定知识发现算法、数据发掘(DataMining)、方式解释、知识评价,如下图。与其他数据库运用不同的是,数据仓库更像一种过程,即对分布在企业内部各处的业务数据的整合、加工和分析的过程,而不是一种可以购买的产品。但是,拥有大量的数据与拥有许多有用的知识完全是两回事。主题是一个笼统的概念,是指用户运用数据仓库进展决策时所关怀的重点方面,一个主题通常与多个操作型信息系统相关。也只需经过对发掘知识的运用，才干对数据发掘的成果做出正确的评价。主要包括以下几步:预备、数据选择、数据预处置、数据缩减、确定数据发掘的目的、确定知识发现算法、数据发掘(DataMining)、方式解释、知识评价,如下图。三、数据发掘的概念及其技术过程(3)聚类是把一组个体按照类似性归成假设干类别,它的目的是使得属于同一类别的个体之间的间隔尽能够的小,而不同类别的个体间的间隔尽能够的大。数据仓库就是面向主题的、集成的、不可更改的、随时间不断变化的数据集合。

数据仓库概念及特征

1、数据仓库概念。数据仓库就是面向主题的、集成的、不可更新的(稳定的)、随时间不断变化的数据集合。与其他数据库运用不同的是,数据仓库更像一种过程,即对分布在企业内部各处的业务数据的整合、加工和分析的过程,而不是一种可以购买的产品。2、数据仓库的特征:①面向主题。数据仓库中的数据是按照一定的主题域进展组织。主题是一个笼统的概念,是指用户运用数据仓库进展决策时所关怀的重点方面,一个主题通常与多个操作型信息系统相关。②集成的。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的根底上,经过系统加工、汇总和整理得到的,必需消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。③相对稳定的。数据仓库的数据主要供企业决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进入数据仓库以后,普通情况下将被长期保管,也就是数据仓库中普通有大量的查询操作,但修正和删除操作很少,通常只需求定期的加载、刷新。④反映历史变化。数据仓库中的数据通常包含历史信息,系统记录了企业从过去某一时点到目前各个阶段的信息,经过这些信息,可以对企业的开展历程和未来趋势做出定量分析和预测。主要包括以下几步:预备、数据选择、数据预处置、数据缩减、确定数据发掘的目的、确定知识发现算法、数据发掘(DataMining)、方式解释、知识评价,如下图。他们从不同侧面完成对决策过程的支持,相互间有一定的内在联络。一、数据仓库概念及特征搜集数据是为了得到信息,然而大量的数据本身并不意味信息。为将数据发掘结果能在实践中得到运用，需求将分析所得到的知识集成到业务信息系统的组织机构中去，使这些知识在实践的管理决策分析中得到运用。主题是一个笼统的概念,是指用户运用数据仓库进展决策时所关怀的重点方面,一个主题通常与多个操作型信息系统相关。实现对企业操作数据的抽取、转换、清洗和汇总，构成信息数据，并存储在企业级的中心信息数据库中。计算机技术和数据搜集技术的提高使人们可以从更加广泛的范围和几年前不可想象的速度搜集和存储信息。四、数据仓库与数据发掘的关系：从选取专业学习、研讨方向的实践出发,提出了将数据发掘运用于辅助选取专业学习、研讨方向的数据发掘技术流程模型。数据发掘正是为理处理传统分析方法的缺乏,并针对大规模数据的分析处置而出现的。目前,传统的知识获取技术面对巨型数据仓库无能为力,数据发掘技术就应运而生。数据仓库中的数据是在对原有分散的数据库数据抽取、清理的根底上,经过系统加工、汇总和整理得到的,必需消除源数据中的不一致性,以保证数据仓库内的信息是关于整个企业的一致的全局信息。二、数据仓库系统

数据仓库系统是指具有综合企业数据的才干，可以对大量企业数据进展快速和准确分析，辅助做出更好的商业决策的系统。见图二。它本身包括三部分内容：

⑴数据层。实现对企业操作数据的抽取、转换、清洗和汇总，构成信息数据，并存储在企业级的中心信息数据库中。

⑵运用层。经过联机分析处置，甚至是数据发掘等运用途置，实现对信息数据的分析。

⑶表现层。经过前台分析工具，将查询报表、统计分析、多维联机分析和数据开掘的结论展如今用户面前。

三、数据发掘的概念及其技术过程

数据发掘,又称数据库中的知识发现,是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在运用价值的信息或方式,它是数据库研讨中的一个很有运用价值的新领域,交融了数据库、人工智能、机器学习、统计学等多个领域的实际和技术。随着人工智能技术在专家咨询、言语处置、文娱游戏等方式识别领域的运用日益广泛。从选取专业学习、研讨方向的实践出发,提出了将数据发掘运用于辅助选取专业学习、研讨方向的数据发掘技术流程模型。1数据发掘技术的过程数据发掘技术是一个多步骤、能够需多次反复的处置过程。主要包括以下几步:预备、数据选择、数据预处置、数据缩减、确定数据发掘的目的、确定知识发现算法、数据发掘(DataMining)、方式解释、知识评价,如下图。其中最重要的一个步骤是数据发掘,它是利用某些特定的知识发现算法,在可接受的运算效率的限制下,从有效数据中发现有关的知识。2数据发掘技术主要有四种开采义务：(1)数据总结是对数据进展浓缩,给出它的紧凑描画。数据发掘是从数据泛化的角度来讨论数据总结。(2)分类发现这是一项非常重要的义务,分类是运用分类器把数据库中的数据项映射到给定类别中的某一个,用于对未来数据进展预测。(3)聚类是把一组个体按照类似性归成假设干类别,它的目的是使得属于同一类别的个体之间的间隔尽能够的小,而不同类别的个体间的间隔尽能够的大。(4)关联规那么是指事物之间的联络具有多大的支持度和可信度。有意义的关联规那么必需给定两个阈值：最小支持度和最小可信度。3数据发掘在实践生活中的运用。数据挖据的结果经过业务决策人员的认可，才干实践利用。要将经过数据发掘得出的预测方式和各个领域的专家认识结合在一同，构成一个可供不同类型的人运用的运用程序。也只需经过对发掘知识的运用，才干对数据发掘的成果做出正确的评价。但是在运用数据发掘成果时，决策人员所关怀的是数据发掘最终结果与用其他候选结果在实践运用中的差距。假设结果是根据某种类型的得分或权值计算的，那就可以按照获选边沿率(最终结果得分-候选结果得分)/最终预测结果得分×lOO%的公式进展决断。普通情况下，获选边沿率的值越高，那么预测结果为真的能够性越大。因此，在实践决策运用中，通常只选择那些获选边沿率超越一定百分比的数据行进展预测运用。为将数据发掘结果能在实践中得到运用，需求将分析所得到的知识集成到业务信息系统的组织机构中去，使这些知识在实践的管理决策分析中得到运用。四、数据仓库与数据发掘的关系：

数据仓库就是面向主题的、集成的、不可更改的、随时间不断变化的数据集合。数据发掘就是从大量的、不完全的、有噪声的、模糊的、随机的实践运用数据中提取隐含其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据仓库并不是数据发掘的先决条件，由于有很多数据发掘可直接从操作数据源中发掘出信息。数据仓库的建立并不是要替代数据库,它是建立在一个比较全面和完善的信息运用根底之上的,用于支持高层决策的分析。而数据发掘是为寻觅未知的方式或趋势在数据仓库的细节数据中进展搜索的过程。它并不是让查询言语去找某些特定的现实,而是查看一切的现实,寻觅具有某种含义深长的方式或关系来进展决策。结论

数据仓库和数据发掘是作为两种独立的信息技术出现的。数据仓库是不同于数据库的数据组织和存储技术,它从数据库技术开展而来并为决策效力,经过OLAP工