信息分析与数据挖掘理论

1、第节 课程概述1. 基本内容1-1 信息分析理论教材前三章：绪论（信息分析的内涵、领域、方法论、信息分析职业人员的理想素质结构、产生与发展）、信息分析的工作框架（选题与规划、信息收集、整理与评价、信息分析的六个步骤）、信息分析建模（模型与模型方法、信息分析建模的一般过程、定性模型、定量模型）。1-2 信息分析方法主要介绍几种常用的定量方法（相关分析与回归分析、时间序列分析、马尔可夫分析等）、定性方法（德尔菲方法）及定性定量相结合的方法（数据包络分析、层次分析法等）。1-3 信息分析技术对常用的分析软件做简单介绍：SPSS软件、DEA计算软件等。2. 参考书目2-1 信息分析沙勇忠、牛春华等，信

2、息分析，科学出版社，2009年第一版。2-2 计量经济学古扎拉蒂，计量经济学（第三版），中国人民大学出版社，2000年林少宫翻译第一版。2-3 运筹学魏权龄、胡显佑，运筹学基础教材，中国人民大学出版社，2008年第二版。3. 考核要求、方式4-1 期末考试：闭卷，重点考察信息分析方法特别是计量方法、时间序列方法、层次分析方法、DEA方法的理解与应用。4-2 平时考核：出勤、作业（含信息分析全程的课程论文）。平时点名5次，全缺者取消考试资格。4-3 总评成绩：期末卷面成绩出勤作业。第一节 绪论1. 信息分析的内涵1-1 信息分析的概念：是情报研究范围的扩展和社会信息化发展的结果，是针对特定的需求

3、，对信息进行深度分析和加工，提供有用的信息与情报。信息分析的本质是将信息转换为情报。过程阐述一：事实符号数据信息知识情报过程阐述二：信息源信息收集信息整理信息分析信息产品信息利用1-2 信息分析与相关研究的关系A. 信息分析与科学研究：信息分析是一种面向应用的科学研究，是科学研究的前提或基础；两者研究对象不同、研究目的不同、研究功用不同、研究性质不同。B. 信息分析与软科学研究：两者都涉及到信息的分析和加工，都是为决策和行动提供依据和参考；软科学侧重于对策研究，信息分析的研究范围更为广泛，软科学研究以信息分析为基础，信息分析借鉴软科学的对策研究方法是一种趋势。C. 信息分析与咨询服务：二者的基

4、础活动都是信息的采集、加工、传递和反馈，都是为客户决策和行动提供智力支持服务，都是面向市场的商业信息活动；咨询服务更强调专业性，更注重咨询人员的专业经验和具体研究以解决客户实际问题。信息分析正迅速融入咨询业而形成信息咨询业。D. 信息分析与竞争情报：竞争情报是信息分析的组成部分，是面向企业的信息研究，竞争情报以市场竞争为内容，以竞争对手分析为核心，具有强烈的对抗性与针对性。1-3 信息分析的工作目标A. 从混沌的信息中萃取有用信息。实现这一目标的常用方法有：比较、鉴别、检索、相关分析等。B. 从表层信息中发现相关的隐蔽信息，实现这一目标的常用方法有：内容分析、聚类分析、数据挖掘、知识发现等。C

5、. 从过去和现在的信息中推演未来的信息。实现这一目标的常用方法有：特尔菲法、情景分析法、对策法等。D. 从局部信息推知总体信息。实现这一目标的常用方法有：统计学方法、系统辨识、内容分析等。E. 运用相关信息对事物的状态、性能和效果进行评价。实现这一目标的常用方法有：层次分析法、数据包络分析法等。2. 信息分析的领域1-1 按功能进行划分 信息分析跟踪性信息分析比较性信息分析预测性信息分析评价性信息分析对策性信息分析综合性信息分析1-2 按工作领域划分信息分析科技信息分析经济信息分析社会信息分析3. 信息分析方法论3-1 方法与方法论 A. 方法论是方法的系统知识，它把方法作为直接对象从理论上进

6、行系统研究和梳理，方法论研究方法的性质、作用和发展规律，研究不同方法之间的差别和联系，研究每一种方法在方法系统中的地位以及正确运用各种方法所需要遵循的基本程序和原则等。B. 方法是方法论的原材料，是方法论的基础；方法论是方法的理论概括和总结，是系统化了的方法体系，对具体的方法具有指导作用。C. 从方法论的角度来讲，研究方法是分层次的，按照其概括的普遍程度和适用范围的大小，按从高到低的水平，可以分为彼此不同但有紧密联系的三个层次：哲学方法、一般方法、专门方法体现某学科的特殊规定性；是该学科的核心方法，具备独特的应用效能；具体方法一经确立，就必然冲出本学科的范围，为其他学科所方法采用。上层的方法作

7、用范围更大，作用时间更长，但也越不具体；下层的方法作用范围更小、更专门，操作性更强。方法体系哲学方法一般方法专门方法矛盾的观点发展的观点联系的观点归纳演绎3-2 信息分析的方法来源A. 逻辑学的方法B. 系统分析的方法C. 图书情报学方法D. 社会学方法E. 数学统计学的方法F. 经济管理学的方法3-3 信息分析方法的体系结构 根据信息分析的理论追求和职业需要，对信息分析领域所积累的研究方法按照某种标准进行系统化和结构化。另外，从技术手段来说，计算机辅助信息分析日益普遍。信息分析方法相关分析方法内容分析法、引文分析法、因子分析法、聚类分析法、关联树法等。预测分析方法时间序列法、回归分析法、德尔

8、菲法、情景分析法、马尔可夫法等。评估分析方法模糊综合评估法、层次分析法。指数评估法、数据包络分析法。其他分析方法问题诊断、对策研究、数据库开发等功能。仿真法、动态规划法、博弈论方法、神经网络方法、社会调查法等。4. 信息分析职业人员的理想素质结构4-1 两类知识显性知识与隐性知识：前者通过学习获得，后者通过生活经验获得。4-2 两类思维 发散性思维与收敛性思维：前者具有非习常性、无规范性，后者则遵循一定规则，具有可靠的程序。4-3 两类方法 定性方法与定量方法：前者强调对所要研究的对象从整体上进行把握，认为研究应当是开放和多元的。4-4 必要的张力 在两类知识、两种思维、两类方法之间保持必要的

9、张力，形成不偏倚、非极端的均衡结构。信息分析需要科学与艺术相结合的双重素质。素质结构科学硬功夫艺术软功夫显性知识收敛性思维定量方法隐性知识发散性思维定性方法5. 信息分析的发展趋势5-1 信息分析服务的市场化、产业化5-2 信息分析内容的专深化5-3 信息分析手段的现代化第二节 信息分析的工作流程1. 信息分析课题选题与规划1-1 课题选题A. 选题就是明确信息分析的对象、内容与目的。B选题来源：从现实生活中选题（现实需要、社会热点难点问题、实践项目）；从理论研究中选题（弥补研究空白、开拓研究问题、过去研究不足）；从个人经历中选题（个人好奇心、个人兴趣）；从不同学派、观点的学术争论中选题；从学

10、科渗透、交叉中选题；从直觉思维、意外发现中选题；建议或者指派。C选题原则：必要性和可行性；综合性与针对性；及时性与预见性；科学性与创新性。D选题步骤：课题提出；课题分析；初步调查；课题论证；课题选定；开题报告。1-2 课题规划制定相应的研究计划，一般包括如下内容：课题目的；调查大纲；预计成果形式；组织分工；完成时间与实施步骤；其他。2. 信息收集、整理与评价2-1 信息源根据信息存在的三种形式，信息源可分为三个方面：文献信息、口头和实物信息、网络信息。2-2 信息收集信息收集原则：全面系统性、针对适用性、真实可靠性、及时新颖性、计划预见性。信息收集方法如下图所示：信息收集方法文献信息收集方法口

11、头实物信息收集方法网络信息收集方法信息检索预定采购交换索要观察法问卷调查访问交谈参观考察专家评估直接访问网页网络数据库搜索引擎2-3 信息整理对收集到的繁杂无序的原始信息，经筛选、分类、归纳、排序，成为便于研究的形式表达并存储起来。整理即序化过程，目的是减少信息的混乱程度。基本方法有：A. 分类与筛选B阅读与摘录C序化处理D改编与重组2-4 信息评价信息评价三个指标：可靠性、先进性、适用性，可分别从多个角度进行评价。针对上述指标，可考虑文献信息、口头和实物信息、网络信息评价的基本出发点。3. 信息分析3-1 浏览、阅读已搜集和整理的原始资料。3-2 创造最初的假设。假设必须具体、明确，最好表达

12、为5W1H的形式：人物、事物、时间、地理位置、操作方法、动机。比如：在一定时间、地点范围内，消费者为追求效用最大化，消费商品总是按照等边际效用法则进行。3-3 再搜集、整理和评价信息。目的是验证最初的假设。3-4 确定前提。3-5 验证假设并形成推论。3-6 形成最终的结论。4. 信息分析产品的制作与传播4-1 产品类型及制作。三种类型：系统资料类产品；动态报道类产品；研究报告类（题目、绪言、正文、结论、参考文献、附录）。注意其内容及格式。4-2 信息分析产品的评价。评价的必要性及主要评价指标（针对性、准确性、创造性、新颖性、加工度、产品制作水平、效益性等）。4-3 信息产品传播、利用与反馈。

13、两种传播方式（单向被动传播与单向主动传播）。影响传播的因素（产品定价、市场因素、政府调控等）。第三节 信息分析建模1. 模型与模型方法的概念1-1 模型就是通过对问题现象的分解，利用我们考察得来的原理，吸收一切主要因素，略去一切不主要的因素所创造出来的一副图画。模型是现实原型的一种抽象或模拟。1-2 由于研究对象的复杂性、不可分解性、不可逆性和难操作性，需要通过模型研究原型。1-3 模型方法就是主体通过构建模型来研究客体的方法。2. 模型的分类2-1 模型的第一种分类：按照人们对实际问题的了解程度划分。模型白箱模型灰箱模型黑箱模型对实际问题的了解程度2-2 模型的第二种分类：按照模型替代原型的

14、方式划分。 模型物质模型理想模型替代原型的方式直观模型物理模型思维模型符号模型数学模型历史模型2-3 模型的第三种分类：按照建立模型目的划分。模型描述模型预报模型优化模型建立模型的目的决策模型控制模型2-5 模型的第四种分类：按照模型的应用领域或所属学科划分。模型经济学模型社会学模型人口学模型模型应用领域交通模型其他3. 模型建立的一般过程3-1 信息分析建模需考虑的主要问题：对实际问题的分析与理解；定量与定性方法的选择。3-2 信息分析建模基本步骤：准备；简化与假设；模型表述；模型求解；模型的分析、检验与修正；模型的应用。准备阶段简化假设模型表述模型求解分析检验模型应用模型修正4. 信息分析典型模型SWOT模型。4-1 由美国旧金山大学Heinz Weihrich于20世纪80年代提出。S代表企业长处或优势，W代表企业的弱点或劣势，0表示企业外部环境中存在的机会，T表示企业所面临的外部环境威胁。SWOT模型用系统的