苯二胺公司工程项目数据采集分析与知识管理（工程项目组织与管理）

1、泓域咨询/苯二胺公司工程项目数据采集分析与知识管理苯二胺公司工程项目数据采集分析与知识管理一、 数据统计分析数据分析重要的一类是对具有随机性质的数据进行分析，在多数情况下是用于预测。本段仅介绍统计分析。统计分析不仅是计算样本的数字特征（期望值、方差、相关系数、协方差、离散度、概率分布等），还应当建立适当的模型，进而做出预测。统计分析一般有如下工作或阶段。1选择数字特征。统计分析，就是利用若干数字特征全面认识数据的统计规律。选择数字特征是统计分析研究问题的准备阶段，是统计过程的重要环节。数字特征应当：（1）能够客观地反映研究分析对象的性质、特点、内在联系和运动过程；（2）尽可能突出重点，反映分析

2、对象的全貌；（3）应能反映分析对象的变化；（4）便于资料获取。2收集并整理数据。确定了需用的数字特征之后，就要收集并整理所需的数据。样本的容量与质量对统计结果影响极大。3计算数字特征。利用整理后的样本计算必要的数字特征。这项工作可以同下面的建模合在一起，利用适当的软件进行。4建立模型。计算出样本数字特征后，应选择适合样本模式的模型。统计分析可用的模型很多，都有各自的特点及适用条件。选择模型时，应全面考虑研究对象与目的、到手的数据与资料、统计方法等各自的特点，以及咨询人员对方法的熟悉程度等。5检验模型误差。建模之后，可利用样本检验模型的误差，误差大小由样本与所选模型与方法所决定。根据经济学理论和

3、研究对象的具体特点，分析和评价模型误差，以及模型和方法本身；若误差未达到要求，应改进模型与方法。6利用模型预测。预测是咨询结论和建议的基本依据之一，应成为咨询及决策人员的高质量信息。7评价统计与预测结果。对统计与预测结果进行评价的任务是对初步统计结果（如离散程度、影响、走势等）进行概括，并寻找它们之间的联系。评价过程一般有：形成初步概念；对现象定性；提出主要观点；阐述所提观点的理由；提出论据；得出结论。咨询工程师在进行评价时，要在大局高度上全面、长远地看问题，多方面观察，不偏废任何一方；注意数据的衔接，当来源不同的数据矛盾时应弄清情况后再做取舍。二、 大数据系统和数据挖掘技术（一）数据挖掘概述

4、1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力，或者既往数据库系统结构无法容纳的数据。大数据常以万亿或eb衡量，且种类多、实时性强，蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案，及大型电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番，面对前所未有的海量数据，为了从中发现有用的信息必须进行数据挖掘。此外，计算机存储、处理大量数据，以及运算的能力大为增强，为数据挖掘创造了条件，使其成为一门独特

5、的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于：（1）处理工作量。数据分析的数据量可能并不大，而数据挖掘的数据量极大。（2）制约条件。数据分析是从某些假设出发，建立方程或模型，而数据挖掘不作假设，可以自动建立方程。（3）处理对象。数据分析往往是针对数字型数据，而数据挖掘对象类型繁多，例如图像、声音、文本等。（4）处理结果。数据分析可以解释结果的含义；数据挖掘的结果不易解释，着眼于预测未来，并提出决策建议。想要从数据中发现规律（即认知），往往需将数据分析和数据挖掘结合起来。（二）数据挖掘步骤按挖掘对象，数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种，各自步骤分述如下。1

6、数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。（1）信息收集。从确定的挖掘对象中提取特征，然后选择合适的收集方法，将收集到的信息存入数据库。对于海量数据，必须选择合适的数据仓库。（2）数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排，以便以后使用。（3）数据规约。多数数据挖掘算法耗时很长，商业数据往往较多，数据挖掘更耗时间。数据规约就是简化已有可用数据集的表示，规约后数量大减，但仍能保持原数据的完整性，对规约数据的挖掘结果，与对规约前数据的挖掘结果相同或几乎相同。（4）数据清理。有些数据不完整（属性

7、缺少属性值）、含噪声（属性值错误），不一致（同一信息有多种表示），需要清理，使其完整、正确、一致后存入数据仓库。（5）数据变换。将数据变换成适合数据挖掘的形式。实数型数据，可将其分层和离散化。（6）数据挖掘。根据数据格式、属性与特点，选择合适的处理工具，例如统计方法、事例推理、决策树、规则推理、模糊集，甚至神经网络，取得有用的信息。（7）模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。（8）知识表示。将数据挖掘得到的信息以可视方式交给用户，或作为新的知识存人知识库，供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源，则可以省略数据集成。数据规约、数据清理、数据变

8、换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段，而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程，若一次未满足要求或未得到有用结果，则需回到前面，经过调整后重新开始。2，网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从www中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上，通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性，进而在网络中提取用户感兴趣的信息，获得更高层次的知识和规律。网络信息挖掘沿用了robot，全文检索、人工智能的模式识别、神经网络等技术。现在的搜索引

9、擎使用了这些技术，能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下：（1）确立目标样本。由用户选择目标文本，提取特征信息。（2）提取特征信息。根据目标样本的词频分布，从统计词典中提取挖掘目标的特征向量并计算出相应的权值。（3）网络信息获取。先利用搜索引擎站点选择待采集站点，再利用robot程序采集静态web页面，最后获取被访问站点网络数据库中的动态信息，生成www资源索引库。（4）信息特征匹配。提取索引库中的源信息特征向量，并与目标样本的特征向量对照，将符合要求的信息交给用户。三、 项目背景分析苯二胺是一种用途广泛的中间体，可用于生产染料、颜料、染发剂、橡胶防老剂、对位芳纶

10、等，是常用的检验铁和铜的灵敏试剂，还是汽油阻聚剂及显影剂等的原料。由于对苯二胺中国市场需求量不大，近年来产能增长较慢，但是对苯二胺却是硝基氯化苯下游产品中最具有发展前景的产品之一，因为多个新的应用领域市场的启动，将大大拓展对苯二胺的应用范围，拉动对苯二胺的市场需求量，其中最为明显的是对位芳纶的生产。随着中国对位芳纶产业化技术的突破，作为国家鼓励发展的高性能材料对位芳纶装置建设明显加快，将促进对苯二胺的市场需求快速增长。目前中国对苯二胺产能约为2万ta，主要生产企业有浙江安诺芳胺化学品有限公司、阿拉善盟立信化工有限公司等。2014年中国对苯二胺的消费量约为1.5万t，其中60%用于合成染颜料，2

11、5%用于合成橡胶助剂，15%用于其他领域。四、 信息鉴别及必要性（一）信息鉴别数据与信息鉴别，可称信息识别，就是将信息与具有特定属性的“模式”进行比较，进而判断信息的类别或属性。具体而言，就是信息收集或使用者运用已有的知识和经验，在对获取的信息进行初步分析之后，按照一定原则和目的，辨认与甄别信息的真伪、轻重主次、是否完整、是否有用，以及用途大小等。（二）信息鉴别的必要性互联网时代，信息极为丰富，大大开阔了人们的眼界。然而，蜂拥而至，难辨真假的信息掺杂在一起，常常使人们陷入另一种迷茫，甚至成了海量信息的奴隶。过量的信息若不筛选，会使决策者无所适从。现在，互联网上充斥着伪造、篡改缺失、无代表性、误

12、传、以及过时等信息。有些信息背后隐藏着各种政治、经济社会的利益团体正当或不正当的目的和企图。信息识别及时与否决定了决策是否正确而又及时，决定了企业、事业、项目和其他活动的命运。对于工程咨询，信息识别同样十分必要。信息识别并非简单工作，对从事者有很高的要求。决策者固然应高瞻远瞩，但决策的基础是真实、可靠的信息。决定信息识别成败的主要因素有：对服务目标的正确认识及其深刻程度；识别者实事求是的态度和已有的知识、推理与判断能力。五、 信息的综合信息综合是信息工作的重要内容。采集来的信息经常是零散、无序，甚至残缺不全，无法直接使用。对于这样的信息，须进行分析、联系、推断、整理和组合，使之成为有用信息，然

13、后确定其特征，如精度、类型、长度、保密度、保留时间、用途等。信息综合有两种方式：一是对已有信息挖掘、延伸，引发创新需求的新信息，达到信息的“增值”，二是通过设计和试验创造新的信息。有价值的信息往往是反复推理分析和猜想后的结果，这个过程要求咨询工程师具备很强的分析、联想、综合与创造能力。六、 网络信息搜索和提取方法（一）概过现在，虽然不能说人类所有文献与其他信息都上了互联网，但是网上的信息极为丰富，许多都可用于咨询。但是，许多咨询人员还不善于甚至不知道如何从网上快速、安全、有效地获得自己需要的信息和知识。咨询工程师应当知晓网上有何利信息，应掌握从网上获取信息的方法与基本技巧。对于网上的信息，可利

14、用浏览器和搜索引擎获取。浏览器是供用户阅读网页内容的软件；而搜索引擎，指从互联网上搜集信息的特定电脑程序。早期的搜索引擎是收集互联网中服务器的地址，按这些服务器拥有的资源类型将其编成不同的目录，各个目录再逐层分类。搜索引擎则沿着此类层级向下搜索，找到用户想要的信息。这种方式只适用于互联网信息不多的时代。随着互联网上信息的迅猛增长，出现了新式搜索引擎，性能大为改进，能够找到网站每一页的起始地址，随后搜索网上所有超级链接，把代表超级链接的所有词汇放入一个数据库。搜索引擎的功能不再限于搜索，已经添加了电子商务、新闻信息服务、个人免费电子信箱服务等。（二）搜索引擎工作原理搜索引擎有信息搜集、信息整理和

15、接受用户查询三部分，各自工作原理大致如下：1搜集信息：搜索引擎利用称为网络蜘蛛（spider）的自动搜索机器人程序，从少数几个网页开始，将各个网页的超链接连结在一起，只要网页上有适当的超链接，机器人便可以遍历绝大部分网页。2整理信息：这个过程称为“建立索引”。搜索引擎不仅要保存搜集到的信息，还要按照一定规则编排之。这样，搜索引擎无须重新翻查已保存的所有信息，便能迅速找到所要的资料，从而能够大大加快搜索速度。3接受查询：对于每时每刻都会接到的大量用户几乎同时发出的查询请求，搜索引擎按照各个用户的要求检查自己的索引，能在极短时间内找到用户需要的资料，并交给用户。目前，搜索引擎交给用户的主要是网页链

16、接，用户按照这些链接便能找到含有自己所需资料的网页。搜索引擎一般会在这些链接下加一段有关这些网页的摘要，以便用户判断此网页是否含有自己需要的内容。（三）搜索引擎种类现在，搜索引擎有很多种，可以从不同的角度分类。按搜索方法，分全文索引、目录索引、元搜索、垂直搜索、集合式搜索、门户搜索、个性搜索、专家型搜索与免费链接列表等。按搜索对象，分购物、自然语言、新闻、mp3、图片等搜索引擎。按搜索范围，分桌面、地址栏、本地等搜索引擎。按出现的时间，分第三代、第四代搜索引擎等。现在，用的较多的搜索引擎有google，百度、yahoo、msnsearch，webcrawler，lycos，cnetsearch

17、，looksmart等。（四）搜索方法与技巧要想使搜索引擎能在网上快速找到有关咨询的资料，首先要明确查询目的。目的不同，查询策略与方法不同。在明确目的之后，还应了解查询的种类与技巧，学会恰当地使用关键词。搜索方法的选择取决于搜索的内容。不同搜索引擎的复杂条件查询功能和实现方法各有不同，网站中一般都有“帮助”和“说明”解释各自的功能和方法。现在的搜索引擎都有模糊查询功能。当用户输入关键词时，搜索引擎不但交给用户关键词的网址，还发来与关键词意义相近的内容。比如，查找“建筑报”一词时，模糊查询搜索的结果会有“建筑报”“建设报”“建筑时报”等的网址。网址的排列，一般是完全符合关键词在最前边，其次是相近

18、的。模糊查询的结果往往并非用户所需，为了排除不需要的结果，各种搜索引擎也设置了相应的功能。七、 工程咨询信息采集途径调查方法可分为普查与抽样调查两大类，这两类都有文案调查、实地调查、问卷调查、实验调查等几种。选择调查方法要考虑收集信息的能力、调查研究的成本、时间要求、样本控制和人员效应的控制程度。上述各种方法，各有利弊，各有适用范围。文案调查是上述各种调查方法中最简单、最一般和常用的方法，也是其他调查方法的基础。实地调查能够控制调查过程，应用灵活，信息充分，但耗时长、费用多，调查对象易受心理暗示影响，不够客观。问卷调查适应范围广、简单易行、费用较低，得到了大量应用。实验调查最复杂、费用高、应用

19、范围有限，但调查结果可信度较高。（一）文案调查法文案调查法是指对已经存在的各种资料档案，以查阅和归纳的方式进行的市场调查。文案调查法又称二手资料或文献调查。文案资料来源很多，主要有：国际组织和政府机构资料；行业资料；公开出版物；相关企业和行业网站；有关企业的内部资料。（二）问卷调查法这种方法是调查人员以面谈、电话询问、网上填表或邮寄问卷等方式，了解调查对象的行为方式，从而收集信息。问卷调查法是市场调查常用方法，尤其在消费者行为调查中大量应用，其核心工作是设计问卷，实施问卷调查。（三）实地调查法此法是调查人员通过跟踪、记录调查对象的行为取得第一手资料的方法。这种方法是调查人员直接到市场或某些场所

20、（商品展销会、商品博览会、商场等）亲身感受或借助于某些摄录设备和仪器，跟踪、记录调查对象的活动、行为和事物的特点，获取所需信息资料。（四）实验调查法该法是指调查人员在调查过程中，通过改变某些影响调查对象的因素，观察调查对象行为的变化，从而获得消费行为和某些因素之间的内在因果关系。该法主要用于消费行为的调查，企业推出新产品、改变产品外形和包装、调整产品价格、改变广告方式时，都可以用这种方法。八、 逻辑框架法中的逻辑关系（一）垂直逻辑关系目标各层次的主要区别是，项目宏观目标的实现往往由多个项目的具体目标所构成，而一个具体目标的取得往往需要该项目完成多项具体的投入和产出活动。这样，四个层次的要素就自下而上构成了三个相互连接的逻辑关系。第一级：如果保证一定的资源投入，并加以很好地管理，则预计有怎样的产出；第二级：如果项目的产出活动能够顺利进行，并确保外部条件能够落实，则预计能取得怎样的具体目标；第三级：项目的具体目标对整个地区乃至整个国家更高层次宏观目标的贡献关联性。这种逻辑关系在lfa中称为“垂直逻辑”，可用来阐述各层次的目标内容及其上下层次间的因果关系。（二）水平逻辑关系垂直逻辑对项目目标层次的因果关系进行了分析，但这种分析不能满足对项目