磺酰氯工程项目数据采集分析与知识管理（工程项目组织与管理）

1、泓域咨询/磺酰氯工程项目数据采集分析与知识管理磺酰氯工程项目数据采集分析与知识管理xxx有限公司一、 数据统计分析数据分析重要的一类是对具有随机性质的数据进行分析，在多数情况下是用于预测。本段仅介绍统计分析。统计分析不仅是计算样本的数字特征（期望值、方差、相关系数、协方差、离散度、概率分布等），还应当建立适当的模型，进而做出预测。统计分析一般有如下工作或阶段。1选择数字特征。统计分析，就是利用若干数字特征全面认识数据的统计规律。选择数字特征是统计分析研究问题的准备阶段，是统计过程的重要环节。数字特征应当：（1）能够客观地反映研究分析对象的性质、特点、内在联系和运动过程；（2）尽可能突出重点，反

2、映分析对象的全貌；（3）应能反映分析对象的变化；（4）便于资料获取。2收集并整理数据。确定了需用的数字特征之后，就要收集并整理所需的数据。样本的容量与质量对统计结果影响极大。3计算数字特征。利用整理后的样本计算必要的数字特征。这项工作可以同下面的建模合在一起，利用适当的软件进行。4建立模型。计算出样本数字特征后，应选择适合样本模式的模型。统计分析可用的模型很多，都有各自的特点及适用条件。选择模型时，应全面考虑研究对象与目的、到手的数据与资料、统计方法等各自的特点，以及咨询人员对方法的熟悉程度等。5检验模型误差。建模之后，可利用样本检验模型的误差，误差大小由样本与所选模型与方法所决定。根据经济学

3、理论和研究对象的具体特点，分析和评价模型误差，以及模型和方法本身；若误差未达到要求，应改进模型与方法。6利用模型预测。预测是咨询结论和建议的基本依据之一，应成为咨询及决策人员的高质量信息。7评价统计与预测结果。对统计与预测结果进行评价的任务是对初步统计结果（如离散程度、影响、走势等）进行概括，并寻找它们之间的联系。评价过程一般有：形成初步概念；对现象定性；提出主要观点；阐述所提观点的理由；提出论据；得出结论。咨询工程师在进行评价时，要在大局高度上全面、长远地看问题，多方面观察，不偏废任何一方；注意数据的衔接，当来源不同的数据矛盾时应弄清情况后再做取舍。二、 大数据系统和数据挖掘技术（一）数据挖

4、掘概述1大数据大数据是指超过既往数据库系统规模、传输速度和处理能力，或者既往数据库系统结构无法容纳的数据。大数据常以万亿或eb衡量，且种类多、实时性强，蕴藏的商业价值大。很多现有的新或旧的信息基础设施、工具和技术可用来开发和利用大数据中蕴藏的价值。大数据有各种各样的来源：传感器、气候信息、公开的信息、如杂志、报纸、文章、买卖记录、网络日志、病历、事监控、视频和图像档案，及大型电子商务。大数据是数据挖掘产生与生存发展的土壤。如今数据每五年翻一番，面对前所未有的海量数据，为了从中发现有用的信息必须进行数据挖掘。此外，计算机存储、处理大量数据，以及运算的能力大为增强，为数据挖掘创造了条件，使其成为一

5、门独特的学科和技术。2数据挖掘与数据分析的区别数据挖掘与数据分析的主要区别在于：（1）处理工作量。数据分析的数据量可能并不大，而数据挖掘的数据量极大。（2）制约条件。数据分析是从某些假设出发，建立方程或模型，而数据挖掘不作假设，可以自动建立方程。（3）处理对象。数据分析往往是针对数字型数据，而数据挖掘对象类型繁多，例如图像、声音、文本等。（4）处理结果。数据分析可以解释结果的含义；数据挖掘的结果不易解释，着眼于预测未来，并提出决策建议。想要从数据中发现规律（即认知），往往需将数据分析和数据挖掘结合起来。（二）数据挖掘步骤按挖掘对象，数据挖掘分为数据库与数据仓库挖掘和网络挖掘两种，各自步骤分述如

6、下。1数据库与数据仓库挖掘数据挖掘一般有信息收集、数据集成、数据规约、数据清理、数据变换、数据挖掘、模式评估和知识表示8个步骤。（1）信息收集。从确定的挖掘对象中提取特征，然后选择合适的收集方法，将收集到的信息存入数据库。对于海量数据，必须选择合适的数据仓库。（2）数据集成。把来源、格式、特点、性质不同的数据按逻辑或物理属性加以编排，以便以后使用。（3）数据规约。多数数据挖掘算法耗时很长，商业数据往往较多，数据挖掘更耗时间。数据规约就是简化已有可用数据集的表示，规约后数量大减，但仍能保持原数据的完整性，对规约数据的挖掘结果，与对规约前数据的挖掘结果相同或几乎相同。（4）数据清理。有些数据不完整

7、（属性缺少属性值）、含噪声（属性值错误），不一致（同一信息有多种表示），需要清理，使其完整、正确、一致后存入数据仓库。（5）数据变换。将数据变换成适合数据挖掘的形式。实数型数据，可将其分层和离散化。（6）数据挖掘。根据数据格式、属性与特点，选择合适的处理工具，例如统计方法、事例推理、决策树、规则推理、模糊集，甚至神经网络，取得有用的信息。（7）模式评估。由行业专家核实数据挖掘结果是否合理、是否可用。（8）知识表示。将数据挖掘得到的信息以可视方式交给用户，或作为新的知识存人知识库，供其他应用程序使用。并非所有的数据挖掘都要走上述的每一步。若只有一个数据源，则可以省略数据集成。数据规约、数据清理、

8、数据变换合称数据预处理。数据挖掘至少60%的费用要花在信息收集阶段，而至少60%以上的精力和时间要花在数据预处理上。数据挖掘是一个反复多次的过程，若一次未满足要求或未得到有用结果，则需回到前面，经过调整后重新开始。2，网络挖掘网络挖掘可分为网络用户行为挖掘与网络信息挖掘。前者基本不在工程咨询人员关心之列。后者可理解为“从www中发现和分析有用的信息”。网络信息挖掘是在已知数据样本的基础上，通过归纳学习、机器学习、统计分析等发现挖掘对象间的内在关系与特性，进而在网络中提取用户感兴趣的信息，获得更高层次的知识和规律。网络信息挖掘沿用了robot，全文检索、人工智能的模式识别、神经网络等技术。现在的

9、搜索引擎使用了这些技术，能够在网页或网站数据库中为用户搜寻有用信息。网络信息挖掘具体步骤如下：（1）确立目标样本。由用户选择目标文本，提取特征信息。（2）提取特征信息。根据目标样本的词频分布，从统计词典中提取挖掘目标的特征向量并计算出相应的权值。（3）网络信息获取。先利用搜索引擎站点选择待采集站点，再利用robot程序采集静态web页面，最后获取被访问站点网络数据库中的动态信息，生成www资源索引库。（4）信息特征匹配。提取索引库中的源信息特征向量，并与目标样本的特征向量对照，将符合要求的信息交给用户。三、 工程咨询知识及其特点（一）工程咨询知识工程咨询需要多方面知识与技能。知识，有哲学、工程

10、学、经济学、社会学、管理学、财务会计、法律等方面的知识；技能，有专业知识、项目管理、公共关系、野外考察、外国语、信息处理等方面的技能。（二）工程咨询知识的特点1数量多，种类庞杂工程咨询行业涉及国民经济众多部门，专业门类多，大小不一，跨地区、跨国界。即便是行业工程咨询，也涉及多种专业。例如对校舍工程的咨询，就涉及国民经济、统计、消防、建筑、结构、给排水、暖通、电气、技术经济、法律等十多个专业。2隐性知识难以提炼隐性知识，特别是经验，在工程咨询中有重要作用。经验需要积累，且常难以提炼和恰当表达。正因为如此，长期积累的经验最容易随着这些经验的载体人离去而散失。3保密要求高咨询企业在咨询过程中获得了客

11、户大量信息，有些很敏感，客户不希望透漏给第三方。在本企业内部共享由此而获得的信息、经验与知识时，或将来为其他客户服务时，应确保不透漏给第三方。四、 工程咨询企业知识管理（一）知识管理及知识管理的组织1知识管理的概念日益激烈的竞争以及其他众多因素对工程咨询企业知识的数量与质量提出了更高的要求。从某种意义上说，知识管理是咨询企业最重要的能力。经常有人将知识管理与信息管理混为一谈。信息是知识的来源，但不一定成为知识。要想从信息中提炼知识，需要有意识地开展必要的活动，使信息经过大脑的处理、加工与提炼。知识管理，是建立一套制度，开展一系列活动，获取、记录、整合、存取、更新和创新知识，以适当的形式为咨询企

12、业所掌握，成为企业知识积累中的一部分，用来为客户、社会创造价值，不至随着企业活动的结束或停止或因当事人的离开而流失。知识管理可以延伸到人在知识方面的行为、企业管理制度与企业文化等方面。简而言之，知识管理就是对知识提炼、创造、共享和积累，以及应用等过程进行规划、实施和控制的活动。2，知识管理的必要性知识管理能够减少重复劳动，增强企业的记忆，丰富咨询企业的智慧。知识管理在全球迅猛发展的原因在于：（1）竞争。市场竞争日益激烈，创新速度加快。咨询企业必须不断获得新知识，利用知识为企业和社会创造价值。要走向世界，就必须掌握与世界交流，以及获取、创造与转换知识的能力。企业文化对企业学习能力影响极大，必须摆

13、脱封闭、保守、不思进取的陈旧文化，转变成学习型企业，才能在竞争中立于不败之地。（2）以客户为中心。企业要为客户创造价值。（3）员工流动。如果企业不能及时妥善地处理，就会丧失员工在本企业工作期间获得的知识。很多咨询企业，当某专业骨干离职后，在相当长一段时间内，无法正常开展该专业的业务，给企业和客户造成了损失。（4）不确定性。咨询企业内外不确定因素众多，市场竞争使咨询企业不能确保客户上门。当前的世界，新技术频出，更新加快，咨询企业不能确信自己为客户提出的技术方案一定成功。企业及其成员获取和使用知识的能力成为企业生存与发展的决定性因素，知识已成为企业获取竞争优势的基础与稀缺资产。3知识管理的组织工程

14、咨询企业必须建立知识管理需要的组织，明确必要的角色及其职责、权限和相互关系，并分派给适当人员。必须制订管理方针、目标以及实现这些目标所需要的规章制度。此外，还要设立必要的知识库、多渠道知识收集系统等。知识管理需要长期坚持并且努力使其成为企业文化的一部分。知识管理体系应当具备如下特征：（1）以人为本。知识管理要以人为本，咨询企业应充分发动每个部门、每一员工，贡献自己掌握的信息与知识，使之成为企业的知识与智慧。（2）以无形资产为主要对象。知识管理比以往任何管理形式都更重视知识资产。（3）无间断的循环。在企业存续期间，知识管理是一个不间断的“积累一创造一应用一再积累一再创造一再应用”的循环过程（4）

15、以提炼隐性知识为主。知识管理对象有显性和隐性知识，但以提炼隐性知识为重点，设法将隐性知识转换为易于企业内共享的知识。研究表明，大多数企业，有序、关系清楚，可供员工参考的信息与知识只占自身拥有总量的10%，其他90%存在员工个人大脑之中，且难于用语言、文字或图形清楚地表达出来供企业使用。一旦这些人流失，企业将蒙受巨大损失。（5）以创新为目标。知识管理以创新，以建立创造新知识平台为目标，创新和孕育新智慧是知识管理的标志。（6）建立学习型组织。便于知识管理的组织与叠床架屋的层级组织不同，只有中间层次简单的“扁平”、开放学习型组织，才有利于知识管理。知识管理必须利用先进的信息技术与工具。有些咨询企业已

16、按自身的发展战略及管理体制建立了独特的知识管理系统。与信息管理一样，知识管理也应具备安全管理功能，保护本企业掌握的知识不受损害。（二）知识管理原则与功能1知识管理原则（1）积累原则。知识积累是实施知识管理的基础（2）共享原则。咨询企业应使每一员工都能接触和使用公司的知识和信息。（3）交流原则。知识管理的核心是要在企业内部建立有利于交流的结构和文化，消除员工之间的交流的障碍。知识交流在上述原则中处于最高层次。2知识管理功能知识管理要获得成功，需要有完整的知识管理制度。该制度应具备的主要功能如下：（1）能够清楚地了解企业已有何种知识，还需要何种知识；（2）要能够及时将知识传递给真正需要的人；（3）

17、一定要使需要知识的人能够获取；不断生产新知识，并使整个企业的人能够使用；（4）确保进入企业的知识可靠、有生命力；（5）定期检查企业的知识是否仍然有效；（6）改造企业文化，建立激励机制，为知识管理创造便利条件。（三）内部交流与共享咨询企业内部的知识交流一方面可以让不同项目组之间交流咨询方法和经验，促进隐性知识的提炼；另一方面也便于彼此加深了解和信任，促进合作，促进知识的创新与共享。知识共享有多种方式，例如即时通信、培训与及时交流会等。知识共享将分散于各部门和各员工头脑中的知识汇集起来，将知识孤岛连成大陆，产生孤岛无法产生的价值。交流可以最大限度地使知识和经验得到融合和升华，也是使旧知识得以发展、

18、新知识得以产生的催化剂。咨询企业应当成为学习型组织，内部的知识交流是员工学习与组织学习的重要方式。咨询单位应当建立适当的激励制度，促进知识共享，在共享中充实。企业的知识管理规章和制度，应当全面鼓励各部门奉献自己的知识，与他人共享。只有这样，才有利于企业的知识积累。四）知识管理成效的评估咨询企业知识管理的好坏与成效，可从以下几个方面评估：1人力资源：培训费用、员工向心力与经验；2创新成果：研发费用、员工创新态度与比率、咨询业务的更新、知识产权；3客户态度：服务质量、合作时间、咨询次数、销售额等。五、 层次分析法的基本步骤当一个决策者在对问题进行分析时，首先要将分析对象的因素建立起彼此相关因素的层

19、次系统结构，这种层次结构可以清晰地反映出相关因素（目标、准则、对象）的彼此关系，使得决策者能够把复杂的问题顺理成章，然后进行逐一比较、判断，从中选出最优的方案。运用层次分析法大体上分成四个步骤：建立层次结构模型；构造比较判别矩阵；单准则下层次排序及其一致性检验；层次总排序及其一致性检验。（一）建立层次结构模型层次分析法先将决策的目标、考虑的因素（评价准则）和决策对象（行动方案）按它们之间的相互关系分为最高层、中间层和最低层，其中最高层称为目标层，这一层中只有一个元素，就是该问题要达到的目标或理想的结果；中间层为准则层，层中的元素为实现目标所采用的措施、政策、准则等，准则层中可以不止一层，可以根

20、据问题规模的大小和复杂程度，分为准则层、子准则层；最低层为方案层，这一层包括了实现目标可供选择的方案。据此绘出层次结构模型图，模型中，目标、评价准则和行动方案处于不同的层次，彼此之间关系用线段表示，评价准则可细分多层。在层次结构模型中，各层均由若干因素构成，当某个层次包含因素较多时，可将该层次进一步划分成若干子层次。通常应使各层次中的各因素支配的元素一般不超过9个，这是因为支配元素过多会给两两比较带来困难。一个好的层次结构模型对解决问题极为重要，因此，在构建层次结构模型时，应注意以下四点：1自上至下顺序地存在支配关系，用直线段表示上一层次因素与下一层次因素之间的关系，同一层次及不相邻元素之间不

21、存在支配关系；2整个结构不受层次限制；3最高层只有一个元素，每个元素所支配元素一般不超过9个，元素过多可进一步分层；4对某些具有子层次结构可引入虚元素，使之成为典型层次结构模型。（二）构造比较判别矩阵层次结构建立后，评价者根据自己的知识、经验和判断，从第一个准则层开始向下，逐步确定各层不同因素相对于上一层因素的重要性权数。层次分析法在确定各层不同因素相对于上一层各因素的重要性权数时，通常使用两两比较的方法。（三）单准则下层次排序及其一致性检验层次分析法的信息基础是比较判断矩阵。由于每个准则都支配下一层若干个因素，这样对于每一个准则及它所支配的因素都可以得到一个比较判断矩阵。因此，根据比较判断矩

22、阵如何求出各因素对于准则的相对排序权重的过程称为单准则下的排序。计算权重的方法有多种，其中和法和根法是比较成熟并得到广泛应用的方法。1和法2根法3判断矩阵一致性检验由于客观事物的复杂性，会使我们的判断带有主观性和片面性，完全要求每次比较判断的思维标准一致是不大可能的。事实上，在构建比较判断矩阵时，我们虽然不要求判断具有一致性，但一个混乱的，经不起推敲的比较判断矩阵有可能导致决策的失误，所以我们希望在判断时应大体上的致。而上述计算权重方法，当判断矩阵过于偏离一致性时，其可靠程度也就值得怀疑了，故对于每一层次作单准则排序时，均需要作一致性的检验。（四）层次总排序及其一致性检验1层次总排序计算同一层

23、次中所有元素对于最高层（总目标）的相对重要性标度（又称排序权重向量）称为层次总排序。2总排序一致性检验人们在对各层元素作比较时，尽管每一层中所用的比较尺度基本一致，但各层之间仍可能有所差异，而这种差异将随着层次总排序的逐渐计算而累加起来，因此需要从模型的总体上来检验这种差异尺度的累积是否显著，检验的过程称为层次总排序的一致性检验。六、 信息鉴别常用方法（一）溯源法对到手信息涉及的问题应追根溯源，及时核对。例如，尽量找到现场和掌握第一手资料的人；核对原始资料，并查对主要参考文献；按其中叙述的方法、步骤，重做实验或演算,以便从来源上找到鉴别依据。鉴别和筛选在手信息，判断是否完整、适用与可靠，是咨询

24、人员的重要工作。工程咨询所需信息十分广泛，不可能也不必均由咨询人员鉴别。为了确保信息可靠，应尽可能选用权威机构发布或已鉴定、批准的信息。例如，地质储量选用储量委员会批准的储量报告；地震带的分布用国家地震局的数据；历史数据用国家统计局的数据。一般来说，专业技术力量强的单位提供的信息较可靠。例如，国际金融组织的国际金融信息较可靠；来自从事钢铁、汽车行业研究的机构的钢铁、汽车业信息较可靠。（二）比较法有些信息受主客观条件限制难以溯源，对此，可用比较法，即比较不同人、不同时间和其他方面的材料；对于某一事实，说法、结论是否一致。如果一致，则基本可辨真伪。若否，就需进一步核查。（三）佐证法任何事物都与其他

25、事物有一定联系，并相互制约。找到这些联系和制约因素，便可判断事物的真伪。一般说来，口头材料不如文字材料可靠，文字不如实物可靠。分析信息产生的过程也是寻求信息佐证的办法。1普查数据一般比抽查数据全面、准确。2监测数据，长期比短期全面，监测范围大的数据比监测范围小的数据代表性强；勘探密度大的数据比勘探密度小的数据准确，科学实验和仿真模拟计算的数据比一般推理的数据准确。3核对来源不同，收集方法不同的数据。如卫星图片、航测数据可用地面实测数据验证；了解来的市场需求量与行业协会、主要企业、国家统计局的数据对比。4对比不同时期、不同来源的数据，并适当修正其间的差距。同一对象的数据，在不同国家、不同历史时期

26、，由于范围不同，计算的标准和口径可能有所不同，造成数据之间有很大的差异。在对比这些数据时，必须查明统计口径，否则就会出错。5由专家集体辨别信息是否准确，是否可靠。对于来自不同渠道的信息，可能因角度不同、口径不一、方法各异等而不一致，甚至矛盾。这时，可请专家集体讨论，弄清差异和矛盾的原因，去伪存真，取得一致意见。（四）逻辑法鉴别信息，逻辑判断必不可少。不经缜密的逻辑思考容易出错。有些基本差错，例如语言或文字的前后矛盾，夸大其词，有悖情理，以及某些虚构，禁不起逻辑的推敲。当然，逻辑合理并不总能证明事物为真，从虚假的前提出发，经过合理的逻辑推断得出的结果不会真实。因此，鉴别信息，既要充分利用经验、认识和判断力，也要借助其他手段。七、 信息的综合信息综合是信息工作的重要内容。采集来的信息经常是零散、无序，甚至残缺不全，无法直接使用。对于这样的信息，须进行分析、联系、推断、整理和组合，使之成为有用信息，然后确定其特征，如精度、类型、长度、保密度、保留时间、用途等。信息综合有两种方式