【毕业学位论文】(Word原稿)经济普查中统计系统的设计和实现-软件工程

中图分类号： 学校代码： 10055 密级： 硕 士 专 业 学 位 论 文 经济普查中统计系统的设计和实现 of 文作者 指导教师 讲师 申请学位 工程硕士 培养单位 软件学院 学科专业 软件工程 研究方向 答辩委员会主席 评 阅 人 南开大学研究生院 二 一 三 年 十一 月 摘 要 I 摘 要 随着全国经济普查数据的上报 ,面对普查之后的海量数据，如何更好地利用这些数据资料，帮助国家在金融危机下制定更好的经济选择和决策，已经逐渐成为当下社会经济企业各界关注的焦点。在经济普查数据分析的过程中运用数据挖掘的技术，可以找出隐含在数据中的更深层次的信息，对决策者制定决策是很有参考价值的。 本论文设计并实现了基于 构的经济普查系统。利用 层结构模型的优点，将系统分为表示层、业务逻辑层和数据支持层等层次，介绍了各层次的设计，提出了经济普查系统中基于 式的解决方案；从设计者的角度，详细阐述了整个系统的架构与实现。建立了一套经济普查管理软件，对经济普查数据实行集中管理、实时处理。 本文主要介绍了包括系统后台数据库的建立与维护，以及前端应用程序的开发、与相关业务系统集成接口开发三方面；并对如何建立起数据一致性和完整性强、安全性好的数据库进行了分析；介绍了经济普查数据的 查询、统计和分析，及时、准确了解经济普查数据信息及其状况，为企业经营管理和领导决策提供服务方式。论述了通过系统接口实现信息共享，避免信息孤岛提高信息利用率。 本论文的成果在于，设计并实现了基于集团业务标准的经济普查软件系统，制定了该系统的运营策略，为集团统一管理提供了有力支持。实施结果验证了济普查软件系统的科学性和有效性。 关键词： 经济普查系统，信息化，数据挖掘， 构 摘 要 1 s to in of of to of to in to s be to of be in a of is a an is 2is 2EE of 2EE VC is of s of a of is a of of as as in on to a to of of to of is to s a of of of S of 录 录 摘 要 . I . 1 目 录 . 一章 绪论 . 5 第一节 背景介绍 .二节 研究目的 .三节 国内外研究现状 . 研究现状 . 问题提出 .四节 研究内容 .五节 论文结构 . 二 章 相关技术介绍 . 13 第一节 .二节 .三节 .四节 B/.五节 .六节 可扩展标记语言（ 术 .七节 数据挖掘技术 .八节 架构的选取与比较 . B/S 与 C/S 架构的选取 . 基于 B/S 架构 .九节 开发环境和工具 .三章 系统需求分析 . 26 第一节 系统开发背景 .二节 系统总体目标 .三节 系统功能描述 . 普查数据统计用户权限管理 . 经济数据的收集和整理 . 录 经济数据录入系统 . 基于普查信息的聚类功能 . 经济普查 数据管理 功能 .四节 非功能性能需求 . 系统性能需求 . 数据操作需求 . 系统易用性需求 . 系统可靠性需求 .四章 系统设计 . 41 第一节 系统架构设计 . 客户逻辑层 . 应用逻辑层 . 系统和数据层 . 安全体系架构 . 硬件结构设计 .二节 系统模块设计 . 普查数据统计用户权限管理模块 . 经济数据的收集和整理模块 . 经济数据录入系统模块 . 基于普查信息的企业聚类模块 . 经济普查数据管理功能 .三节 关键技术与核心算法 . 聚类分析技术基础 . K 均值算法 .四节 数据库设计 . 数据库逻辑设计 . 具体数据表介绍 .五章 系统实现 . 65 第一节 系统界面实现 . 经济普查数据分析系统 登录 界面 . 经济数据录入系统模块 . 基于普查信息的企业聚类模块 . 经济普查数据管理功能 .二节 核心代码 . 数据库连接建立 . 数据交换部分代码 . 信息查询代码 . 录 六章 总结与展望 . 77 第一节 系统工作总结 .二节 个人工作总结 .三节 系统待改进之处 .考文献 . 80 致谢 . 错误 !未定义书签。 个人简历 在学期间发表的学术论文与研究成果 . 错误 !未定义书签。 第一章 绪论 5 第 一 章 绪论 第一节 背景介绍 21 世纪开始，计算机科学与技术发生了翻天覆地的变化。计算机技术已经逐渐的开始在人类生产与工作的各个方面扮演起越来越重要的角色。计算机的速度快、 效率高、 操作简单以及很多其他优点已成为一些重要支柱行业如金融、 电信、 计算机、 办公自动化等的不可缺少的辅助工具，同时，也逐渐成为各行业人们生活和工作中不可 缺少的一部分。 1与此同时，数据库的智能发展，使得能够更迅速、更科学、更方便的识别和处理庞大数据的方法越来越简单。计算机网络技术的快速崛起、迅速发展和其在各行各业的深入应用。这一切都为各个企业的信息化应用奠定了牢固的基础。 2企业信息化已成为企业在竞争中处于不败之地的最重要工具之一。信息管理系统是一组由人、计算机和管理软件、计算机网络等组成的，使人类可以更加方便的进行信息的收集、存储、分析、传递、加工和使用的一整套系统。整个信息管理系统是将计算机技术、计算机网络通信技术等技术集成在一起的一个信息系统工程 。 3信息系统的使用进一步加强了各类企业对于内部综合管理的科学性、合理性和规范性，可使企业所运行的数据更为准确、及时、全面、详实，并有利于各种信息的再加工。 4 计算机技术的发展为工商企业、政府机构和教育科研单位实现信息的数字化处理提供了机遇，数据库和数据仓库已经广泛地应用于企业管理、产品的销售、科学计算和信息服务等领域。 数据收集工具的进步使我们拥有数量庞大的信息。 5而数据库系统可以有效地实现如数据输入、 查询和统计数字等功能，但在数据中缺乏的知识挖掘数据隐藏的手段，很难发现的关系和规则，并不能预 测未来的趋势。 6但是以往的数据收集分析方法已远远不能满足现实对于数据分析的需求，数据的迅速增加与数据的分析处理方法滞后的矛盾越来越大，进一步则导致了大量的信息收集数据成为数据量丰富但信息量却极其贫乏的 “数据坟墓 ”。令人可喜的是数据挖掘技术正是解决这一课题的重要方法。权威的查报告显示，数据挖掘将是未来几年全球范围内重点投资研究的十大第一章 绪论 6 新技术之一，它引起了学术界和工业界的广泛关注，是当今数据库系统研究和应用领域内的一个热点问题。 7 我国计算机对经济普查的历史可以追溯到 2004 年的第一次全国 经济普查。在那个时候的计算机科技已经进入了实际使用阶段，与此同时的是手动人工操作的普查结果录入方式的落后窘境，特别是在查询效率方面根本无法与大规模数据分析技术相比较。伴随着一天比一天壮大的经济普查规模，手工录入这种既费时又费力的方式已经无法跟上时代发展的步伐。 着眼于 更加系统、全方位的 掌握 我 国第二 、 三产业的发展规模、 效益 和 动态构成 等情况， 构建完善的 基本单位名录库及 数据库系统， 成为 制定国民 社会 和 经济 发展规划， 升级 决策和调控 水平 的重要立足点 ， 由此“一代 经普 ” 数据信息管理系统孕育而生。只是因为当时的技术水平条件和总 体需求的限制，使用者的数量还比较低下。在那个时代的经济普查系统也只不过是用来进行简单查询的软件而已。经济普查信息系统开发中遇到的主要难题是：最终建成规划和开始总体目标的不稳定。真正使用人员往往不能很快适应新的信息管理方式给整个工作所带来的巨大变化。 8此外，一般的经济普查软件信息系统建设需要长远目标的投资、总体的获益周期比较长而且实际工作中的即时作用不明朗，正因为如此才导致不少信息系统建设的投入不足。另一方面，基层信息管理人员业务素质水平和信息化素质较低，工作中的信息化意识有待提高，这一切也在很大程度上降 低了信息管理的整体水平。所以，健全的普查信息管理体制和良好的信息运行机制将会是成功建设经济普查软件信息系统的重要前提。 经济普查 着眼于信息的归集、组织并有效管理，包含了 全面掌握我国第二产业和第三产业的发展规模、结构和效益等信息 ； 建立 涵 盖国民经济各行业的基本单位名录库（含编码）及其数据库系统。 做好 经济普查，对制订国民 社会和 经济 发展规划，优化 产业 结构， 提升 宏观调控 水平 ， 增加 就业，提高 居民幸福指数等方面都 具有重要意义；对改革 “ 统计 调查 ” 体系，完善国民经济核算制度，健全统计监测和预警系统， 起到了极其 重要 的 作用。因 此，对经济普查数据的分析也是整个软件系统的重要落脚点。 9基于数据挖掘的经济普查结果数据分析的应用将对整个软件系统的实际意义实现巨大的提高。 因此经济普查数据管理是企业管理的重要内容并影响着国家的发展，经济普查数据的管理是企业的法律权利的最基本的要求是关于企业发展方向的指导方针的重要基础。从而，经济普查数据管理是企业评估未来发展工作中的一项第一章 绪论 7 重要工作，它不是一项简单的内容，相反的，它将会是一种对过程全方位的实现和对整体数据的评估。现代企业更注重科学和技术，如果应用了管理的科学和技术、 过程和结果的执行情况的 有效管理经济普查，将大大提高管理水平的企业和经济利益，可以获得更高的效率。由此可见，经济普查结果的信息数据的有效管理是 业的管理中一个不可或缺的重要组成部分，在这一类企业信息管理系统总体规划中占有不同寻常的地位。 10无论是对销售型企业来说还是对生产型企业来说，规划好整体布局都有很好的指导作用。 第二节 研究目的 经济总体状况的调查研究是我国经济发展在进入到 21 世纪后所进行的一项重大国情和国力调查，也是党中央、国务院为了准确把握国力、正确认识国情以及科学的制定国策从而采取的一整套重要举措。也是在全球金 融危机大背景下正确把握中国当前整体经济状况走向的重要渠道。通过经济普查，管理者能较准确地把握整个国家经济总体变化的规律和走向，有助于相关部门正确制定经济政策以及对社会的经济发展进行良好的规划，更加有力的控制经济增长，增强经济发展速度，努力促进经济社会和日常生活的协调发展，大力的推动可持续发展的伟大战略的实施。在这一次经济普查中，从国民经济行业分类的具体构成的基本点出发，涉及到 19 个大的行业归类， 875 个行业小类。可以说，人口普查的经济数据是非常完整的。在人口普查后面对海量数据存储，国家需要强大的数据分析工具 和方法将这些信息转换成宝贵的信息财富，如果不然的话，大量的数据将是一个丰富但是信息贫乏的 数据坟墓 。数据挖掘是从大型数据库提取或数据仓库有潜在的应用程序的信息或模式，旨在帮助人们找到有价值的信息从海量的数据中。如何从海量的普查数据中及时发现有用的信息，从而挖掘出其潜在的价值，提高其利用率，是经济普查数据研究领域的一项重要课题。 11 如今企业的资产规模大，经济信息数量多，论文主要通过研究经济普查数据管理理论、分析的现状和需求，通过项目实践改善 司经济普查系统体系存在的问题。从而争取在理论上得到一套可 行的体系架构，也争取可以实现相应的经济普查软件系统帮助 司提高基业竞争力，提高咨询对象的发展可靠度已经评估可信度。 12 第一章 绪论 8 第三节 国内外 研究 现状 经济普查领域的系统一般包括两类，一类是基于地理信息的普查系统，该系统的主要目标是绘制经济数据的地理属性，动态监控各区域经济情况的流动性和分布变化；另一类系统偏向于经济情况数据的分析和数据挖掘，通过对初步数据的挖掘和分析，提炼出经济情况的现状和未来发展趋势。本文针对后一种普查系统进行研究。 13 各国 在 其 经济发展 历程 中 都经历了不同的发展周期，表现出一定的峰 谷交错、不平衡和周期性 ， 我们将这些统称为 经济周期 。 经济周期 是经济发展的自然属性 ， 依靠 有效地建立宏观经济发展的 普查监测 系统， 去发现经济发展所处的阶段，进一步成为如何进行宏观经济调控的重要参考 。 在我国，应用 宏观经济 普查监测 系统 通常采用预先选定 的一些经济指标，运用统计数据或抽样资料，加以统计分析，计算出经济运行的状况， 进而 对经济 运行情况做出分析，对 景气情况进行预报等。 故此 ，宏观经济的 普查监测 系统，不仅可以 成为 经济运行的 晴雨表 ，而且还可以对未来的发展趋势做出超前的分析与 判断， 帮助政府的宏观经济政策 达到稳定、高效发 展经济的目的。 究现状 经济普查的 必要性在于 监控 或者测量 经济 的周期性，无论是全世界，还是某一国家，还是 具体 的一个地区，均存在或长或短的经济周期 。 洞察 经济 周期是各个国家高校和研究单位的重要工作内容，对于未来经济工作的指导意义具有重要的作用。 经济周期分为传统周期和现代周期两大类。传统周期也称古典周期，是指国民经济活动的绝对水平有规律地出现上升与下降的交替和循环。现代周期是指二 战 后呈现出某些新特征 、新形势 的经济周期 “增长周期”。 14该周期 指国民经济活动有规律地上升与下降。在现代经济的 增长 的时期 ， 然表现为正增长，但在经济收缩阶段， 现出绝对值的下降，而是缓慢 或者停滞的增长 ，或者经济增长速度小于就业增长速度。 目前 国内外 经济普查 中 有以下几种 关注点或者说量化的关注指标： 第一章 绪论 9 1、 景气预测指标。景气是对经济 整体 状况的 概论 性 表达 ，用以 描述经济整体发展趋势 的概念。景气 是指总体经济呈上升 活跃 趋势。 不景气是指经济呈下滑趋势，经济 发展呈萎缩或半衰退 状态，市场 不振 ，效益下降，企业 大面积亏损或 破产，失业 数字直线 增加 ； 2、 一致扩散指数。所谓扩散指数又称扩张率，它对各个经济循环波动测定，将所得到的扩张变量， 并 采用 加权 方法得到 百分 比 数据 ，然后将 每个扩散指数 在图上 动态 的 序列 标出， 则可以 完整 地表现出经济波动相继扩散的动态过程。 3、 一致合成指数 。合成指数不仅考虑各指标的波动状态，而且将它们的波动 各时点的波动值考虑进来，也就是合成指数除了能预测经济波动的转折点外，还能在某种意义上反映经济循环变动的强弱。 在国外许多咨询管理公司和大型跨国集团公司都十分重视经济普查数据的采集及管理，一切活动都是围绕经济数据这个核心而展开的。例如 司的咨询部门，整个采用 构搭建了经济普查数据的采集和后台数据库的管理系统。在高稳定性的前提下 还可以提供较强的安全性。一些西方国家的咨询企业对于整个技术的发展起到了重大的作用，而且公司也掌握了技术的核心，走在整个建立经济普查及数据收集和管理的前沿。 15 在国内很多大型咨询企业，已经实施了经济普查数据管理软件系统，有效地使企业内部的数据实现统一化，大大增强了企业在同行业中的竞争力，也使企业本身在与国外同行业中先进的公司竞争中具有一定的优势。 但是国内的 业大多采用了简单的数据架构，搭建了基于 C/S 模式的系统，对于技术上也是选择了更容易上手的 术。相较于更加有优势的基于 B/S 模式 而言，这种方式在开发难度上比较简单，便于上手，但是在后期维护上会消耗巨大的资源。而且，这种方式也无法在后台使用 统，无法发挥多并发的优势。 事实上，经济普查的主要目的就是分析 某地区 内 企业的财务信息，也就是财务数据挖掘。财务数据挖掘其实是一类深层次的量产数据分析整理方法。到目前为止的经济普查软件信息系统可以十分有效率的实现数据录入、查询和统计，但是其却无法有效的发现存在于海量数据中的规则与关系，更加无法根据已存在的经济普查数据分析结果预测未来经济发展趋势。传统的财务分析只是停留诸如因素分析、比例分析 、趋势分析等在较浅层次的分析，针对于决策的第一章 绪论 10 有效帮助并不大，究其原因，正式缺乏有效的挖掘知识和手段，导致了 “数据爆炸但知识贫乏 ”的现象。 16随 着数据库技术和广泛使用的数据库系统的快速发展，企业积累了更多 的数据，如他们自己的业务运营和资金信息上的外国投资数据操作的数据和相关行业的多种数据对整个市场，飙升背后许多重要信息隐藏的数据的情况。这些数据更主要的是为决策者提供真正有价值的信息而不再是单单为了编制财务经济报表、分析财务状况而收集，分析这些数据也不再单纯为了了解企业各种状况。这些数据也可帮助企业 提供竞争力 ，在这种情况下，数据挖掘技术就显得至关重要。我国现在 对于这些后期数据处理的发展上还相对落后。 17 题 提出 在国内，经济普查体系及数据的重要作用还未受到 地方 政府相关经济部门的 普遍的重视， 对于地区 宏观经济 的 管理水平与国际惯例要求相比差的较远，表现为： （ 1） 经济普查 的 例行 机制有待完善。 国内 一些地方政府，对于经济普查工作不够重视，经济普查仅仅作为一项市场调查工作进行。 并没有将 经济普查工作作为每年度的例行工作来认真执行，更没有专业的经济普查统计分析工具。 （ 2） 经济普查规则 不健全 。目前 经济普查所 获得的企业资料 来源不可靠，大部分数据由企业自身提供，而企业自身由于各种各样的原因，不轻易向政府部门提供真实的材料 （纳税 相关的顾虑） ， 18因此需要健全经济普查法规，获得准确可靠地材料。 （ 3）专业的经济普查 系统 匮乏。经济普查 是一项专业性、技术性要求很高的工作，需要有高素质、能把握全局的系统来操作。 19 基于 上述几点，本系统为经济普查的数据分析阶段，提供较为专业的数据挖掘和分析功能，为经济普查工作贡献一份力量。 第 四 节 研究内容 本文所涉及 系统主要是为经济普查工作 所 收集上来的 数据 进行进一步的管理和分析，涉及的主要功能 点如下： 第一章 绪论 11 1）普查 数据统计 用户 权限管理 功能 用户分为 两类，第一类是管理员权限，能够对后台的统计数据指标字典表进行修改，也能够对统计报告的格式和统计方式 进行 调整，该权限级别很高，一般由统计科室的负责人享有该权限。另一类是 普通 操作人员权限，普通操作人员包括数据录入员，数据管理员和数据分析员 。 2）经济数据 的收集和整理 功能 次 普查 涉及 的对象主要是各企事业单位，使用的普查表为通用 型 经济普查表，通用性经济普查表的格式和具体内容如下 表 所示 ， 主要包 括 资产类类目（ 资产 总计、工业总产值、建筑业总产值、固定资产折旧） ； 收入类类 目（ 营业 收入 、 主营业务收入） ； 成本类类目（ 主营业务 成本 、 主营业务税金及附加） ；利润类类目 和 其他类目 （劳动报酬总额 、单位从业人员平均人数） 。 3）经济 数据录入系统 功能 数据 录入 工作 平时主要包括两 种 形式，一是手工逐条录入， 二 是直接批量导入。 4）基于 普查信息的 企业 聚类 功能 要求针对 企业经济普查数据 进行 聚类挖掘 ，通过 数据挖掘的办法，找出具有相似特征的企业群，为后续对这些企业进行统一的管理提供支撑。 5）经济 普查 数据管理功能 针对 录入的 企业 经济普查数据， 还需要 进行相应的 数据 管理， 包括 统计分类管理 、报表 管理 和 数据查询 三个 子功能 。 第 五 节 论文结构 全文共分六个部分： 第一章 绪论。介绍当前市场经济普查软件系统的背景，现状，存在问题。并根据以上内容，提出问题，引出改论文的实现目的。 第二章 相关技术介绍。对于整个系统实现的相关技术和架构的选取进行了详细的介绍。 第三章 系统需求分析。详细介绍本系统的业务需求分析，系统工地能需求，分功能性能需求。 第一章 绪论 12 第四章 系统设计。详细介绍本系统的设计原则，系统技术架构设计，网络拓扑结构设计，系统功能结构设计，功能详细设计，详细的数据库设计，和接口设计。 第五章 系统实现。对整个系统的模块 和各部分实现及界面和代码的说明。该部分还介绍了对系统的详细测试过程。保证系统的鲁棒性。 第六章 结论与展望。 介绍系统的总体结果，并进行未来研究工作的展望。 第二章 相关技术介绍 第 二 章 相关技术介绍 第一节 一个开源框架，它由 立。它是为解决企业应用开发的繁杂性而建立的。 用基础的 完成之前由 成的事件。但是， 用途不只限于服务器端的开发。从简朴性、可测试性和松耦合的角度而言，任何 用都可从 受益。其有下列 长处。 轻量 从大小与开支两方面而言 是轻量的。残缺的 架可在一个大小只要 1的 件里面宣布。又 需的处置开支也是微不足道的。另外， 白侵入式的：典型地， 用中的工具不依附于 特定类。 20 掌握反转 过一种称作掌握反转的科技增进了松耦合。当应用了个工具依附的其它工具会通过被动的体例传送进来，而不是这些工具本人建立或者查找依附工具。你可能觉得 反 不是工具查找依附，而是容器在工具 初始化时不等工具要求就主动把依附传送给它。 面向切面 供了面向切面编程的坚实支撑，允许通过应用的业务逻辑与系统级服务，例如审计和事件，管理内聚性的开发。应用工具只完成它们应当做的 完成业务逻辑 仅此而已。它们并不负责，以至是认识其它的系统级应用点，例如日记或事件支撑。 21 容器 括并管理应用工具的配置和生命周期，在这些意义上它是一种容器，你可配置你的每个 样被建立 基于一个可配置原型（ 你的 建立一个单独的实例或许每次需要时都添加 一个新的实例 和它们是怎样相互关系的。但是， 应当被混同于传统的重量级的 器，它们常常是复杂的，难以应用。 框架 把简朴的组件配置、组合成为庞大的使用。在 ，使用工具被申明式地组合，典型地是在一个 件里面。 提供了很多基本功能，事件管理、耐久化框架集成等，把使用逻辑的开发留给了你。 全部 一些特性使你能够编写更加整洁、更加可管理、又更加易于代码的测试。它们也为 的各种模块提供了基本支撑。 22 第二章 相关技术介 绍 14 第二节 一个开放源码的