信用信息平台建设方案_第1页
信用信息平台建设方案_第2页
信用信息平台建设方案_第3页
信用信息平台建设方案_第4页
信用信息平台建设方案_第5页
已阅读5页,还剩200页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

年4月19日信用信息平台建设方案文档仅供参考,不当之处,请联系改正。信用信息体系平台建设方案x月x日目录1. 平台概述 61.1. 建设背景 61.2. 建设目标 61.3. 建设原则 71.4. 建设内容 81.5. 建设依据 92. 平台需求分析 92.1. 系统业务需求分析 102.1.1. 信用信息资源整合的需求 102.1.2. 政府部门开展信用联合奖惩的需求 112.1.3. 社会公众信用信息化需求 112.1.4. 重点领域诚信建设信息化需求 122.1.5. 重点人群诚信建设信息化需求 122.1.6. 其它个性化的信用信息使用需求 122.2. 信用数据征集范围及来源分析 132.2.1. 信用数据的征集范围 132.2.2. 信用数据的主要信源单位 132.3. 系统主要功能需求分析 142.3.1. 信用信息资源编录管理流程 142.3.2. 信用信息共享流程 152.3.3. 信用信息查询服务流程 162.3.4. 信用信息异议处理流程 182.4. 非功能性需求分析 182.4.1. 系统性能指标 182.4.2. 集群和负载均衡 192.4.3. 可扩展性 192.4.4. 可靠性 192.4.5. 安全性 202.4.6. 可用性 212.4.7. 帮助文档 213. 总体设计 223.1. 总体建设思路 223.2. 系统总体架构 223.3. 数据架构 243.4. 技术路线 253.4.1. J2EE的体系架构 253.4.2. MVC处理模式 263.4.3. XML规范 273.4.4. SOA体系结构 273.4.5. ESB服务总线设计 294. 平台详细设计方案 314.1. 标准规范建设 314.1.1. 数据规范编制 314.1.2. 技术规范编制 324.1.3. 管理办法编制 334.2. 社会信用体系信息平台基础支撑设计 344.2.1. 大数据基础支撑分布式数据库存储系统设计 344.2.2. 社会信用体系舆情分析设计 394.2.3. 商业智能分析平台 414.3. 信用信息库建设 464.3.1. 总体架构 464.3.2. 核心数据库 474.3.3. 应用数据库 504.4. 信用信息目录编制 514.4.1. 依据信用目录权责清单疏理信用信息目录 514.4.2. 企业法人信用信息目录 514.4.3. 自然人信用信息目录 774.4.4. 政务诚信专题信息目录 794.4.5. 商务诚信专题信息目录 804.4.6. 社会诚信专题信息目录 874.4.7. 司法公信专题信息目录 924.5. 信用信息目录服务系统设计 944.5.1. 运行模型 964.5.2. 系统结构 984.5.3. 功能要求 1004.5.4. 其它要求 1014.6. 信用信息数据质量管理系统设计 1014.6.1. 规则管理 1014.6.2. 流程管理 1024.6.3. 监控管理 1024.6.4. 结果管理 1024.6.5. 统计分析 1024.6.6. 绩效管理 1024.6.7. 系统管理 1024.6.8. 信息交换 1024.7. 信用信息共享平台建设 1034.7.1. 总体架构 1034.7.2. 数据交换子系统 1054.7.3. 数据归集子系统 1084.7.4. 数据清洗子系统 1104.7.5. 数据对比子系统 1144.7.6. 数据分发子系统 1194.8. 政府信用信息服务系统建设 1214.8.1. 行业信用分类监管数据分析子系统 1214.8.2. 公共信用信息查询服务子系统 1224.8.3. 信用报告管理子系统 1314.8.4. 黑名单与荣誉名单子系统 1324.8.5. 信用联动监管子系统 1324.8.6. 信用监测预警子系统 1344.8.7. 全文检索子系统 1364.8.8. 信用信息上报系统 1364.9. 信用异议处理 1394.10. 信用信息大数据分析系统 1394.10.1. 综合决策支持 1404.10.2. 自定义报表 1414.10.3. 即席查询 1414.10.4. 领导驾驶舱 1414.10.5. 统计分析 1424.11. 信用数据对接 1434.11.1. 与“信用中国”网站系统的对接 1434.11.2. 与省信用系统对接 1445. 安全设计 1445.1. 安全体系总体设计 1445.2. 技术目标 1455.3. 管理目标 1465.4. 安全技术方案 1465.4.1. 网络与边界安全 1465.4.2. 主机系统安全 1475.4.3. 应用安全 1475.4.4. 数据安全 1485.4.5. 防火墙设计 1485.4.6. WEB入侵防护设计 1505.4.7. 安全隔离网关设计 1515.5. 安全管理方案 1535.5.1. 安全组织体系建设 1535.5.2. 安全管理制度建设 1535.5.3. 信息安全管理原则 1555.5.4. 其它管理措施 1566、售后服务内容、要求和期限 156 7.维护要求1568.技术培训要求1569.其它要求156平台概述建设背景信用是社会主义核心价值观的重要内容,是公民的基本道德规范,是社会主义市场经济的基础。近年来,市党委、政府认真贯彻中央决策部署,高度重视信用建设,加强组织领导,不断完善体制机制,健全法规制度,强化信用信息整合应用,推进诚信文化和诚信环境建设,社会信用体系建设取得初步成效。党的十八大以来,党中央、国务院多次就加强社会信用体系建设作出部署,提出明确要求。当前,我市正处于全面建成小康社会、经济转型升级的关键时期,加快推进社会信用体系建设,对于完善我市现代市场体系,构建以信用为核心的新型市场监管机制,培育和践行社会主义核心价值观,推进社会治理体系和治理能力现代化,优化发展环境,具有十分重要的作用和意义。党的十八大提出:“加强政务诚信、商务诚信、社会诚信和司法公信建设”,十八届三中全会进一步要求:“建立健全社会征信体系,褒扬诚信,惩戒失信。”能够看出,十八大以来,党高度重视社会诚信建设,社会各领域各行业都在加力构建诚信体系。在消费市场秩序领域,诚信问题尤为突出,“天价虾”“天价鱼”“天价茶”等事件层出不穷,个别经营者唯利是图,宰客行为屡禁不止,严重影响了城市乃至国家的形象。xx省政府下发了《xx省人民政府关于印发xx省社会信用体系建设规划(—2020年)的通知》(x政发〔〕20号)政府下发了《社会信用体系建设实施意见》建设目标以打造诚信XX、构建和谐社会为主线,以健全信用法规制度、形成覆盖全社会的征信系统为基础,以政务诚信、商务诚信、社会诚信和司法公信为主要内容,到,基本建成与我市经济社会发展水平相适应的社会信用体系框架和运行机制。信用基础性法规和标准体系建立并得到完善,企业和个人信用信息数据库、企业信用信息基础数据库、公民信用信息基础数据库、法人单位基础信息数据库基本建成和完善,与省公共信用信息平台完成对接,政府内部信用信息实现共享,信用监管体系基本确立,信用服务市场初具规模,守信激励和失信惩戒机制在重点领域发挥作用。到2020年,建立符合国际惯例、国内领先、体现我市特色、法制健全、监管有力、服务完善的社会信用体系框架和运行机制。创立“国家信用建设示范城市”,政务诚信、商务诚信、社会诚信和司法公信建设取得明显成效,信用服务市场规模不断发展壮大,守信激励和失信惩戒机制全面有效运行,对各领域失信行为发挥明显制约作用。全社会诚信意识明显增强,经济社会发展信用环境明显改进,形成独具特色的XX诚信文化,为加快建设品质活力XX,努力实现有质量的稳定增长、可持续的稳定发展提供支撑。建设原则政府推动,社会共建。充分发挥政府的组织、引导、推动和示范作用。政府负责制定实施发展规划,健全法规和标准,培育和监管信用服务市场。注重发挥市场机制作用,协调并优化资源配置,鼓励和调动社会力量,广泛参与,共同推进,形成社会信用体系建设合力。健全法制,规范发展。逐步建立健全信用法律法规体系和信用标准体系,加强信用信息管理,规范信用服务体系发展,维护信用信息安全和信息主体权益。

统筹规划,分步实施。针对社会信用体系建设的长期性、系统性和复杂性,强化顶层设计,立足当前,着眼长远,统筹全局,系统规划,有计划、分步骤地组织实施。重点突破,强化应用。选择重点领域开展信用建设示范。积极推广信用产品的社会化应用,促进信用信息互联互通、协同共享,健全社会信用奖惩联动机制,营造诚实、自律、守信、互信的社会信用环境。参考:xx省社会信用体系建设主要指标序号指标2020年1政府部门信用信息公开比率90%100%2政府部门使用信用记录和信用报告的比率80%100%3食品药品企业诚信档案覆盖率80%100%4工程质量监理企业诚信档案覆盖率100%100%5电子商务诚信档案覆盖率100%100%6司法部门信息报送率95%100%7社会组织信用档案覆盖率80%100%8中介类、公益性岗位人员诚信档案覆盖率80%90%9公务员诚信档案覆盖率90%100%10企业质量信用档案数据库覆盖率100%100%11信用服务企业诚信档案覆盖率100%100%12信用服务从业人员诚信档案覆盖率100%100%13市州公共信用信息系统建设率90%100%14部门信用信息系统建设率90%100%15建成的各级平台互联互通比例80%90%建设内容信用信息资源目录服务管理根据《政务信息资源目录体系》(GB/T21063-)的规定,目录体系包括涉及提供方、管理方和使用方,包括编目、注册请求、注册、发布、检索、维护等活动。信用信息数据质量管理解决业务系统运行、数据仓库建设及数据治理过程中的数据质量问题。要求以标准化的数据质量规范为基础,运用数据挖掘、数据分析、工作流、评分卡、可视化等技术帮助组织建立数据质量管理体系,提升数据的完整性、规范性、及时性、一致性、逻辑性,降低数据管理成本,减少因数据不可靠导致的决策偏差和损失。信用信息资源共享查询共享数据经过汇总程序汇总后,企业信息汇总于企业公用基础信息资源库。信息查询实现对汇总后的数据进行结构化和非结构化查询。信用信息统计分析商事主体信息、许可结果信息、处罚信息、荣誉信息、经营异常企业信息、严重违法企业名单信息、抽查检查结果信息的查看、查询,包括统计报表、分析对比等。信用信息共享交换及监控实现自然人、企业法人、社会组织等信用信息的共享交换,以及交换统计分析,主要包括:总体情况、数据提供情况、数据获取情况等。建设依据《国务院关于印发社会信用体系建设规划纲要(—2020年)的通知》(国发〔〕21号)《国务院关于促进市场公平竞争维护市场正常秩序的若干意见》(国发〔〕20号)《xx省人民政府关于印发xx省社会信用体系建设规划(—2020年)的通知》(x政发〔〕20号)xx省商务厅关于贯彻执行《xx省企业失信行为联合惩戒暂行办法》的实施细则(x商秩〔〕4号)《社会信用体系建设实施意见》《社会信用体系建设工作考核办法》《行政许可和行政处罚等信用信息公开工作实施方案》平台需求分析系统业务需求分析信用信息资源整合的需求中办、国办印发的《—2020年国家信息化发展战略》提出把信息资源的整合列为电子政务建设的首要战略行动。另据统计,中国当前约有80%的全社会信息资源掌握在各级政府部门,其中包括与经济、社会以及政务活动密切相关的信用信息资源。有效整合政府部门掌握的各类信用信息资源,是建设公共信用信息管理系统的基础性工程。从实际需要看,主要有资源整合、数据交换、质量监控这三个方面的工作:基于目录体系的信用信息资源整合信用信息资源具有跨行业、跨部门、跨地域的特点,而且大部分信用信息资源随着业务活动不断产生和变化,是一种动态信息资源,不能盲目地整合,需要基于信用信息资源目录,统一格式标准、统一流程规范、循序渐进地开展。具体需求如下:(1)经过对信用信息资源的分类管理,使得信用信息交换与共享有序化;⑵经过描述和记录各类信用信息资源的名称、处务属性、主题、分类、来源、提供部门等各种属性(即元数据),满足经过元数据描述协同政务流程的上下环节关系和信息资源共享的需求;(3)满足对信用信息资源元数据(资源目录)直接查询和定位,支撑信用信息资源的幵发与利用;(4)满足信用信息随並务处理而动态变化的要求,保证信用信息的真实可靠性。基于政务信息资源共享平台的数据交换信用信息资源的共享与交换要充分利用现有资源,避免重复建设,因此应充分利用政务数据交换中心的各项基础设施,实现跨部门、跨层级的信用信息共享与交换。对信用数据交换主要有以下需求:(1)借助电子政务外网,实现将各行业、各部门的信用信息数据向公共信用信息管理系统汇集;(2)实现将公共信用信息管理系统加工整合后的信用信息分发给各行业各部门(按需)使用,满足相关使用部门对信用信息的使用需求。质量监控数据归集工作是否能顺利开展及所归集数据的质量的好坏是关系公共信用信息管理系统成败的关键因素,为确保各单位各部门按要求及时提供信用信息资源,主要需要开展三个方面的工作:一是建立信用信息资源归集共享管理办法,规范引导和调动各部门的积极性,督促其认真履行义务;二是建立科学、合理的考核评估办法,公平、客观、实际地评价各政府部门在信用信息资源共享、开发和利用等方面的工作;三是在市公共信用信息管理系统中引入行政电子监察,经过技术手段推进和保障信用信息资源共享利用。政府部门开展信用联合奖惩的需求政府部门应用信用信息幵展联合奖惩,是加强工作协同、提高行政效能的具体体现,也是构建社会信用监管奖惩体系的基础保障。其需求呈现广泛性、及时性、多元性等特点。政府部门在证照联动、综合治税、劳动监察、市场主体分类监管、联合执法、社会保险征缴、资质资格评定、信贷监管、招标投标、评奖评优等领域或环节,都存在着使用和应用信用信息的需求。因此,市公共信用信息管理系统要提供开放的接口,要支撑各个部门幵展信用信息资源开发与应用,共同推进守信激励和失信惩戒机制的建立;大部分涉及联合监管奖惩的业务事项对信用信息的时效性要求较髙,如前置审批、法人审验、纳税监管等方面的监管应用。因此,经过市公共信用信息管理系统的建设,提高部门之间的信用信息交换频率,争取实现数据实时交换;部门之间对信用信息的需求交叉多元化,如工商需要税务、海关、公安等多个部门的信用信息,公安需要工商、税务、法院等多个部门的信用信息,财政需要工商、税务、科技等多个部门的信息,人民银行则需要所有部门的信用信息。因此,市公共信用信息管理系统要加强顶层设计,建立统一的信用信息数据处理平台,避免少数部门局部建设,造成“一数多源”和重复投资。社会公众信用信息化需求为满足社会公众在经济活动和社会活动中较为方便获取信用信息的需求,有必要建立“一站式”的信用信息服务网站,为社会公众提供各项信用信息服务,具体需求如卞;(1)社会公众可经过信用信息服务平台,及时了解各类社会对象的信用情况,有利于加强社会主体之间了解,规避相关风险,如能够应用到商务往来活动中,降低合作风险;应用在招聘及求职活动中减少招聘双方之间的顾虑等。查询的企业信用信息主要包括企业经营情况信息、行政许可信息、荣誉信息、奖惩信息等,个人信息主要包括基本信息、荣誉信息、奖惩信息、资质资格信息等,社会组织及事业单位的信息主要包括基本信息、运转信息、荣誉信息、奖惩信息等。(2)社会公众查询获取信用信息既要方便、快捷,同时又要充分考虑信息安全,加强身份认证和使用授权验证。个人信用信息涉及个人隐私,应在个人授权同意的情况下方可查看;(3)信用信息的异议申诉。对于有异议的信用信息,社会公众能够方便地提出异议申请,提高信用信息的质量,加强信用交流。(4)提供信用信息自主申报通道,社会公众能够申报自身的信用情况,并对申报信息的真实性提供证据和担保;(5)建立对失信行为的投诉通道,社会公众可将在社会经济活动中遭遇到失信行为向公共信用平台申报投诉,并对投诉内容的真实性负责,以此,促进诚实守信良好社会氛围的形成。重点领域诚信建设信息化需求已在纳税、信贷等领域的诚信建设开展了一系列工作,制定了信用信息记录、征集及信用评级应用等相关管理规范。在项目建设中将满足信用建设重点领域诚信的信息化需求,建立重点领域专题信用业务模块。重点人群诚信建设信息化需求在个人信用信息化建设方面,已经开展对公务员、医务人员、教学科研人员、律师、会计从业人员、农户等特殊人群的诚信建设,在项目建设中将实现对这些特殊人群的信用信息资源的整合,并满足相关特殊人群信用评级及管理应用需求。其它个性化的信用信息使用需求主要为扩大信用信息使用范围方面的需求,这将有利于促迸信用信息共享和公开,对培养壮大现代信用服务业具有一定的促进作用。为人民银行、商业银行等机构提供信用信息。对于人民银行、商业银行等未接入电子政务外网的机构,公共信用信息管理系统还应该在确保接入安全的前提下,为之提供信用信息接入服务,实现信用信息共享。为信用服务机构提供合法的批量信用信息查询。信用服务机构如征信机构、评级机构在对外提供信用产品服务时,由于信息获取面有限,一定程度上限制了其业务的发展,同时也使其服务对象无法全面了解相关信用信息。公共信用信息管理系统能够为合法的信用服务机构提供信用信息批量的查询服务,解决其信息覆盖面不全的难题;同时经过培育扩张信用需求,带动信用服务业发展。信用数据征集范围及来源分析信用数据征集的范围、质量、数量等决定了系统提供服务的深度和广度,决定着系统建设成效,因此有必要对信用数据的征集范围及来源作出分析,以便最大可能地归集所有社会主体的各类信用信息、尽最大可能地归集各行业和部门掌握的各类信用信息。信用数据的征集范围信用记录从不同角度能够进行多种分类。从记录对象来划分,分为个人和机构信用记录两大类。从记录的内容划分,分为经济信用记录和社会信用记录两大类,经济信用记录包括履约、产品质量、纳税、偿还贷款等信用记录;社会信用记录包括教育、治安、科技、司法等信用记录。从信用记录收集渠道划分,分为政务信用记录和非政务信用记录,政务信用记录是行政、司法等国家机关执行公务活动中的信用信息记录;非政务信用记录是指企业和个人交易活动中的信用信息记录。从信用记录使用的公开程度划分,分为公开信用记录和非公开信用记录。借鉴以上信用记录的不同角度划分,公共信用信息管理系统征集的信用数据范围大致如下:从信用主体对象来看,包括企业、个人、事业单位和社会组织;从内容和收集渠道来看,信用数据首先要能反映信用主体的基本情况,如身份信息和经营管理或社会活动信息;其次能反映信用主体在政府部门和司法机关等的记录情况,即公共记录信息;最后还反映信用主体交易活动情况,即金融信息。公共信用信息管理系统作为政府主导建设的信用信息平台,首要是归集国家机关掌握的各类信用信息,条件成熟时,在注明信息来源的前提下,能够归集公共服务机构等掌握的信用信息,做好信用信息查询和应用开发的补充。信用数据的主要信源单位根据以上信用数据的征集范围的划定和社会信用体系建设有关信用主体的划定,信用数据主要信源单位大致如下:1、企业信用信息方面。工商部门主要掌握着企业(含个体工商户)的注册登记、年检、变更、注销、吊销、股东、商标、行政处罚和荣誉等信息,质监部门掌握着组织机构(不含个体工商户的企业)的登记、代码变更等信息,税务部门掌握着企业地税注册登记、地税缴纳及欠缴等方面信息,其它相关部门掌握着企业行政处罚、荣誉、资质等方面的信息。因此企业信用信息的信源单位宜以工商、质监、税务等部门为基础,其它相关部门为补充。2、个人信用信息方面。人社、公安、民政、卫计委等部门分别掌握着个人有关社会保障、户籍、婚姻、人口等方面信息,人民法院掌握着法院裁决和执行信息等个人履行法律义务方面的信用信息,其它相关部门掌握着个人的处罚、荣誉、奖励等方面信息。另外财政、司法、卫生等部门掌握着注册会计师、律师、医生等重点涉信人群的执业资格信息。因此个人信用信息的信源单位宜以人社、公安、民政、卫计委、人民法院等部门为基础,其它相关部门为补充。3、事业单位信用信息方面。机构编制部门主要掌握着事业单位登记信息,质监部门掌握着组织机构的登记、代码变更等信息,人社部门掌握着事业单位社会保障等方面信息。其它相关部门掌握着事业单位行政处罚、荣誉、奖励等方面的信息。因此事业单位信用信息的信源单位宜以机构编制、质监、人社等部门为基础,其它相关部门为补充。4、社会组织信用信息方面。民政部门掌握着民办非企业、基金会、社会团体等社会组织的注册登记等信息,质监部门掌握着组织机构的登记、代码变更等信息,其它相关部门掌握着社会组织行政处罚、荣誉、奖励等方面的信息。因此社会组织信用信息的信源单位宜以民政、质监等部门为基础,其它相关部门为补充。系统主要功能需求分析XX公共信用信息管理系统的主要业务流程包括信用信息资源编录管理流程、信用信息归集流程、信用信息服务流程和信用信息异议处理流程。信用信息资源编录管理流程信用信息资源编录管理流程主要围绕目录内容编目、注册、管理、发布、查询及维护等环节,实现对所需归集的信用信息的编目和管理。具体流程如下(见下图):1.确定需归集的信用信息数据项;2..各信用信息数据源单位对公共资源核心元数据和交换服务资源核心元数据进行编目;编目内容经过元数据注册系统进行注册;4.发布已注册的目录内容;5.信用信息的使用者经过信用信息资源目录系统向管理者发送目录查询请求,管理者将查询结果返回给使用者。信用信息共享流程对于市直机构等政府类信息源,可经过电子政务外网向市公共信闬信息管理系统数据归集平台进行归集;而社会机构与信用组织等信息源可直接向公共信用信息管理系统数据归集平台进行归集。数据归集后,并进行数据校验、清洗、比对,存储到公共信用信息核心数据库中。1、.市直机构等政府类信息源以及地市信用平台,可经过电子政务外网向公共信用信息管理系统数据归集平台进行归集;而社会机构与信用组织等信息源可直接向公共信用信息管理系统数据归集平台进行归集;2、对照信用信息资源目录,将交换过来的并纳入目录的信用信息,传输并存储信用信息数据处理平台前端的原始库;3、公共信用信息数据处理平台对原始库中新接收到的信用信息进行数据校验、清洗、比对等一系列操作;4、符合系统数据质量要求的信用数据将存储入核心库,不符合要求的信用数据经过政务信息资源共享平台(对照信用信息目录)返回给数据源单位。信用信息查询服务流程公共信用信息管理系统的基本应用是信用信息查询,不同使用对象查看信用信息范围沾权限不同,其查看流程也各不相同。系统投入使用后需制定相应的规范性文件加以明确。以下就不同使用对象查询流程进行初步分析:1、政府部门查询服务流程。政府部门查询信用信息的方式包括单笔查询和批量查询两种,单笔查询只需经过身份认证即可操作;批量查询需事先签订许可协议。被查询的对象不同,安全控制级别也有差异:经过CA身份认证即可查询重点涉信人群、企业、事业单位和社会组织信用信息,而查询除重点涉信人群之外的其它个人信用信息则需经信用信息管理机构审批。主要环节如下(见下图):政府部门使用信息信息流程图(1)政府部门可通政府内部信用信息服务系统或网上办事大厅等使用查询服务;(2)选择查询方式和查询对象分类;(3)按照被查询对象的信用信息安全控制级别进行身份验证,使用批量查询的单位,事先需与信用信息管理部门签订许可协议方可使用操作;(4)系统根据查询条件返回结果,供查询者下载或导出。2、社会公众查询服务流程。社会公众经过信用网可实时查询企业、事业单位、社会组织以及重点涉信人群的相关信用信息,其中凭CA身份认证和授权码可查询到详细信用信息,匿名查询方式仅能查询有限的基本信息。查询个人信用信息的,需要事先到信用信息管理部门签订查询授权许可协议,其信息方可经过网上查询。如没有上网条件者,可到市在县区设立的派出服务机构中出具身份证明后查询相关信用信息。经过网上查询的主要环节如下(见下图)。社会公众使用信用信息流程图(1)登录信用网;(2)选择查询对象种类:查询个人信用信息(不包括重点涉信人群)和查询企业、事业单位、社会组织以及重点涉信人群信用信息;(3)经过CA身份认证、授权码等方式确认查询者的身份信息;(4)根据查询条件,返回查询结果。3、其它机构查询服务流程。人民银行、商I银行和信用服务机构同样是信用信息的主要需求部门,以上机构经授权后可批量查询信用信息。主要环节如下(见下图)。信用服务机构等机构的使用信用信息流程(1)符合批量查询条件的机构向公共信用信息管理系统提出批量查询请求;(2)系统调用数据查询接口模块,进行请求合法性验证;(3)如请求合法,则系统经过验证并返回查询结果,如请求不合法,系统将终止查询请求;(4)当机构获得查询结果时,将向公共信用信息管理系统反馈数据查询回执,写入日志留存系统备审计。信用信息异议处理流程信用信息使用者在查询信用信息过程中对信息产生异议的,可经过系统设置的异议处理模块进行处理,信用信息系统在政府内部信用信息服务系统、XX信用网、网上办事大厅、市民网页等应用中设置异议处理入口。主要环节如下(见下图)。信用信息异议处理流程信用信息使用者提交异议申请;1、异议处理模块识别申请资料,判别异议信息归属;2、系统将异议信息送达信源单位,由信源单位作最终核实;3、若情况属实,信源单位更新数据库数据;信源单位更新数据时,将触动数据交换模块,更改的数据将根据省、市归属,同步到省、市系统中,异议数据修改成功;4、系统将异议处理结果告知信用信息使用者。非功能性需求分析系统性能指标1.系统响应a)各子系统单次Web请求的响应时间(扣除统计、分析)满足如下需求:b)理想响应时间2秒;c)理想平均时间4秒;d)最大时间5秒;e)最短响应0.5秒;2.系统精度a)所有子系统涉及金额的数据,数据精度为小数点后两位;b)所有子系统涉及数量的数裾,精确到整数位;c)所有子系统查询每页显示的记录数最多不超过30条,超过30条分页显示;d)所有子系统涉及到时间的数据,数据最少精确到秒;e)除非有特殊规定,所有子系统菜单层次不超过三级。集群和负载均衡所有子系统支持集群和负载均衡;所有信息数据库支持集群和负载均衡。可扩展性釆用组件化技术降低系统耦合度,提高系统的灵活性与扩展性,经过封装的功能组件具备自我完备、独立运行等特性。可靠性1.稳定性a)除例如离线备份数据库这类停止系统的临时操作外,系统提供24(小时/天)*7(天/周)的可用运行使用,正式上线一年内,每月因故障整个系统停止不能超过2次,正式上线一年以后,每月内有故障停止不能超过1次;b)在系统出现非正常宕机的情况下,在10分钟内恢复系统运行。2.健壮性a)系统数据输入支持生僻字(公安部提供的生僻字库);b)系统在数据录入要进行严格的数据格式与符合性验证与控制,以防止不正确.数据进入系统,从而引起系统出错或甚至于崩溃;c)所有的规划参数都要指定一个缺省值,当输入数据丢失或无效时,就使用缺省值数据;d)一些危险操作会明确提示用户操作所带来的后果,减少用户的误操作;e)系统应对外部异常进行有效的捕获及处理,除非是系统硬件故障产生的致命错误,否则异常应仅仅影响单笔业务的正常执行,不对整个系统的有效执行产生影响;f)系统发生异常会给予明确的反馈信息,使得用户、系统管理员清楚操作不成功的原因。3.事务性a)系统提供分布式事务处理能力,包括跨应用、跨服务器的事务处理;b)对于未完成的分布事务,系统提供延迟提交事务的能力。安全性1.系统安全登录系统必须经过身份认证;系统应对不同角色的访问权限做出约束,对于非授权访问提供可追溯的记录;用户数据、业务数据能够不进行保密,但必须有对应的权限才允许查看;经过操作系统补丁、防病毒等方式保障系统的安全;利用数据库内建安全管理机制提供数据保护措施;要对数据量和访问量进行监控,以控制恶意访问。2.数据存储安全业务主数据及关键数据独立管理、共享应用,避免重复存储与数据混乱;敏感、关键的数据(如用户密钥等)必须加密存储,并提供周期性自动备份提供数据库备份机制,支持增量数据库处理及备份。3.数据传输安全a)外部接口的所有请求/响应数据,都需要对数据进行加密;b)针对接口的数据,.提供加密手段,可经过配置来决定是否启用加密机制;c)针对接口的数据,需要请求类型合规性、数据格式合规性等做出检查;d)外部接口应能够防止DoS攻击,具有白名单、黑名单功能。可用性1.用户接口设计需符合行业特征,具体包括:系统中界面、帮助和提示信息支持简体中文;避免使用过度鲜艳的配色方案;界面需兼容客户端显示分辩率为1024*768及以上的情况;界面风格不会因为浏览器不同而风格异样,支持IE6.0及以上版本,火狐,360等流行浏览器;便于页面的开发,如页面能够经过控件进行设置实现相关功能。2.用户操作的设计符合人性化目标,具体包括:减少用户手工操作量;系统功能名称、图标直接明了,没有歧义,容易理解;界面需清晰的角色导航和操作提示,便于用户的交互使并降低误操作可能性;复杂的流程提供足够的向导,引导用户进行各种操作;对于比较复杂的模块,除了釆用向导操作外,还要有字符提示(如输入提示、字符限制等)等帮助提示,有利于用户的快速学习;数据设置时如有顺序关系,则需在设置页面体现出来,例如:仓库管理里,必须有明确的提示先设置仓库,再设置仓库;对各种误操作,数据验证有友好提示,屏蔽掉误操作。3.系统支持向导安装,没有过多的比较专业化配置过程。帮助文档系统提供详尽而可靠的帮助文档,在用户使用产生迷惑时能够自己寻求解决方法,具体表现在:a)帮助文档中的功能介绍与说明与系统功能配套一致V在修改功能的同时,帮助文档做相应的修改,做到版本统一;b)帮助有针对性,在界面上调用帮助时,能够及时定位到与该操作相正确帮助位置;c)用户能够使用关键词在帮助索引中进行搜索,也提供帮助主题词。总体设计总体建设思路将资源管理与资源应用明确划分并有机整合,推动一体化建设。经过一体化手段,转换和改造传统信息系统建设的模式,利用平台加应用的构建模式,将我市信用体系建设与资源管理建设合二为一进行整合建设,不但节省财政投资,而且充分考虑二者之间的关系,以数据管理为基础,建立信用体系应用,使我市的信用体系工作形成有机的整体,并为未来的跨部门业务协同,一次釆集多次使用打下基础。在业务实现方面,注重整个体系的完整性、实用性、适应性和可扩展性,经过业务逻辑组合方式,将资源整合、资源利用、服务提供等全部纳入项目建设框架内,重点突出资源共享、互联互通、统一数据、安全可靠、重在应用等特性。在技术实现方面,着重强调应用体系的跨平台、跨应用、分布式、兼容性强、安全可靠等特性,采用成熟的JavaEE标准规范和开发平台,实现公共信用信息管理系统的设计、部署和实施,使应用体系能够整合异构数据资源,实现数据级和应用级集成,同时确保应用系统技术先进性。系统总体架构从业务实现的角度,对各部门的数据归集和信用应用的建设提出了业务模型。1、基础设施层:主要包含各类网络环境、硬件基础设施和系统基础软件三大部分。硬件基础设施包括存储、服务器、交换机、防火墙、终端设备等硬件基础设施;系统基础软件包括服务器操作系统、数据软件。2、数裾存储层:存储包括各政府部门、社会机构、公共事业单位、1:县信用、政务数据库、省平台信用数据、以及其它征信系统信用数据等。经过数据库软件进行结构化与非结构化数据的存储,同时实现读写分离的主从配置,保障数据库的读写效率及稳定性,为业务应用提供数据支撑满足实际用户的需求,为业务应用提供数据支撑。其中数据处理平台包含数据归集、数据清洗、数据比对、数据分发三个子系统。3、应用支撑层:应用支撑层包含一些基础性、底层性的系统支撑功能、平台、BI工具,提供包括智能分析系统、工作流管理系统等,为系统提供基础支撑服务。4、业务应用层:包括提供应用服务的系统,运行在应用支撑层上,包含政务信用信息服务系统、信用数据分析平台、统一接口平台、统一安全服务平台等。数据架构信用信息体系平台数据架构包含:基础数据层、主题数据层、内部业务应用层、外部业务应用层,具体如下:1、基础数据层:以企业、个人、事业单位、社会组织的身份信息、经营管理信息、公共记录信息、金融信息等为基础支撑数据,构建信用信息的基础数据库。2、主题数据层:经过对基础数据的筛选、清洗,按照各政府部门信用监管需求,形成相关的主体数据库。3、内部应用层:满足各政府部门对信用监管需要,提供信用信息数据及定制功能,包括:定制查询、部门协查、信用分析、共享服务等;各政府部门可经过政府信用信息服务系统、信用体系综合应用系统、社会信用信息数据利用分析等应用软件对数据进行查询、筛选。 4、外部业务层:对自建有信用信息系统的部门,可按照其管理需要定制需要共享的信用信息,经过企业信用信息共享交换平台共享到部门。技术路线将保持充分满足电子政务系统在安全性、跨平台性、可移植性、易扩展性、易维护性等方面的要求。系统基于Java平台的J2EE技术体系,系统构建于B/S三层应用体系结构之上,采用Struts2、Hibernate3、和Spring2等国际流行和成熟的技术框架,使用JSP、Servlet、EJB、XML等编程技术和面向对象程序设计方法,将复杂的业务逻辑、流程控制逻辑和数据存取逻辑经过在不同的技术层面上实现,在应用服务器之上,实现业务逻辑的快速部署和灵活调整,充分保证数据库系统的安全可靠访问。系统同时支持ORACLE、SQLSERVER、SYBASE、DB2等各种大型的主流关系型数据库;同时支持Windows、国产Linux及Unix等各种操作系统;利用XML作为系统接口的数据交换标准,进行信息资源整合。J2EE的体系架构为了充分满足本平台软件在安全性、跨平台性、可移植性、易扩展性、易维护性等方面的要求,软件系统采用基于J2EE技术体系的大型分布式应用。本项目的平台软件构建于B/S三层应用体系结构之上,采用Struts2、Hibernate3、和Spring2等国际流行和成熟的技术框架,使用JSP、Servlet、EJB、XML等编程技术和面向对象程序设计方法,将复杂的业务逻辑、流程控制逻辑和数据存取逻辑经过在不同的技术层面上实现,在应用服务器之上,实现业务逻辑的快速部署和灵活调整,充分保证数据库系统的安全可靠访问。系统同时支持ORACLE、SQLSERVER、SYBASE、DB2等各种大型的主流关系型数据库;同时支持Windows、国产Linux及Unix等各种操作系统;利用XML作为系统接口的数据交换标准,进行信息资源整合。图J2EE三层结构MVC处理模式MVC是Model/View/Control的缩写。MVC架构也是当今很流行的一种设计模式。M表示模式层,V表示视图层,C表示控制层。模式层完成业务模型与数据模型管理,视图层主要完成用户界面的管理,而控制层主要负责接收客户端请求,并将相应的请求转发到对应的业务逻辑进行处理。以下是MVC架构的处理流程:图MVC架构的处理流程MVC架构使得应用程序的结构更加清晰,经过将代码按照层次划分为业务逻辑/数据、用户界面和应用流程控制这三个层次,增强代码稳定性。对于Model、View、Controller这三部分功能来讲,View的实现一般是由界面设计人员和界面程序员来完成,Model则是由业务逻辑程序员来完成,Controller则一般由负责整体控制的程序员来完成。Controller部分的代码比较稳定,一般会实现一个通用的架构;而Model则跟随业务流程的变化而变化;View的更改则是随着用户需求的更改而更改。这种模块功能的划分有利于在代码修改过程中进行模块的隔离,而不需要把具有不同功能的代码混杂在一起造成混乱。对于项目开发而言,有利于在项目小组内按照小组成员各自的擅长进行分工,有利于三个部分并行开发、加快项目进度。XML规范XML为ExtensibleMarkupLanguage的缩写,意为可扩展的标记语言。XML是一套定义语义标记的规则,这些标记将文档分成许多部件并对这些部件加以标识。它也是元标记语言,即定义了用于定义其它与特定领域有关的、语义的、结构化的标记语言的句法语言XML主要有三个要素:Schema(模式)、XSL(eXtensibleStylesheetLanguage可扩展样式语言)和XLL(eXtensibleLinkLanguage可扩展链接语言)。Schema规定了XML文档的逻辑结构,定义了XML文档中的元素、元素的属性以及元素和元素的属性之间的关系,它能够帮助XML的解析器校验XML文档标记是否合法;XSL是用来规定XML文档表现形式的语言,同CSS类似;XLL则进一步地扩展了当前Web上已有的简单链接。在本方案中,XML技术主要应用于数据共享和信息交换的标准。SOA体系结构面向服务的体系结构(Service-OrientedArchitecture,SOA)是一个组件模型,它将应用程序的不同功能单元(称为服务)经过这些服务之间定义良好的接口联系起来。接口是独立于实现服务的硬件平台、操作系统和编程语言的。这种具有中立的接口定义(没有强制绑定到特定的实现上)的特征称为服务之间的松耦合。对松耦合的系统的需要来源于业务应用程序需要根据业务的需要变得更加灵活,以适应不断变化的环境,比如经常改变的政策、业务级别、业务重点、合作伙伴关系、行业地位以及其它与业务有关的因素,这些因素甚至会影响业务的性质。面向服务的体系结构是面向对象的模型的替代模型,面向对象的模型是紧耦合的。虽然基于SOA的系统并不排除使用面向对象的设计来构建单个服务,可是其整体设计却是面向服务的。由于它考虑到了系统内的对象,因此虽然SOA是基于对象的,可是作为一个整体,它却不是面向对象的。不同之处在于接口本身。SOA系统原型的一个典型例子是通用对象请求代理体系结构(CommonObjectRequestBrokerArchitecture,CORBA)。现在的SOA已经有所不同了,因为它依赖于一些更新的进展,这些进展是以可扩展标记语言(eXtensibleMarkupLanguage,XML)为基础的。经过使用基于XML的语言(称为Web服务描述语言(WebServicesDefinitionLanguage,WSDL))来描述接口,服务已经转到更动态且更灵活的接口系统中,非以前CORBA中的接口描述语言InterfaceDefinitionLanguage,IDL)可比了。建立SOA体系结构模型需要:(1)定义服务描述(2)定义整个应用程序如何在服务之间执行其工作流(针对部门之间)(3)定义服务之间关系的策略,这种策略常常采用服务级协定和操作策略的形式(针对外部合作伙伴)(4)安全、信任和可靠的消息传递利用SOA的好处不但是一个软件开发流程,而且还是一个业务开发流程。采用SOA有四个层次:第一个层次是最简单的,因为它只需创立单独的服务。第二个层次将业务功能集成到SOA中。这涉及多个层次的集成,其中包括应用程序集成、信息集成、流程集成和整个系统集成。第三个层次涉及将企业IT基础设施转换到SOA模型。第四个层次集中于转换业务模型,以使之成为按需就绪的模型。从IT专业人员的角度来看(与业务层相比),要创立SOA应用程序,一般将经历四个阶段:构建、部署、使用和管理。ESB服务总线设计ESB服务总线是整个信息平台的技术核心,ESB一般采用面向服务的体系结构。该服务保证在一个异构的环境中实现信息稳定、可靠的传输,屏蔽掉用户实际中的硬件层、操作系统层、网络层等相对复杂、烦琐的界面,为用户提供一个统一、标准的信息通道,保证用户的逻辑应用和这些底层平台没有任何关系,最大限度地提高用户应用的可移植性、可扩充性和可靠性。提供一个基于应用总线的先进应用整合理念,最大限度地减少应用系统互联所面临的复杂性。系统的实现维护都相对简单,保证每一个应用系统的更新和修改都能够实时地实现;同时当新的应用系统出现时能够简便的纳入到整个IT环境当中,与其它的应用系统相互协作,共同为用户提供服务。功能要求:提供企业服务总线ESB功能基于开放式标准,提供ESB常见功能,如服务的查找、访问、路由等,内置基于XML的数据对象,便于服务之间数据交互和互操作支持信息(数据)集成,流程集成与应用集成。支持企业级服务质量包括跨网络的消息可靠传输和安全、失败恢复、状态诊断、服务管理、服务审计及事务的完整性等,提供数据交换过程和数据的跟踪能力。提供数据格式转换功能提供图形可视化的异构数据格式转换映射工具,能够将数据从一种格式简便快速地转换成另一种格式。输入数据和输出数据可进行不同格式间的转换(如结构化的XML、非XML或Java对象数据),从而可快速集成异构应用,无需考虑表示数据采用的格式。支持多种服务/组件通讯方式及通讯协议支持多种服务/组件通讯方式,如同步和异步等,用户能够按照自己的需要,灵活定义通讯方式。支持跨网络通讯的多种通讯协议,如HTTP/S、FTP、POP3/SMTP、JMS等。完整支持WebService及全面的安全保障机制支持对各种系统提供的WebService的访问,将常见应用系统访问接口、业务流程或组件封装成WebService,并提供WebService的注册和检索功能。提供完整的WebService跨网络通讯的安全机制,如传输层、消息层等的身份验证、消息机密性和完整性等安全保障。支持常见标准协议,如SOAP、WSDL、UDDI、WS-Security等。提供强大的应用集成开发平台集成开发工具,提供多种适配器及系统服务,集成多种便捷的开发向导,覆盖从设计、开发、配置、打包及部署的多个开发过程。提供快速开发数据集成的数据源接入、数据内容转换、过滤、清洗、、部署等配置工具,可快速开发国内最常见的数据集成的业务应用。支持分布式多人团队协作开发,还脱离资源中心进行脱机开发,开发方式灵活,便于提高整个团队开发效率与资源共享。服务与业务流程编排能进行服务的封装与调用,又能根据业务需要,将多个不同服务、组件等进行编排重组,形成满足用户集成需要的业务流程。集成多种常见系统适配器并提供适配器定制开发能力集成多种企业应用中常见的适配器,如支持结构化和非结构化文件读写的文件类适配器,支持多种数据库访问如Oracle、DB2、SQLServer、SyBase、MySql、KingBase、Excel、Access等数据库类适配器,支持多种通讯协议如FTP、SMTP/POP3、JMS等通讯类适配器等,经过现成的适配器,减少程序员开发工作量,实现快速应用集成能力。提供的适配器基于JCA1.5规范,便于用户扩展开发自己的适配器。除了系统本身集成的适配器之外,还提供适配器开发工具,便于用户开发适合自己需要的定制适配器,并无缝集成到开发系统中。监控与管理提供基于浏览器的管理控制台,能够对监控节点、服务、组件及业务流程进行状态查询和启动/停止等控制管理。还能够对运行的应用、服务等的运行历史进行统计,如执行次数及负载情况,包括成功、失败次数、消耗时间等信息统计。监控管理功能基于JMX标准,便于简化统一管理接口,并扩展管理功能,同时方便开放API供用户访问。支持分布式应用及部署基于J2EE规范,支持分布式应用及部署,开发的服务、组件及业务流程,能够分布式部署到网络上的多个逻辑节点,实现分布式运算和应用。平台详细设计方案标准规范建设数据规范编制数据标准元数据标准。元数据是指对数据的描述,例如数据交换频率、数据字段、共享范围等信息。元数据标准制定是为各监管部门数据收集、整合与应用时提供统一的指引作用,本项目元数据标准定义市场监管信息资源的核心元数据及扩展方法,分别定义关系数据表、文件格式数据、服务数据三类格式数据的核心元数据定义,为市场监管目录设计与资源目录模块开发奠定标准模板基础;数据元标准。数据元是指数据库中字段的格式规定。因历史原因,各监管部门在信息化建设过程中,没有统一的数据标准统一开发规范,当前跨部门监管数据资源不对称、格式不统一等问题严重,本项目在整合数据过程中,数据元标准制定统一规范了跨部门监管数据的字段与格式要求,向各监管部门明确提供数据的统一格式要求,也是本平台数据ETL过程的重要标准。信用信息分类规范:为加强社会信用信息资源的记录、整合、应用,规范和指导各部门信用信息管理系统建设,将制定信用信息分类规范。规范是在梳理市信用信息资源基础上,参照省、国家信用信息相关标准规范编制而成。目录标准信息资源目录编码标准。根据资源提供部门、数据类型等提出社会信用信息目录、资源、市场监管号、资源目录版本的统一编码规则;社会信用信息共享目录。基于数据标准与信息资源目录编码标准制定规范的《社会信用体系信息共享目录》,经过定期更新发布方式提供各监管部门使用。技术规范编制开放接口接入规范为方便第三方系统接入,以加快数据实时共享性,提供丰富的数据应用方式本期为第三方系统提供开放接口,开放接口包括第三方系统向《社会信用体系信息平台》提供数据的接口,以及第三方系统应用《社会信用体系信息平台》的数据接口。数据交换接入规范提出数据开放接口的提供与应用规范,为第三方接入单位提供标准的指引技术文档。信息资源公开技术规范社会信用体系信息平台信息资源部署在政务外网环境,而信用信息等系统将部署在互联网环境。在统一的社会信用体系信息专题库下,信息资源公开技术规范将指引实现信息资源从政务外网定时推送到互联网功能。数据接口标准规范制定数据对外服务的应用接口标准,用于规范数据对外服务的接口实现数据的接口查询,包括数据查询和预警数据查询。管理办法编制管理制度本身是由人来制定和执行的,定应尽量做到科学全面,符合实际情况,使人们在接受制度管理时,能够乐于接受。平台数据归集涉及信息资源提供方、信息资源管理方、信息资源使用方、平台管理运维单位、平台建设单位等其它相关部门及人员,管理对象包括信息资源、技术平台。信息资源共享交换体系自制订管理制度分为信息资源管理维护制度、技术平台管理维护制度两类。信息资源管理维护制度1、信息资源责任公开制度经过本制度,鼓励政府部门公开本部门可共享信息资源,规范约束信息资源提供方及时、准确提供最新共享信息资源,明确信息资源提供方的信息公开职责,公开信息资源的备案制度,奖惩考核办法等。2、信息资源动态管理制度明确共享交换信息资源注册、更新、注销管理办法,保证共享数据库中信息资源的鲜活性,对共享数据库中数据实现动态管理。3、信息资源安全管理办法本办法明确信息资源提供方和使用方共享交换信息资源的安全保密协议制度,保证共享信息资源在采集、存储、备份、访问授权、传输、使用等过程中的安全。4、信息资源共享查询制度本制度明确信息资源使用方共享查询信息资源的管理流程,获取信息资源后的备案制度等。技术平台管理维护制度1、平台管理办法本办法明确信息资源提供方、信息资源使用方、技术平台管理运维单位、技术平台建设单位等其它相关部门及人员在平台运行维护、日常管理中的责权利关系,岗位职责等。主要依据《信息资源共享交换平台使用管理办法》制定本管理办法。2、平台对外服务指南本指南说明技术平台为各部门应用系统提供的支撑服务,技术平台支持的不同接入方式,每种接入方式的特点及适用范围,各政府部门、单位在将应用系统接入到技术平台过程中,应该填写的表单、所遵循的工作流程等。主要依据《信用信息资源共享交换体系规划》、《信用信息资源共享交换平台对接指南》制定本服务指南。3、平台安全运营管理制度本制度从技术平台环境设备安全、运行安全、信息安全、人员安全、运营管理、安全审计等各方面做出规定,全面保护技术平台安全运营。社会信用体系信息平台基础支撑设计大数据基础支撑分布式数据库存储系统设计本期只作设计,不包括在本期项目建设范围内。分布式、高性能、交互式SQL并行查询数据库系统,用于查询存储在ApacheHadoopHDFS或HBase之上的大数据。分布式数据库存储系统除了提供业界广泛使用的Hadoop大数据的存储平台,也提供同Hive一致的元数据、SQL语法、JDBC/ODBC驱动程序。分布式数据库存储系统是基于Hadoop及Hive的实时交互式SQL大数据查询工具,经过使用与商用并行关系数据库中类似的分布式查询引擎,能够直接从HDFS或HBase中用SELECT、JOIN和统计函数查询数据,从而大大降低了查询的延迟时间,具有较高的查询性能。分布式数据库存储系统主要有以下特性:面向实时查询,结果秒级返回兼容Hive的类SQL语法,包括自定义函数及自定义聚合函数能够和Hive共享元数据存储支持从HDFS和HBase读取数据运行时环境用C++实现,并利用了LLVM的技术,动态优化执行代码支持JDBC接口要求支持的功能还包括:高可用、高容错可配置为高可用的部署模式,即将单台主节点架设在两台主机上,一台处于活动状态,别一台处理待命状态。活动主节点响应正常操作,实时同步数据到备份主节点。活动主节点失效时,实时切换到备份主节点。数据块多副本分布式存储,保证某个数据节点失效的情况下,其它数据节点上依然有可用的数据块,保证数据不会丢失。列式存储数据是存储在HDFS之中,支持多种常见的ApacheHadoop文件格式和压缩编码。分布式数据库存储系统能够加载和查询由其它Hadoop组件,如Hive、HBase、Pig等生成的数据文件。负载均衡分布式数据库存储系统集群提供查询负载均衡功能,将查询请求分摊到不同的集群节点上执行,达到负载均衡的目的。分布式数据库存储系统集群各节点对应用是透明的,应用只需要连到一台主节点,而不用关心集群中的其它节点。在某个集群节点失效情况下,应用依然能够正常连接,负载均衡器会将请求转发到其它可用的节点上。支持多种负载均衡策略,如轮询、权重、最少连接等。范式模型支持三范式模型。灵活的视图处理。支持星形模型。三范式模型与量型模型互相转化。海量数据查询亿级数据规模下,性能全面超越商业的RDBMS数据库。TB级数据下,性能比Hive有数倍甚至上百倍的提升。更适合海量数据,特别是TB级及以上的数据处理。SQL标准兼容兼容SQL-99标准,支持大部分SQL-标准。对于DDL语句,除常规的建库、建表、建视图外,还支持表分区、表缓存等特性。DML方面,提供LOADDATA批量加载数据,能支持非常复杂的多表JOIN和UNION。支持丰富的数学、字符串、日期时间、聚集、分析函数等,还支持用户自定义函数。SQL语法基本同HiveSQL兼容,语法上同其它数据库SQL语法大致一致。ETL支持分布式数据库存储系统提供了JDBC/ODBC接口,能支持几乎所有的ETL工具产品。分布式数据库存储系统能友好支持Sqoop,将外部数据源的数据抽取到分布式数据库存储系统直接使用。也能够将分布式数据库存储系统数据导出到外部数据源。采用分布式数据库存储系统作为数据仓库,还能够简化ETL环节,在分布式数据库存储系统内进行数据转换,节省大量时间。可视化管理Web控制台提供监控仪表盘界面,对分布式数据库存储系统数据库信息、集群CPU、内存、磁盘空间、数据库会话以及节点状态进行实时监控。经过图形界面对集群进行整体控制、资源监控,也能够对单个节点进行管理,了解各节点资源使用情况,进行会话管理等。类PL/SQLDeveloperIDE的数据库管理界面,可完成建库、建表、SQL查询编辑器、执行计划、数据导入、导出、数据复制等常见操作。线性可扩展分布式数据库存储系统可经过添加廉价的服务器实现性能更好的分布式计算。随着集群节点数的扩充,其查询并发能力将随节点数增加而增大。查询的响应时间,会随着节点数的增多而缩短。可轻松扩展到上千台集群规模,满足TB甚至PB级数据查询。分布式并行查询引擎提交到分布式数据库存储系统的SQL查询由查询计划器进行解析,生成并行执行计划。各节点由下至上,并行方式完成数据局部计算,中间结果不写磁盘。分布式数据库存储系统使用Pull方式获取各节点的局部数据结果,以流式传递汇集到执行计划根节点完成计算。多级I/O压缩缓存采用列存储压缩技术,压缩存储具有较高的压缩比,压缩率最高能够达到30%以下,极大的减少I/O的吞吐量。采用零拷贝技术相比传统技术节省了一半的拷贝操作,在数据传输性能上要节省65%的时间。表缓存技术,能够提升分布式数据库存储系统数据库集群整体的内存使用率,能够提升50倍以上的I/O性能。支持第三方应用接口分布式数据库存储系统提供多种应用程序接口,包括JDBC、ODBC、CLI、Thrift等。JDBC/ODBC为第三方应用连接到分布式数据库存储系统提供了便利性。CLI(命令行界面)能够让数据库管理人员、数据仓库工程师方便、灵活的进行数据库管理、数据查询、SQL脚本调优及诊断等Thrift接口是跨语言的访问接口,能够让Java、C++、Python、PHP开发者采用一致的接口进行编程,灵活定制访问分布式数据库存储系统的数据库应用。社会信用体系舆情分析设计本期只作设计,不包括在本期项目建设范围内。采集能力要求实现对新闻、论坛、博客、微博、图片、SNS、视频网站、QQ群、云数据中心、电子报、WAP、微信、搜索、文档、境外媒体等,监测人员能够自行添加、修改、移除目标监测网站;支持多语种、少数民族语言采集;支持至少5000以上采集站点目标;支持注册论坛需要验证码的数据抓取、虚拟帐号登录等采集方式支持自动识别语言和网站编码:可对任何形式的网站进行采集(RSS、PHP、JAVA、HTML、AJAX等);基于C、C++或者C#开发的C/S架构的采集软件,能够实现客户端的自由安装,配置、可视化的用户操作管理,自由添加关键词,添加网址即加即用;数据采集引擎可视化,能够独立运行,采集引擎数据接口开放,能够推送到指定数据库,能够自动清理自定义时间段内的数据,保留有效时间段内的数据;能够自定义采集频率周期,最快频率周期必须在5分钟以内。分析单机分析效率达到每天30万条数据以上可根据自定义类似进行数据自动分类可实现专题事件的分析(网站分布、载体分布、地域分布、传播情况、趋势情况等)可实现对指定作者、虚拟身份的发帖情况分析(发帖平率、感情倾向性、敏感性等)可实现对不同站点内容进行分析,对于敏感数据进行提示等舆情预警能够经过邮件、弹窗、手机短信(短信预警不少于10人)或者自动刷新等方式第一时间获取舆情信息。支持用户定制个性化预警信息,各用户定制的个性化舆情信息只有自己能够看到;无需事先设置关键字,系统自动推送预警业务相关的数据。业务类别可按需定制;手工预警——紧急事宜可手工发送短信、邮件、页面弹窗、APP消息提示(系统截图);自动预警——支持对关键字匹配到的帖子自动发送邮件、页面弹窗、APP消息提示、声音或短信预警;报警类型必须包括:短信、邮件、页面弹窗(系统截图)、APP消息提示;报警能够针对每个事件或者领导人配置报警规则;支持将不同人员关注的不同信息发送到各自的邮箱、短信、页面弹窗、APP消息提示;预先设置预警规则的内容可在首页弹窗显示,且可对预警贴进行详情查看,并对相似文章进行统计;组合预警功能。可选择微博、论坛、博客、国内新闻、电子报刊、视频及境外新闻等各类网站与关键字组合的预警,便于实现对重点站点的针对性关注。商业智能分析平台具体技术指标要求如下:技术架构采用J2EE架构和B/S模式,采用JAVA语言开发,支持Tomcat、WebLogic、WebSphere等多种应用服务器运行平台。用户能够经过IE,Safari等浏览器进行访问。软件开发接口要求软件应提供二次开发接口,能够根据需求方便地对系统进行灵活的定制修改和功能扩展。软件集成开发要求软件应具备良好的可扩展性和集成性,应提供丰富的报表访问接口技术,支持如API接口、URL接口、WebService接口等第三方接口调用,软件还应支持与其它应用系统的单点登录集成。遵循MD模型和ROLAP理论软件在构建数据仓库时应遵循规范的“事实表+维表”的数据库模型,后台提供OLAP引擎,前台提供基于WEB的OLAP操作,并完整支持下钻、切片、旋转、钻透等操作。报表设计软件应提供在线报表设计工具,便于用户快速的编辑报表,采用图形化设计界面,类似EXCEL的操作风格,支持合并拆分单元格、任意表头、多级斜线、富文本等功能,能实现各种复杂报表的快速设计,也能实现各种图形展示的设计,如杜邦分析、组织架构图等。软件应提供自动保存报表的编辑进度的功能。分析展现方式软件应支持对报表数据和业务数据的多种展现形式,提供固定报表、多维分析报表、丰富的统计图模型、领导驾驶舱等常见展现方式。支持所有常见展现方式的钻取功能,允许用户对所有常见展现方式定义热点,经过点击热点钻取到其它报表、图形或明细。支持单元格鼠标指向的高亮显示。支持报表的行列锁定等等。统计图类型软件应提供丰富的统计图类型和样式,类型包括但不限于柱状图、饼图、折线图、面积图、条形图、雷达图、散点图、走势图、仪表盘、汽泡图、箱线图、K线图、复合条饼图等等;样式包括但不限于2D、3D、EXCEL风格、WEB风格、秋天风格、Flash风格等。同时,软件还应提供丰富的绘图功能,如杜邦分析、组织架构树等图形。公式体系软件应内置公式引擎,语法应与EXCEL非常类似,支持指标拾取,可自动分析出运算表示式中的依赖顺序,自动的按顺序计算表示式。支持除四则运算外的其它复杂的分析模式,如:取前期数据、增幅、排名、标准差、相关系数、跨主题跨报表取数等等。同时,软件还应提供自定义函数途径以满足各种不同的数据统计需求。图形化建模软件应支持图形化建模功能,能够在可视化建模界面中新建、编辑、删除主题表,将主题维度度量,主题和维度的关系用直观易懂的星形图方式展现出来,并支持用鼠标点选和拖拽的方式进行主题和维度属性及关联的增删改。报表母版软件应提供类office.ppt的母版功能,能够轻松的在报表母版中定义的格式,包括背景图片、标题字体、报表风格等等都能够作用到其它报表模板上。历史版本管理软件应提供对报表历史版本的控制服务,能够对修改于不同时期的同一张报表进行统一管理,从一张表入口管理N张不同的表。报表分支管理软件应提供报表分支管理功能,经过分支选择表示式和参数计算,轻松地设置在不同的场合计算和展示不同的报表版本。拖拽式多维分析系统应提供猜想式、求证式分析,提升报表分析的交互能力,经过鼠标拖拽操作就实现数据的分析展现,而且还可直接即兴定义指标间的列运算,同时为分析结果即时生成统计图。拖拽式多维分析的结果能够轻松的拖拽到主题门户,并在门户上可直接对结果表进行再度拖拽分析。同时,拖拽式多维分析的结果能够保存为固定方案持续使用。领导驾驶舱软件应提供领导驾驶舱功能,能够将一些关键的KPI指标简单明了的用图形或仪表盘等形式呈现给领导,能够使用报表模板拥有的所有的数据展现形式,如:地图、表格、富文本、绘图、统计图等等。Word分析报告软件能够提供WORD式分析报告的功能,分析报告中的动态内容如数字、文字、统计图、表格等可从其它报表中获取,能够像编辑WORD文件那样编辑自己的分析报告。支持基于地图的分析软件应支持地图的应用,软件自带一些地图,也能够自己上传地图。同时,还能够根据不同的数据为地图的不同区块着色,也能够实现在地图上的钻取,预警,信息提示等。数据挖掘模型软件应提供结构分析、相关分析、离散分析、弹性分析、TOPn、TOP%、聚类分析等统计分析方法,支持回归分析、ARIMA模型分析、时间序列平滑预测、季节变动预测等多种预测模型,除以上系统内置的数理统计挖掘方法,软件还应支持用户自定义相关算法并固化使用。聚集主题模型软件应支持聚集主题模型,经过聚集主题技术提高海量数据统计分析的处理效率。报表订阅软件应提供报表订阅功能,经过邮件将定时计算的报表结果发送给其它人,允许经过配置实现报表发送周期、发送时间、发送对象及发送内容等。个性化门户软件应支持门户定义功能,允许经过拖拉方式自定义BI门户,并能够提供丰富的页面显示风格和各种高级界面设置,能够对门户做全方位的规划,可为门户做权限控制。个人收藏夹软件应支持个人收藏夹功能,个人收藏夹仅当前用户可见,可收录个人比较关注的报表和拖拽式多维分析结果表。共享文件夹软件应支持共享文件夹功能,共享文件夹能够实现文件夹中的资源让所有用户都可见,还可灵活的赋予用户“写”的权限。多功能计划任务软件应具有灵活的计划任务管理功能,经过配制能够让系统定期自动执行某个功能,如定时计算、定时备份、定时抽数导数、报表批量导出等,还可定义系统内部或外部的执行任务(非定时执行),如存储过程、KettleJob、外部可执行程序、脚本等,并能随时的手工执行它们。同时,计划任务被立即执行时有参数输入和警告信息,所有类型的计划任务都支持邮件发送及简单的站内消息通知,当计划任务执行的过程中出现异常并退出之后,软件能够继续重试。元数据管理软件应提供元数据管理功能,可管理包括如主题表的描述信息、维表的描述信息、度量和维度的描述信息、报表的定义、查询的定义、门户、权限信息等等。权限多维度控制软件应支持多维度的数据权限自动限定,应能够经过任意维度数据的相关设置来实现,比如,对于同一个OLAP分析,市局用户查看、钻取出的结果是全市数据,某分局用户查看、钻取到的结果是该分局的数据,或者同时,市局钻取的是全市所有纳税人业务的数据,而分局只能看到本分局申报业务的数据,这样就能够对用户的权限进行地区维度和税收业务维度进行权限的控制,以严格防止数据的越权访问。打印输出软件应支持将报表的计算结果导出成一个PDF、Excel、Word、Csv、TXT、HTML文件,报表以DHTML形式展示,能自动实现多行分页功能。同时,软件还能够所见即所得的形式预览、打印报表,支持分页打印和分栏打印,并可设置分页后自动补足行列;可设置页眉页脚,支持套打、打印背景图片,可定义行、列或表头是否打印或导出,也可成批打印报表,支持自动打印、按比例打印、撑满版心打印、自适应纸张打印、套打打印等打印方式的设置。系统日志记录软件支持日志记录功能,可涵盖系统所有的操作,如报表设计、修改、计算,用户的登录注销,服务器的维护,用户管理和权限分配,系统异常等。同时还应提供专门的日志查询和清理入口,方便的监控软件运行情况。集群部署软件应支持集群部署,支持主流的中间件如Websphere、Weblogic、Jboss、Tomcat等上的集群部署,任意节点可查看和管理其它集群节点,集群节点可随时动态加入或退出,对某个服务器实例状态的修改,也会自动同步到集群环境中的其它节点服务器上而无需重启各节点服务器。OLAP操作软件应提供多功能的OLAP操作,如钻取切片。软件应支持多样的钻取模型,如本表向下钻取、本表钻取子表并显示在本表的具体位置、本表钻取子表并直接跳转到子表界面、本表钻取统计图、本表点击后下拉菜单进行选择性钻取,还能实现URL链接、图片、附件等模式的钻取功能。同时软件应支持数据切片,如从地区钻取变换到根据时间进行钻取,从而能对数据进行多角度的分析展现。多种数据源定义软件应支持当前主流的数据库系统,包括Mysql、Sqlserver、DB2、Sybase、Oracle、Netezza、Greenplum、Gbase等等主流的关系型数据库服务,同时系统还应内置强大的取数接口,经过配置相关的JDBC连接池建立多数据库连接,能够轻松连接到不同数据库用户甚至不同的数据库类型的用户,进行数据的调用。支持多语言国际化版本软件应针对不同的业务需求,对于跨国企业或者外商外企提供多语言模式的产品版本,如英文等国际化产品版本。备份与恢复策略软件应提供数据备份的功能,防止系统因意外中断而发生数据丢失,数据备份能够基于报表,也能够基于主题集和主题域,还能够基于整个服务器,同时对备份的文件进行恢复的时候能够进行选择性的恢复操作。指标定义语义转换软件应能够针对后台数据库表的语法对前端数据模型进行语义层转换,经过定义指标的标题、主题表的标题、维表的标题,能够对数据的业务含义进行有效的把控,软件还应支持建立数据模型时直接获取数据库表comment字段值作为相关指标的标题而无需逐个定义。移动应用产品应支持在移动设备上的访问和使用,如PAD,手机等。同时,允许离线使用报表,支持在报表计算结果上进行圈阅并发送给指定用户的邮箱,也能够将报表计算结果界面截屏并发送给指定用户邮箱。提供app应用使用方式,

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论