资讯数据中心交流课件

资讯数据中心目录需求分析数据中心规划与设计数据中心技术方案港澳资讯优势分析

典型案例介绍需求分析—（重复采购、信息孤岛）资讯数据需求分析—数据中心是什么？数据源数据中心ETL采编系统ETL监控系统数据发布系统通用展示系统维护系统数据接口服务数据源数据源需求分析—数据中心建成示意图元数据管理采编系统知识管理平台CRM系统VIP服务终端网站服务营业部专栏短信服务数据中心客户经理平台营销服务平台需求分析—建成数据中心受益点01统一了公司数据接口02不同级别信息用不同方式服务于不同级别客户所需的数据可以由数据中心统一提供03降低了系统对某一数据供应商的依赖度04打通了内部所有系统的数据流规划与设计01数据源02数据采集、清洗（ETL）03数据发布、维护、应用04数据展现与接口开发规划与设计—数据源（分类）序号分类原则分类说明01投资品种股票/基金相关投资品种的基本资料、交易报价、重要事项、财务业绩、投资分析等数据债券/权证利率/外汇期货/商品02投资群体机构发行、监管、中介服务、投资等机构；公司高管、相关机构从业人员、管理人员、监管机构高层领导等个人03投资环境宏观环境宏观经济、国际经济数据中观环境行业经济、区域经济数据04数据结构结构化交易行情、财务报表、统计月报等数据非结构化财经新闻、研究报告、法律法规、公司公告等文本资料以及图片、视频等媒体资料05数据加工基础数据公开披露的各种金融资讯数据及宏观行业统计的不可衍生计算的基础信息衍生数据根据基础数据进行简单运算得到的衍生信息模型数据基础信息和衍生信息通过分析模型计算生成的信息06数据来源外购数据向不同的资讯供应商外购各金融资讯数据内部数据公司内部的研究报告、投资建议、分析模型数据等其他数据其他需要入库的数据规划与设计—数据源（内容）序号内容说明01财经新闻财经、证券类动态信息02基础数据包括股票、债券、基金、权证及衍生品等基本资料03行情数据各证券品种及指数行情数据及金融工程所需的高频数据04宏观数据权威部门发布的各类宏观数据05行业数据包括各行业产量、指数、财务、价格数据等06研究报告公司自己的研究成果07交易数据公司交易用户的历史交易数据08专供数据为服务定制的各类信息产品、股票池及投资组合等09短信数据需要短信服务于客户的专用数据10衍生数据各类风控、资产评估等模型所需要的衍生数据规划与设计—数据源（流向）外购数据数据清洗|数据整合|数据校验原有内部数据其他入库数据资讯数据中心临时库

|风险控制|知识管理|估值评价|其他应用|

研究人员数据维护信息提取其他用户信息数据加工者信息数据生产者信息数据使用者J2EE/.Net信息数据提取者各类型应用数据库各类型服务产品数据库港澳资讯规划与设计—（采编系统）自有信息采集规划与设计—ETL（数据处理）结构化数据通常是指被记录信息的类型,格式等属性是固定的，比如：交易行情，各种财务报表等，数据中心通过ETL和专用系统来实现结构化数据的导入主要支持的数据源：各种数据库（oracle,db2,mssqlservermysql等所有主流数据库）XBRL（可扩展商业报告语言）XML，DBF，EXCEL等结构文件Bloomberg数据接口，大智慧行情接口等WebService等各种服务接口非结构化数据是指被记录信息的数据长度和格式等是不固定的，比如：网站上新闻内容，WORD，PDF等文件内容。对于非结构化数据处理，数据中心提供了网站抓取识别系统等系统实现智能导入。对于没有办法自动识别的数据通过数据中心信息采集系统手动采集。可以自动识别的非结构化数据：邮件接收和分拣HTML，WORD，PDF等各种网站的抓取规划与设计—ETL（监控）规划与设计—数据发布数据发布系统是作为任务调度系统的一个插件，实现数据中心到各种数据库的数据发布功能，支持局域网和internet。发布系统主要特点：发布配置简单，选择需要发布的内容和目标数据库系统就会自动发布数据过去。支持历史数据发布功能，以天为单位补历史数据。支持所有主流数据库。支持发布时过滤功能。支持数据库间字段自动匹配，也就是目标数据库结构可以不同，发布时自动匹配相同字段。支持发布数据到EXCEL和WORD。规划与设计—数据应用序号应用01其他自有和特有数据的ETL开发02个性化数据衍生计算03全文检索服务04资讯数据展示05后台维护技术方案—数据中心成败关键1.可靠性，稳定性。2.开放性。3.功能灵活性。根据我们在数据中心的实施经验，数据中心建设能否成功的关键在于：技术方案—采用技术数据中心系统整体方案是采用oracle+java+开源框架的体系。系统模块技术数据中心数据库oracleETL转换kettleETL监控系统java数据源跟踪系统java数据发布系统java+ibatis+kettle信息采集系统springmvc+spring+ibatis信息展示系统springmvc+spring+ibatis技术方案—相关技术说明根据经验数据中心目前容量容易已经接近1T，这么大的容量已经达到微软sqlserver处理的极限，所以采用Oracle数据库。操作系统的稳定性对数据中心稳定性影响很大，为了提高数据中心稳定性，我们采用比WINDOWS更加稳定的Unix/Linux。开发工具我们选择JAVA，因为当前企业应用JAVA是应用最广泛的，拥有各种成熟的技术，在企业应用中比dotnet更加成熟。Dotnet目前只能应用于WINDOWS平台，服务器仅限于IIS在系统支持上较JAVA平台差很多。WINDOWS的稳定性和可靠性差是有目共睹的。JAVA社区里各方面都有成熟稳定的技术框架，所以在整个数据中心开发过程中，能借用开源力量的，我们就不会从头开发，而是采用开源框架进行二次开发，这样保证了我们的系统的可靠性，同时提高了生产力。数据ETL工具是数据中心最核心的部分，我们考查了大部分的主流ETL系统，最终我们选择了开源的Kettle，在Kettle基础上开发出适合证券行业特点的ETL系统。

案例介绍1-中投数据中心建设建立集中数据中心，供各个部门使用；实时跟踪全国的最新行业信息，并对信息进行分类整理加工，包括决策参考和专题市场调研报告；决策参考包括行业产品报价数据、行业经济要闻、行业深度分析报告、参考文献和案例研究等；专题市场调研报告是各行业的深度分析报告；数据来源包括资讯商提供的数据，主要行业网站的信息采集等。案例介绍1-中投数据中心截图案例介绍2-VIP客户资讯服务券商名称项目名称说明国泰君安智博汇交易用户差异化资讯服务中信金通投资顾问服务平台客户经理工作平台，并对客户提供差异化服务中信万通理财通给客户经理及资产20万以上（分级）用户提供差异化服务光大证券金阳光建立客户级别升降机制，对不同级别用户提供差异化资讯服务中信证券核心客户资讯服务平台为资产在100万以上用户及客户经理提供此资讯服务平台申银万国精英会2万名核心客户及分析师案例介绍2-VIP客户资讯服务（续1）案例介绍2-VIP客户资讯服务（续2）基础资讯研究报告自编信息CRM交易数据先集中（数据集中）应用接口开发（数据应用、数据管理）差异化资讯服务目录需求分析数据中心规划与设计数据中心技术方案港澳资讯优势分析

典型案例介绍港澳资讯的优势公司实力公司的理念数据+IT服务有专门的数据中心团队，持续服务能力产品线丰富，整合方便系统基于oracle+java+linux/unix，安全稳定实施成功案例多优势分析-股东实力港澳资讯产业股份有限公司（“港澳资讯”）是一家国内领先的金融信息服务公司，为企业客户和投资者提供专业的财经信息服务以及技术解决方案。

公司成立于1994年6月，是国内最早的金融证券资讯服务商之一；

2000年获证监会投资咨询资格；

2001年7月改制为股份制公司；

2007年8月大股东变更为新华都实业集团股份有限公司，原微软中国总裁唐骏先生担任董事长。优势分析-股东实力（续）

公司明确打造金融资讯以及IT技术研发两大核心竞争力。在金融资讯方面保证数据库数据来源的合法、稳定并和相关的特供数据服务商如指南针等建立合作联盟；IT技术研发就是要加强金融服务机构个性化差异化服务实施的开发、维护能力，并已经和相关公司如中软、通达信、携宁等进行合作。随着新华都的加入，公司会加强技术研发力量投入。优势分析-数据库案例序号券商名称使用港澳资讯数据库情况创新类券商（29家创新类券商的市场占有率约为59%

）01国泰君安证券股份有限公司gazx3.002中银国际证券有限责任公司gazx3.003国信证券有限责任公司gazx3.004东方证券股份有限公司gazx3.005海通证券股份有限公司gazx3.006国元证券有限责任公司gazx3.007长江证券有限责任公司gazx3.008国都证券有限责任公司gazx3.009上海证券有限责任公司gazx3.010宏源证券股份有限公司gazx3.011红塔证券股份有限公司gazx3.012兴业证券股份有限公司gazx3.013第一创业证券有限责任公司gazx3.014齐鲁证券有限责任公司gazx3.015山西证券有限责任公司gazx3.0(部分)16西部证券股份有限公司gazx3.0(部分)17东海证券有限责任公司gazx3.0(部分)优势分析-数据库案例（续）规范类券商（对31家规范类券商的市场占有率约为65%

）01广发华福证券有限责任公司gazx3.002中信万通证券有限责任公司gazx3.003国盛证券有限责任公司gazx3.004国海证券有限责任公司gazx3.005中原证券股份有限公司gazx3.006财通证券有限责任公司gazx3.007首创证券有限责任公司gazx3.008河北财达证券经纪有限责任公司gazx3.009东吴证券有限责任公司gazx3.010恒泰证券有限责任公司gazx3.011广州证券有限责任公司gazx3.012大同证券经纪有限责任公司gazx3.013华创证券经纪有限责任公司gazx3.014东莞证券有限责任公司gazx3.015太平洋证券有限责任公司gazx3.016民生证券有限责任公司gazx3.017德邦证券有限责任公司gazx3.018渤海证券有限责任公司gazx3.019万联证券有限责任公司gazx3.020长城证券有限责任公司gazx3.0优势分析-项目开发案例项目名称上线时间简要说明中信核心客户服务平台2008交易用户服务工具，计划服务10％核心交易用户，为分类客户提供分类理财资讯服务。中信金通投资顾问工作平台2008投资顾问和客户经理工作平台，加强内部沟通及服务共享，方便客户经理及时为客户提供量身定制的服务。安信证券投行信息系统2008投资银行协调工作系统，实现BlackBerry手机移动办公。红塔证券投资决策平台2008供研究所和自营部门的投资决策辅助工作平台。齐鲁证券CRM数据中心2008CRM应用数据服务支持。招商证券研发工作平台2007严究所内部工作服务平台，集研报管理、客户服务、研究考核、股票池等专有研发功能于一体。中信万通理财服务平