可视化数据管理与发布工具VisualDB设计与功能介绍

1、可视化关系数据库管理发布系统VisualDB中科院计算机网络信息中心 科学数据中心 报告提纲nVisualDB概述nVisualDB功能介绍nVisualDB应用现状与展望VisualDB概述n开发背景n设计目标n版本开发历史开发背景n来源于科学数据库csdb项目n2002年，建库任务的提出n纳米科技基础数据库（10个子库）n中国纳米专利公开库n中国纳米专利授权库n国外纳米专利数据库n纳米成果数据库n纳米课题数据库n纳米专家数据库n纳米测试技术数据库n纳米材料性能数据库n纳米文献摘要数据库n纳米器件数据库开发背景n功能需求：n增、删、改、查（2）；n概览、细览；n数据之间存在关联；n数据类型的

2、多样性：n文件、字典、日期、链接、图片、音频、视频、HTML数据录入数据录入数据更新数据更新数据检索、浏览数据检索、浏览开发背景专利数据库增加删除查询修改浏览查看专家数据库增加删除查询修改浏览查看成果数据库增加删除查询修改浏览查看n如果面对每个子库进行开发：n10 * (4 * 2 2) = 100页面n数据访问逻辑开发背景专利数据库增加删除查询修改浏览查看专家数据库增加删除查询修改浏览查看成果数据库增加删除查询修改浏览查看XX数据库增加删除查询修改浏览查看配置专利数据库专家数据库成果数据库VisualDB VisualDB面对的问题n大量的、异构的关系型数据库需要发布；n不要依赖于某种特定的

3、操作系统以及关系型数据库管理系统； 普适性n如何解决图片、视频、图文混排等非格式化数据的存储与显示？ 不要依赖于物理模型n需要区分数据管理员与数据用户的权限； 用户访问控制n需要满足数据的浏览、检索功能需求； 数据的录入与发布n支持多个子库，并需要提供为子库进行配置的界面； 目录n方案要足够简单、足够笨； 自动化、半自动化更多的需求n不要让每个子库的显示界面一模一样！定制化n需要开发其它的功能（如：统计）怎么办？能基于VisualDB吗？二次开发接口n数据类型不够用怎么办？类型库及其接口n需要在远程访问VisualDB数据，可以吗？远程访问接口VisualDB的设计目标n总体目标：n屏蔽差异性

4、：数据库产品差异、存储位置的差异、结构的差异n让数据的访问更加安全n让数据的情况一目了然n让数据对象在网络中自由传输交换VisualDB的设计目标nVisualDB=DB+?DB访问记帐库数据量（质量）统计库记录索引库WebUIWeb ServicesTools文档资源库用户访问控制库VisualDB+VisualDB的设计目标n为建库人员：n针对关系型数据库n可视化的、可配置的n数据录入、更新、发布n无需编写代码，即可完成对数据库的内容发布，提供数据的检索和浏览服务n为数据应用开发人员：n模块接口便于扩展（认证、授权模块）n为二次开发提供数据访问接口（API&服务）n每个页面可以灵活

5、定制，并且能够方便的引用到数据需求分析，概念建模需求分析，概念建模逻辑建模逻辑建模应用开发，数据著录应用开发，数据著录应用开发，数据发布应用开发，数据发布应用开发，数据统计分析应用开发，数据统计分析抽取物理模型抽取物理模型自动生成自动生成数据管理界面数据管理界面自动生成自动生成数据发布界面数据发布界面自动进行自动进行数据统计分析数据统计分析物理建模物理建模配置数据目录配置数据目录传统传统应用应用开发开发流程流程VDB环境环境对应用开发流程的影响原型系统csdb数据访问层WEB-UDB1.0UDB-HOSTINGWEB-UDB1.220022002年年吴开超、何洪波、吴开超、何洪波、沈志宏沈志宏

6、20032003年年吴开超、沈志宏、吴开超、沈志宏、昝振宇昝振宇20042004年年沈志宏、昝振宇、沈志宏、昝振宇、查新征查新征20052005年年沈志宏沈志宏20062006年年沈志宏、昝振宇、沈志宏、昝振宇、杨新梅杨新梅VisualDB1.0发布版本20082008年年沈志宏、王丙林沈志宏、王丙林重构重构虚拟主机虚拟主机页面定制页面定制稳定版本稳定版本合并合并正式发布正式发布VisualDB1.2发布版本版本历史重构重构20082008年年沈志宏沈志宏VisualDB1.3发布版本重构重构20092009年年沈志宏沈志宏nVisualDB功能介绍n软件模块n功能模块组成n使用流程n各模块功

7、能介绍n总体特性Visual DB 软件模块工具接口数据访问核心模块csdb-commons-dbcp/csdb-commons-orm/csdb-jdbcxspring/struts/velocity/taglib/jQuery/ajax/json/EHCache/hessianvdb-ormjdbcxvdb-daovdb-cachevdb-catalogtypelibToTvdb-templatesvdbsecurityvdbaccoutingvdb-service(ws)jsoQuery(json)vdb catalogbuildervdb editor(DataForge?)vdb p

8、ublisher(mydb)vdbexplorervdb datasetregistryvalidationrules engineadaptersimport/exportvdbstat.vdb-dbcpREST interfacehessian模块组成MyDB ：网站前台提供数据的检索和浏览界面DataForge：数据管理提供数据的录入界面CatalogBuilder：目录管理提供目录的配置管理SecurityCenter：安全中心提供数据的安全策略vReports：统计分析对数据、数据访问进行统计使用流程操作步骤nStep1. 安装VisualDB操作步骤nStep2. 系统管理员完成目

9、录的配置 操作步骤nStep3.系统管理员为用户分配权限操作步骤nStep4.数据管理员进行数据录入操作步骤nStep5.数据用户进行数据检索各模块功能介绍nCatalogBuildern目录是VDB的核心所在，系统管理员的大部分工作都在使用CatalogBuildern本地域属性n设置网站的基本属性和框架结构n设置数据集的发布风格n数据集模型n支持一个域多个数据集n设置数据集的逻辑模型（实体、关系、查询）CatalogBuildern本地域属性设置基本属性基本属性设置设置显示风格显示风格设置设置网站发布网站发布CatalogBuildern数据集维护数据集列表，数据集列表，可进行添加可进行添

10、加和删除和删除CatalogBuildern数据集属性设置数据集基本数据集基本属性的设置属性的设置数据集连接数据集连接属性的设置属性的设置CatalogBuildern实体设置实体基本属实体基本属性的设置性的设置实体主键实体主键的设置的设置CatalogBuildern实体包含属性设置实体的属性实体的属性列表：可进列表：可进行修改、删行修改、删除、新增等除、新增等操作操作实体某个属实体某个属性的设置性的设置CatalogBuildern查询设置查询列表的维护，查询列表的维护，可对查询进行修改、可对查询进行修改、删除、新增等删除、新增等某个查询某个查询基本属性基本属性的设置的设置CatalogB

11、uildern关系设置一对多关一对多关系的设置系的设置多对多关多对多关系的设置系的设置关系列表的维关系列表的维护：新增、修护：新增、修改、删除改、删除CatalogBuildern视图设置视图的设置视图的设置数据类型编辑风格显示风格整数类型整数类型单行文本框单行文本框数值标签数值标签实数类型实数类型单行文本框单行文本框文本标签文本标签文本类型文本类型单行文本框、多行文本框、密码输入框单行文本框、多行文本框、密码输入框文本标签、密码显示、文本标签、密码显示、HTML显示显示时间类型时间类型日期控件、日期时间控件日期控件、日期时间控件日期输出、日期时间输出日期输出、日期时间输出枚举类型枚举类型单选

12、按钮、普通下拉框、下拉弹出框、单选按钮、普通下拉框、下拉弹出框、弹出窗口弹出窗口枚举输出枚举输出HTML类型类型HTML编辑器编辑器文本标签文本标签超链接类型超链接类型文本输入框文本输入框文本标签文本标签表达式类型表达式类型组合标签组合标签本地文件本地文件多行文本多行文本附件列表附件列表文件类型文件类型文件控件文件控件附件列表、图片列表、视频列表附件列表、图片列表、视频列表引用类型引用类型单选框、下拉框、弹出窗口单选框、下拉框、弹出窗口简单显示简单显示集合类型集合类型标题格式、表格格式标题格式、表格格式标题列表、表格列表标题列表、表格列表VDB 自定义数据类型数据库各模块功能介绍nMyDBn浏

13、览：支持分页、排序、多种显示风格n查看：支持多表关联n检索：针对所有可检索字段进行组合查询MyDB不同的浏览风格显示哪些显示哪些字段由目字段由目录指定录指定MyDB分页 和排序支持排序支持排序支持分页支持分页MyDB实体显示实体显示虚拟实体虚拟实体显示显示MyDBMyDB详细信息显示字详细信息显示字段可配置段可配置MyDB关联信息关联信息显示显示MyDB查询查询MyDB配置索引配置索引跨库检索跨库检索各模块功能介绍nDataForgen增加、删除、修改、审批n浏览与检索n数据校验n数据导入导出n日志查看数据库DataForge多行文本框多行文本框日期控件日期控件文件控件文件控件弹出窗口弹出窗口

14、不同的编辑风格如何显示编如何显示编辑控件由目辑控件由目录指定录指定下拉控件下拉控件DataForge不同的编辑风格本地文件类型本地文件类型DataForge不同的编辑风格本地文件显本地文件显示方式：支示方式：支持下载持下载DataForge基本信息基本信息关联信息关联信息基本信息与关联信息的录入哪些信息哪些信息需关联由需关联由目录指定目录指定标题编辑方式标题编辑方式表格编辑方式表格编辑方式DataForge客户端校验客户端校验客户端校验客户端校验如何校验由如何校验由目录指定目录指定对数据的校验DataForge新增记录成功新增记录成功新增记录DataForge查询框查询框记录浏览记录浏览点击按

15、字段点击按字段排序排序记录的浏览、检索默认排序默认排序方式由目方式由目录指定录指定DataForge数据导入数据导入记录的导入导出指定字段指定字段数据导出数据导出指定方式指定方式DataForge记录的删除级联删除一级联删除一对多记录对多记录删除多对多删除多对多关系关系删除主记录删除主记录DataForge数据访问日志数据访问日志查看日志数据修改日志数据修改日志各模块功能介绍nSecurityCentern增加、修改、删除用户组信息、管理组内用户、用户组授权n增加、修改、删除用户信息、设置用户组、用户授权SecurityCenter角色描述系统级系统管理员具有所有权限数据管理员可以使用Data

16、ForgeWeb Service用户资源共享接口数据集级数据表级 数据录入员 可以录入、更新指定数据表记录级数据审核员 可以审核指定数据数据编辑员 可以编辑指定数据数据查看员 可以查看指定数据SecurityCenter资源过滤器描述系统资源过滤器所有数据表中所有数据本组数据表中本组用户录入的数据个人数据表中个人录入数据自定义资源过滤器自定义可以任意对数据表中记录进行分类比如 select id from tablename where column100等等SecurityCenter自定义资源过滤器自定义资源过滤器SecurityCenter用户管理用户管理用户组列表用户组列表用户组授权用

17、户组授权SecurityCenter用户组管理用户组管理用户列表用户列表用户授权用户授权SecurityCenter权限不足提示权限不足提示没权限针对表进没权限针对表进行修改行修改记录的审核、修改、记录的审核、修改、删除都做了权限控制删除都做了权限控制各模块功能介绍nvReportsn统计分析是VDB的主要功能模块之一；n数据质量指标统计n数据集数据量大小，数据实体数据量大小，记录条数，字段在关系数据库中的空间利用率等 n数据访问统计n数据集访问统计n当日分时段，分访问来源，分日期区间，访问关键字统计，分实体统计，分操作统计，高频访问IP统计等 n数据实体访问统计n当日分时段，分访问来源，分日

18、期区间，访问关键字统计，分操作统计，高频访问IP统计等 vReports数据质量指标表格显示表格显示利用率细览利用率细览总空间大小总空间大小数据集文件数量数据集文件数量数据集大小数据集大小最后更新时间最后更新时间vReports数据质量指标历史对比历史对比图表显示图表显示vReports数据访问统计24小时实时统计小时实时统计增删改查情况增删改查情况日期时间段访问情况日期时间段访问情况vReports数据访问统计访问来源统计访问来源统计增删改查情况增删改查情况其它主要统计报表其它主要统计报表总体特性n普适性n采用java平台无关性语言开发，可在Windows/Linux等操作环境下安装运行nV

19、isualDB支持流行的RDBMS（关系型数据库），并有效屏蔽底层数据库的异构性。支持的RDBMS包括：Oracle、SQLServer、MySQL、Access、PostgreSQL、HSQL、SQLite、derby等，此外，VisualDB还支持ODBC数据源。总体特性n普适性n提供多种主题供用户选择总体特性n易用性nVisualDB基于流行的B/S结构开发，最终用户只需要IE浏览器即可进行数据的管理和访问n实现零开发，用户通过简单的配置即可以实现数据的编辑和显示、检索、以及字段排序等功能，无需编写一行代码总体特性n易用性n完全可视化，高度可配置性，用户基本可以脱离后台数据库系统体验数据

20、库的建设，无需专业的RDBMS背景总体特性n易用性n轻松实现跨库索引总体特性n易用性n数据导入导出，轻松自如总体特性n安全性n通过对用户访问控制的增强，提供用户授权机制，更有力的保护数据总体特性n性能n快速的响应速度，支持每秒至少50+的并发请求处理。总体特性n可扩展性nRDBMS驱动ntypelib数据类型、编辑器、显示风格n访问控制模型n如何获取可扩展性？n软件升级n二次开发总体特性n对二次开发的支持n提供服务器端的模板语言，允许开发者使用VTL（Velocity Template Language）定制页面和typelibn提供浏览器端的javascript对象模型，允许开发者在浏览器通过js脚本获取数据n开放的数据集模型，能够导出XML格式，达到与其它应用之间的模型通讯总体特性n其他特性n脱离物理模型，面向对象建模，更加直观总体特性n其他特性n记录数据的增、删、改、查、审所有操作，让数据拥有者对数据的使用情况更加放心总体特性n其他特性n提供数据集的数据量、记录数、字段利用率等信息，数据质量尽在掌握总体特性n其他特性n通过cache、ORM机制，提供高效的数据对象操作接口 nVisualDB应用现状与展望nVisualDB应用案例n版本更新计划应用案例VisualDB纳米科技基础数据库中