四川高速公路联网收费系统数据查询分析平台

1、四川省高速公路联网收费系统数据查询分析平台二期工程项目软件功能测试规范1 测试背景四川省高速公路联网收费系统数据查询分析平台（以下简称“数据平台”）已经完成了一期工程的建设工作，主要实现了硬件平台的搭建工作。在此基础上，即将启动二期工程主要通过配备不同功能和应用软件，提升数据平台整体效能。2 测试目的本次测试属于四川高速数据平台软件选型测试，测试目的旨在根据实际业务需求，在现有数据平台基础上，对各类软件进行实测，并形成测试报告，为下一步四川高速数据平台项目的实施方案提供技术支撑。3 测试内容本次测试的主要内容包含五类软件产品，分别为数据同步（CDC）软件，数据抽取和转换软件，BI报表工具、BI

2、算法建模工具组件和数据智能分析搜索软件。其中，BI算法建模工具组件和数据智能分析搜索软件为选测内容，其余四类软件产品为必测内容。测试的主要技术内容分为软件技术指标和测试用例场景。本次测试时间为2-3周，测试的相关工作由本单位配合受测厂家完成，测试技术报告需由双方最终共同确认。测试过程产生的所有费用需由受测厂家自行承担，本单位不收取受测单位任何检测费用。在测试过程中，如破坏了现场原有的设施设备，应立即恢复到原始状态，测试过程中导致的人员和（或）财产的损失或损害由受测厂家承担全部责任。4 软件技术指标以下指标为软件产品的主要技术指标（不限于此），受测厂商提供的软件产品必须满足。4.1. CDC技术

3、指标1) CDC要求必须是成熟的软件平台产品，而非定制化开发。2) 支持跨平台的数据复制，支持System P, System I，x86/x64，SPARC平台，支持AIX，IBM i OS, Redhat，Suse，SUN Solaris，MS Windows等操作系统平台；3) 支持DB2, Green Plum，Informix，Oracle，Sybase，MS SQL Server等主流数据库。4) 支持多种数据目标端，如数据库，文件，消息中间件，ETL工具等，支持与ETL工具的无缝结合。5) 支持单向复制，一对多复制，多对一复制，双向复制，级联复制, 远程复制等灵活的复制方式。6)

4、 支持复制过程中的数据转换功能，如数据的Lookup，数据的计算，数据字段的合并等操作，便于扩展，在复制的不同阶段能够有User Exit供扩展。7) 支持基于日志的数据复制方式。8) 支持全量数据复制，持续增量的数据复制，以及阶段性的数据复制等多种复制方式。9) 支持一些数据库日志中的审计数据的复制，如时间戳，用户代码，操作类型等等。10) 支持错误报警的机制，能够在出现故障的环境有包括发邮件等不同形式的报警，支持冲突的机制，对于数据冲突的解决提供多种途径。11) 保证数据的完整性，在出现异常情况如数据库和系统宕机，网络中断等情况下，能够保证数据不丢失。12) 在保证数据同步效率的情况下，有

5、合适的机制，保证能够把对源端的影响到最小。13) 有图形化管理界面、配置和监控界面，易于使用，便于上手。4.2. 数据抽取和转换软件技术指标1) 要求必须是成熟的企业级软件平台产品，而非开源或定制化开发。2) 支持主流硬件平台和操作系统，如Windows、AIX 、UNIX、Linux等。3) 支持多种数据库接口，支持多数据源和目标。支持Green Plum, DB2, Oracle, SQL Server，Sybase, Informix等主流数据库的专用数据库驱动接口。支持包括文件、消息队列、xml等应用接口。4) 统一的元数据库，支持：DB2, Oracle, SQL Server，Gr

6、een Plum作为元数据库类型。5) 设计任务流程时不需考虑并行架构，按照顺序进行设计，并行执行自动按照配置文件分区执行。当硬件配置更改时，不需要修改任务，只需要修改配置文件。6) 应支持从抽取到转换的多种装载策略，减少对硬盘的读写，从而提高性能。7) 支持数据ETL各关键环节的各种数据处理功能，包括但不限于数据整合、拆分、清洗、转换、汇总、筛选、计算等功能组件。8) 有统一调度、监控和管理的功能，支持支持校验点恢复，具有完整的日志管理功能,并且有相关的图形化的监控机制。9) 具备错误监控处理机制，可以对交互的过程和状态进行监控，支持失败时的错误恢复等，具有完备的错误日志。10) 支持完整的

7、备份恢复功能，支持一个工程或单个作业的恢复备份。11) 线性开发, 并行配置，数据抽取和转换过程支持并行处理，包括SMP、MPP和cluster架构。4.3. BI报表工具技术指标1) 单一的BI产品，单一的架构，产品发展规划清晰成型，同一个功能只需由一个产品模块实现，而不是多个产品或多个模块功能重叠。2) BI Server集群功能，能够实现对等网络的集群功能，而不是主从式集群方式。停掉集群中的任意一台BI Server，整个BI系统仍可正常运行。3) 通过统一服务向用户提供完整的BI应用，包括了即席查询、专业报表、多维分析、仪表盘、计分卡等功能。4) 产品所有模块使用统一、集中的安全认证，

8、支持LDAP, NTLM, Active Directory, Netegrity等各种标准安全认证机制，支持在WEB传输中对数据进行SSL加密。允许提供自定义认证接口，方便与用户的Portal集成。5) 提供完备的多维分析功能，包括数据的上钻、下钻、旋转、切片功能。对于多维分析，支持保存即发布的方式，不需要另外的发布工具。支持非IT人员直接使用多维分析功能，方便高级的业务分析员分析数据，包括Top/Bottom N，数据集合并，排序，过滤、标注等功能。6) 能够实现任意路径的钻取，上钻功能不允许借助IE后退键来实现。在多维分析的报表中提供右键菜单功能。7) 提供高性能OLAP多维分析服务器，

9、支持大规模并行加载和查询处理，支持以文件形式高效的存储多维立方体，支持对多维立方体进行虚拟分区。OLAP 分析支持用户自定义子集功能。8) OLAP 分析支持图表一起展现和图表联动，支持柱图，饼图，折线图，堆积图，面积图等各种常用图形。9) 支持从Cube和Cube信息之间的钻取，支持从Cube和关系型数据库信息之间的钻取。4.4. BI算法建模工具组件1) 提供多个经典数据分析算法函数，支持第三方语言编程，可进行不同平台下的软件二次开发。2) 支持多种数据源的输入和输出，数据分析结果可多种图形化和表格的显示和导出。3) 支持与BI报表工具的无缝集成，数据分析挖掘的结果可以无需手工编译代码即可

10、展现到BI平台上。4.5. 数据智能分析软件技术指标1) 产品本身支持分析搜索功能而不需要与其他搜索分析平台集成。2) 不需要预定义搜索分析路径或查询要求，自由浏览数据。3) 搜索支持全文搜索，也可以基于维度层级搜索，支持搜索的关联优先规则，可以逐步过滤数据，每次过滤的条件都会被保留，用户可以任意增加或删除过滤条件。4) 支持用户前端自助式分析，用户在前端可以自由拖拽各种可视化分析的图表，进行需要的分析。5) 支持用户自助式上传数据，用户可以自己上载一个或多个数据集（包括结构化数据和非结构数据），不需要建立语义模型的工作，在前端就可以直接对数据进行分析，同时分析的图表直接支持夸多个数据集。6)

11、 支持多种图形展现方式，包括文本的展现，支持地图分析功能，支持地图上上钻下钻，地图上颜色根据指标进行动态渲染，支持基于地图的搜索和过滤。7) 支持数据混搭，可以同时处理结构化数据或非结构化数据或者是结构化和非结构化的关联。8) 支持多种数据源，包括对Hadoop数据的原生支持，支持多种文件格式数据的支持，包括pdf, word, txt以及email系统等。9) 支持对数据的自动建立索引，不需要手工指定。10) 产品提供完整的安全管理功能，支持自定义的安全集成，支持数据的权限管理，不同的用户自只能查看其权限范围的数据。11) 提供系统审计功能，记录用户登录，访问、浏览报表和数据分析等各种系统内

12、操作。12) 提供系统监控功能，通过图形化方式记录系统对资源的使用情况。5 测试准备5.1. 受测厂商人员要求受测厂商必须指定1名授权代理人，并按要求提供授权书和公证书。授权代理人代表受测厂商参与整个测试活动。受测厂商必须配备足够技术人员，测试过程中常驻现场的技术人员不少于1人。5.2. 测试环境和设备受测单位前期应作好现场测试环境的基本信息收集工作，现有环境位于厅监控结算中心（绕东服务区）内，受测单位若有需要，可自行到现场实地了解，收集相关信息。本单位提供必测软件所需的软件服务器3-4台，硬件配置如下： CPU：16核，采用2颗Intel Xeon E5-2640V3, 2.6GH

13、Z，8Core芯片；RAM：64G，4*16GB DDR4；硬盘：4*600G 10000RPM SAS磁盘；网卡：1Gb。其中，选测的软件产品所需硬件由受测厂商提供。5.3. 测试样品要求以下为测试样品的主要技术指标（不限于此），受测厂商提供的软件样本必须满足。受测软件样本的版本号、具体参数和技术功能等应以书面形式（逐页由授权代理人签字）提供给测试单位。5.3.1. CDC技术指标1) CDC要求必须是成熟的软件平台产品，而非定制化开发。2) 支持跨平台的数据复制，支持System P, System I，x86/x64，SPARC平台，支持AIX，IBM i OS, Redhat

14、，Suse，SUN Solaris，MS Windows等操作系统平台。3) 支持DB2, Green Plum，Informix，Oracle，Sybase，MS SQL Server等主流数据库。4) 支持多种数据目标端，如数据库，文件，消息中间件，ETL工具等，支持与ETL工具的无缝结合。5) 支持单向复制，一对多复制，多对一复制，双向复制，级联复制, 远程复制等灵活的复制方式。6) 支持复制过程中的数据转换功能，如数据的Lookup，数据的计算，数据字段的合并等操作，便于扩展，在复制的不同阶段能够有User Exit供扩展。7) 支持基于日志的数据复制方式。8) 支持全量数据复制，持续

15、增量的数据复制，以及阶段性的数据复制等多种复制方式。9) 支持一些数据库日志中的审计数据的复制，如时间戳，用户代码，操作类型等。10) 支持错误报警的机制，能够在出现故障的环境有包括发邮件等不同形式的报警，支持冲突的机制，对于数据冲突的解决提供多种途径。11) 保证数据的完整性，在出现异常情况如数据库和系统宕机，网络中断等情况下，能够保证数据不丢失。12) 在保证数据同步效率的情况下，有合适的机制，保证能够把对源端的影响到最小。13) 有图形化管理界面、配置和监控界面，易于使用，便于上手。5.3.2. 数据抽取和转换软件技术指标1) 要求必须是成熟的企业级软件平台产品，而非开源或定制化开发。2

16、) 支持主流硬件平台和操作系统，如Windows、AIX 、UNIX、Linux等。3) 支持多种数据库接口，支持多数据源和目标。支持Green Plum, DB2, Oracle, SQL Server，Sybase, Informix等主流数据库的专用数据库驱动接口。支持包括文件、消息队列、xml等应用接口。4) 统一的元数据库，支持：DB2, Oracle, SQL Server，Green Plum作为元数据库类型。5) 设计任务流程时不需考虑并行架构，按照顺序进行设计，并行执行自动按照配置文件分区执行。当硬件配置更改时，不需要修改任务，只需要修改配置文件。6) 应支持从抽取到转换的多

17、种装载策略，减少对硬盘的读写，从而提高性能。7) 支持数据ETL各关键环节的各种数据处理功能，包括但不限于数据整合、拆分、清洗、转换、汇总、筛选、计算等功能组件。8) 有统一调度、监控和管理的功能，支持支持校验点恢复，具有完整的日志管理功能,并且有相关的图形化的监控机制。9) 具备错误监控处理机制，可以对交互的过程和状态进行监控，支持失败时的错误恢复等，具有完备的错误日志。10) 支持完整的备份恢复功能，支持一个工程或单个作业的恢复备份。11) 线性开发, 并行配置，数据抽取和转换过程支持并行处理，包括SMP、MPP和cluster架构。5.3.3. BI报表工具技术指标1) 单一的BI产品，

18、单一的架构，产品发展规划清晰成型，同一个功能只需由一个产品模块实现，而不是多个产品或多个模块功能重叠。2) BI Server集群功能，能够实现对等网络的集群功能，而不是主从式集群方式。停掉集群中的任意一台BI Server，整个BI系统仍可正常运行。3) 通过统一服务向用户提供完整的BI应用，包括了即席查询、专业报表、多维分析、仪表盘、计分卡等功能。4) 产品所有模块使用统一、集中的安全认证，支持LDAP, NTLM, Active Directory, Netegrity等各种标准安全认证机制，支持在WEB传输中对数据进行SSL加密。允许提供自定义认证接口，方便与用户的Portal集成。5

19、) 提供完备的多维分析功能，包括数据的上钻、下钻、旋转、切片功能。对于多维分析，支持保存即发布的方式，不需要另外的发布工具。支持非IT人员直接使用多维分析功能，方便高级的业务分析员分析数据，包括Top/Bottom N，数据集合并，排序，过滤、标注等功能。6) 能够实现任意路径的钻取，上钻功能不允许借助IE后退键来实现。在多维分析的报表中提供右键菜单功能。7) 提供高性能OLAP多维分析服务器，支持大规模并行加载和查询处理，支持以文件形式高效的存储多维立方体，支持对多维立方体进行虚拟分区。OLAP 分析支持用户自定义子集功能。8) OLAP 分析支持图表一起展现和图表联动，支持柱图，饼图，折线

20、图，堆积图，面积图等各种常用图形。9) 支持从Cube和Cube信息之间的钻取，支持从Cube和关系型数据库信息之间的钻取。5.3.4. BI算法建模工具组件1) 提供多个经典数据分析算法函数，支持第三方语言编程，可进行不同平台下的软件二次开发。2) 支持多种数据源的输入和输出，数据分析结果可多种图形化和表格的显示和导出。3) 支持与BI报表工具的无缝集成，数据分析挖掘的结果可以无需手工编译代码即可展现到BI平台上。5.3.5. 数据智能分析软件技术指标1) 产品本身支持分析搜索功能而不需要与其他搜索分析平台集成。2) 不需要预定义搜索分析路径或查询要求，自由浏览数据。3) 搜索支持全文搜索，

21、也可以基于维度层级搜索，支持搜索的关联优先规则，可以逐步过滤数据，每次过滤的条件都会被保留，用户可以任意增加或删除过滤条件。4) 支持用户前端自助式分析，用户在前端可以自由拖拽各种可视化分析的图表，进行需要的分析。5) 支持用户自助式上传数据，用户可以自己上载一个或多个数据集（包括结构化数据和非结构数据），不需要建立语义模型的工作，在前端就可以直接对数据进行分析，同时分析的图表直接支持夸多个数据集。6) 支持多种图形展现方式，包括文本的展现，支持地图分析功能，支持地图上上钻下钻，地图上颜色根据指标进行动态渲染，支持基于地图的搜索和过滤。7) 支持数据混搭，可以同时处理结构化数据或非结构化数据或

22、者是结构化和非结构化的关联。8) 支持多种数据源，包括对Hadoop数据的原生支持，支持多种文件格式数据的支持，包括pdf, word, txt以及email系统等。9) 支持对数据的自动建立索引，不需要手工指定。10) 产品提供完整的安全管理功能，支持自定义的安全集成，支持数据的权限管理，不同的用户自只能查看其权限范围的数据。11) 提供系统审计功能，记录用户登录，访问、浏览报表和数据分析等各种系统内操作。12) 提供系统监控功能，通过图形化方式记录系统对资源的使用情况。6 测试场景根据软件产品特性，结合业务环境需要，提出以下主要测试场景，实际测试场景不限于以下用例，业主可根据实际情况，在测

23、试过程中补充测试项目，受测厂商必须无条件配合完成。6.1.1. CDC测试场景(1) 测试数据同步的完备性：在2周时间内，测试数据源与目标数据源的数据同步完整性：数据记录数，数据修改和删除操作的同步性等。(2) 测试数据同步的实时性选取一定的时间间隔内，指定条数的测试数据从测试数据源同步到目标数据源的平均时间间隔。(3) 测试数据同步的效率测试在插入，删除和修改不同操作下，不同数据量的同步效率。(4) 测试数据同步源的兼容性测试针对不同目标数据库的同步。(5) 图形化界面和容错管理等其他基本功能测试6.1.2. 数据抽取和转换软件测试场景(1) 数据抽取和转换软件与CDC软件的连接方式测试在不

24、同连接方式（落地和不落地）下，CDC软件与数据抽取和转换软件的数据连接，是否能保证在不同数据操作下的数据同步的完备性和实时性。(2) 数据抽取和转换软件的抽取转换流程测试设定特定业务模型，采用元数据建模的方式，测试数据抽取和转换软件的抽取和转换流程。(3) 数据转换模型的兼容性测试测试元数据模型对其他主流应用数据库的支持。(4) 数据抽取和转换模型的效率测试(5) 数据抽取和转换软件对异构数据源的兼容性测试不同目标数据源的兼容性。(6) 图形化界面和任务管理等其他基本功能测试6.1.3. BI报表工具测试场景(1) 多数据源数据融合连接测试测试能否实现多个数据源的数据融合(2) 多维报表分析测试报表的多维分析能力，包括数据的上钻、下钻、旋转、切片功能，用户能够在纯浏览器界面上进行各种OLAP分析，不需要安装插件，不使用Applet或ActiveX，支持用户使用简单的拖拽的方式进行多角度分析。(3) 报表发布、订阅测试产品是否支持报表发布及订阅功能, 是否提供Portal。(4) 自定义特性支持测试产品是否支持自定义函数，可在报表上添加自定义基本函数，方便用户使用。(5) 并表功能测试产品是否有不同报表可同时查看并合并成一个报表的功能。(6) 查询与筛选功能测试产品是否支