药品交易服务系统软件测评大纲

PAGEPAGE16互联网药品交易服务系统软件测评大纲二国家食品药品监督管理局二〇〇六年二月总则本测评大纲由国家食品药品监督管理局会同中国软件测评中心、国家应用软件产品质量监督检验中心共同制定，国家食品药品监督管理局对本大纲具有最终解释权。适用范围本测评大纲适用于“药品生产企业、药品批发企业通过自身网站与本企业成员之外的其他企业进行的互联网药品交易以及向个人消费者提供的互联网药品交易服务”的交易平台软件测评。本大纲是为加强药品监督管理，规范互联网药品交易服务，针对互联网药品交易服务系统软件的基本功能及国家相关软件质量要求制定，目的是为判定系统是否符合《互联网药品交易服务机构验收标准》中规定的相关指标提供客观依据，并供参测企业及药品监督管理部门参考。测评机构资质要求参与“药品生产企业、药品批发企业通过自身网站与本企业成员之外的其他企业进行的互联网药品交易以及向个人消费者提供的互联网药品交易服务”平台软件测评的机构，要求至少获得中国实验室国家认可委员会认可，认可的检测能力范围应至少包括对软件产品功能性、可靠性及效率的测评。测评依据GB2312-1980信息交换用汉字编码字符集基本集GB13000.1-1993信息技术通用多八位编码字符集（UCS）第一部分：体系结构与基本多文种平面GB18030-2000信息技术信息交换用汉字编码字符集基本集的扩充GB/T1988-1998信息技术信息交换用七位编码字符集GB/T9386-1988计算机软件测试文件编制规范GB/T11457-1995软件工程术语GB/T12345-1990信息交换用汉字编码字符集辅助集GB/T16260-1996信息技术软件产品评价质量特性及其使用指南GB/T17544-1998信息技术软件包质量要求和测试《互联网药品交易服务机构验收标准》送样方法送测样品由各参测企业自主提交给符合资质的第三方软件测评机构。自测评开始后，参测企业提交的测评样品不允许中途再次更换，否则视为作废。各参测企业必须提供纸介质或者电子形式的系统安装手册、系统使用手册（平台配置说明、功能使用说明、业务流程说明等）和系统安全解决方案（网络安全、应用安全、数据安全、备份还原等），必要时有责任配合测试机构进行系统安装。术语、定义和缩略语用户文档（UserDocumentation）用户文档（UD）指以打印的或非打印形式得到的文档的完整集合，用户文档的提供有利于产品的应用并且是产品的必备部分。功能性（Functionality）功能性（F）指当软件在指定条件下使用时，软件产品提供满足明确和隐含需求的功能的能力。可靠性（Reliability）可靠性（R）指在规定的一段时间和条件下，与软件维持其性质水平的能力有关的一组属性。易用性（Practicability）易用性（P）指一组规定或潜在的用户为使用软件所需做的努力并且对这样的使用所作的评价有关的一组属性。安全性(Security)安全性（S）指防止对程序及数据的非授权的故意或意外的访问的能力有关的软件属性。效率（efficiency）在规定条件下，相对于所用资源的数量，软件产品可提供适当性能的能力。响应时间（ResponseTime）服务器对每个应用请求的处理时间，单位：秒，该项指标反映了系统事务处理的性能，具体包括以下几项参数：a)最小响应时间（Minimum）：最小的服务器响应时间；b)平均响应时间（Average）：平均的服务器响应时间；c)最大响应时间（Maximum）：最大的服务器响应时间；d)90%响应时间（90％）：90％事务处理的服务器响应时间。虚拟并发用户数（TotalVirtualUsers）测试工具模拟的用户并发数量。交易频率（TransactionRate）不同负载下每秒钟成功完成的事务处理数。CPU利用率（CPUutilization）CPU占用率（％）。磁盘平均队列数（Avg.DiskQueueLength）指读取和写入请求(为所选磁盘在实例间隔中列队的)的平均数。可用物理内存数（AvailableMbytes）运行中的程序可利用的物理内存数。数字证书（DigitalCertificate）数字证书是一个经证书授权中心数字签名的包含公开密钥拥有者信息以及公开密钥的文件。电子签名（ElectronicSignature）指数据电文中以电子形式所含、所附用于识别签名人身份并表明签名人认可其中内容的数据。测评项目及判定原则测评项目及缺陷分类见下表序号测评项目标准要求缺陷分类AB观察项1用户文档○2功能性○3可靠性○4易用性○5安全性○6效率○7中文特性○判定原则互联网药品交易服务系统软件测评从用户文档、功能性、可靠性、易用性、安全性、效率和中文特性七个方面进行测试，对除了“效率”以外的每一个测评项给出质量测评结果。测评项结果分为“通过”和“不通过”，效率做为观察项，测试数据仅供参考。对测评项中的A类缺陷，即功能性、可靠性和安全性中有一项“不通过”，判定为“该次产品不合格”；对测评项目中的B类缺陷，即用户文档、易用性和中文特性允许有一项为“不通过”，当“不通过”等于二项或超过二项时，判定为“该次产品不合格”。测评过程判定标准缺陷等级说明缺陷（Bug）分为五个等级：P1级（导致系统崩溃；主业务流程出现断点；导致死机；导致程序模块丢失；内存泄漏），P2级（被测数据处理错误；软件错误导致数据丢失；用户需求未实现），P3级（被测功能不能正确实现），P4级（功能实现不完美或细小的错误），P5级（建议性问题）。通过在测试过程中，未发现P1级或P2级或P3级的缺陷，该测试过程的测评结果判定为“通过”。不通过在测试过程中，发现P1级或P2级或P3级的缺陷，该测试过程的测评结果判定为“不通过”。测评项目判定标准等级说明在功能性测试中，把测试过程分为三个等级：L1（必须项），L2（重要项），L3（一般项）。判定标准测评项目的下级测评项的测评结果全部为“通过”，该测评项目的测评结果判定为“通过”，否则为“不通过”功能性的整体测评结果依下表判定：序号等级项功能性测评结果L1L2L31全部通过全部通过全部通过通过2全部通过全部通过最多四项结果为“不通过”通过3全部通过仅有一项结果为“不通过”仅有一项结果为“不通过”通过上述三种结果外的情况判定为“不通过”属于功能性和效率以外的测评项目，其下级测评项的检测结果中“不通过”率小于等于10%，该测评项目的检测结果判定为“通过”。测评方法功能测试采用黑盒测试方法，结合测试内容对功能进行测试。测试过程中对系统安装手册和系统使用手册进行检查。安全性测试按照提供的系统安全解决方案，结合功能测试完成，并对系统整体安全体系进行评估。可靠性、易用性和中文特性的测试可以结合功能测试完成。效率测试采用自动化测试和人工测试相结合的测试方法。测评工具采用国际认可的专业测试工具，Mercury公司的LoadRunner

，Compuware公司QALoad,IBMRational公司的PerformanceTester。测评地点效率测试必须在真实环境下测试，且需要协助测试机构准备测试数据。其他各项测试的测试环境由各参测厂商与第三方测试机构协商决定。

测评内容用户文档表1用户文档第1页共1页测试需求测试说明测试序号完整性软件安装所需要的信息产品描述中说明的所有功能软件维护所需要的信息产品描述中给出的所有边界值正确性文档中所有信息正确，没有歧义和错误的描述一致性文档自身、文档之间或者文档与产品描述之间，相互不矛盾，且术语一致易理解程度文档对正常使用其产品的一般用户是容易理解的易浏览程度用户文档易于浏览，相互关系明确用户文档有目录表或索引表

功能性表2.1功能表现第1页共3页测试需求测试说明级别测试序号登录与退出系统录入用户名L1录入密码确定登录取消登录注销登录修改密码保存修改密码找回

数据管理子系统产品及产品资质信息管理录入产品及产品资质资质信息（至少包括产品信息、产品资质文件、药品编码、药品名称、药品分类、剂型、规格、药品批件信息、认证情况、检验合格情况的信息）L2保存产品及产品资质信息修改产品及产品资质信息保存修改信息删除数据验证药品编码的唯一性设置查询条件按设置条件查询显示查询结果列表浏览相关资质正确显示产品详细信息正确显示产品资质详细信息

表2.1功能表现第2页共3页测试需求测试说明级别测试序号交易服务信息子系统交易数据管理子息系统交易产品数据管理设置产品查询条件L3按设置条件执行查询显示产品查询结果列表汇总结果列表查看详细信息正确显示产品基本信息用户数据管理设置用户查询条件按设置条件执行查询显示用户查询结果列表汇总结果列表浏览查询子系统设置查询条件L3按设置条件执行查询显示查询结果列表在线咨询查询在线留言咨询处理交易管理子系统在线提交订购信息L2签订成交合同处理订单提供配送业务订单查询显示订单查询结果查看订单状态

表2.1功能表现第3页共3页测试需求测试说明级别测试序号交易服务信息子系统结算管理子系统设置查询条件L2按设置条件执行查询按照预先设定的交易规则，通过金融机构在线资金结算监管子系统投诉处理投诉信息的提交L3处理投诉信息发布发布相关政策信息L3发布处罚信息发布表扬信息正常显示发布信息市场与交易监管设置交易查询条件L1按设置条件执行查询显示交易查询结果（交易产品的名称、批号、生产企业、交易数量、买卖双方信息）交易信息汇总导出汇总结果

可靠性表3可靠性第1页共1页测试需求测试说明测试序号成熟性在测试过程中，系统运行稳定R-01容量到达规定的极限时,系统不崩溃、不异常退出也不丢失数据R-02容量超出规定极限时，系统不崩溃、不异常退出也不丢失数据R-03容错性能屏蔽用户的误操作R-04对错误有正确提示R-05输入错误数据时，系统不崩溃、不异常退出也不丢失数据R-06有错误操作时，系统不崩溃、不异常退出也不丢失数据R-07数据校验机制应对数据的有效性，数据项之间的逻辑关系进行校验，保证数据的有效R-09应保证数据的完整性和一致性，不会因删除或反复的更新而被破坏或留下垃圾数据R-10对不符合要求的输入数据，系统应使用中文给出简洁、准确的提示信息，必要时应给出帮助R-11

易用性表4易用性第1页共1页测试需求测试说明测试序号易理解性通过适当的术语、图形、背景信息和帮助，帮助用户理解和使用系统的各项功能U-01出错消息中提供差错产生的原因和纠正的详细信息U-02易浏览性提供必要的信息，指示系统当前处理状态U-03屏幕提示、输入、输出设计规矩，易懂U-04在界面、人机交互、输出中的用语应与业务用语一致U-05易操作性具有严重后果的功能，执行可逆或者给出明显警告，执行前要求确认U-06提供辅助输入手段（如选择输入、默认值等），数据检索方便、灵活U-07系统易操作，支持标准的鼠标、键盘和快捷键操作U-08

安全性表5安全性第1页共2页测试需求测试说明测试序号身份认证用户权限管理提供用户功能权限管理提供用户数据访问权限管理验证控制身份验证不成功有次数限制及相应处理措施用户唯一用户名称应具有唯一性用户在被删除或被停用后，保留该用户记录，新增用户不得与该用户同名电子签名对电子签名进行验证客户端用户身份识别是否提供USBkey加密验证、提供数字证书验证或提供其他加密验证方式数据加密及安全传输对于有特殊安全要求的数据，应在传输中进行必要的加密处理，如网上支付信息数据加密使用的算法应符合国家规定安全缺陷屏蔽对非法访问有识别和屏蔽功能授权（功能授权、数据授权）机制是否灵活安全软件程序本身不存在可能引起安全缺陷的语句、命令日志和审计对关键数据的变更应记入日志对日志信息进行查询、统计、分析和分类管理提供安全审计功能密码设置进入系统需要密码身份验证应有密码设置策略，包括有效期、最小长度、复杂度、非空设置、大小写敏感度等所有的密码不得明码显示、存储与传输数据备份与还原是否提供数据备份与还原手段超时自动退出超过一定的时限未进行操作，系统自动退出

表5安全性第2页共2页测试需求测试说明测试序号系统安全解决方案评估病毒防治能否支持多种平台的病毒防范；能否支持对服务器的病毒防治；能否提供对病毒特征信息和检测引擎的定期在线更新服务；防病毒范围是否广泛，是否包括unix系列、Windows系列、Linux系列等操作系统。防火墙是否支持交换和路由两种工作模式是否考虑到防火墙的冗余设计是否支持对日志的统计分析功能，同时，日志是否可以存储在本地和网络数据库上对防火墙本身或受保护网段的非法攻击系统，是否提供多种告警方式以及多种级别的告警入侵检测系统能否在检测到入侵事件时，自动执行切断服务、记录入侵过程、邮件报警等动作；是否支持攻击特征信息的集中式发布和攻击取证信息的分布式上载能否提供多种方式对监视引擎和检测特征的定期更新服务内置的网络能否使用状况监控工具和网络监听工具漏洞扫描能否定期或不定期地使用安全性分析软件，对整个内部系统进行安全扫描，及时发现系统的安全漏洞、报警，并提出补救建议应急响应服务机制当计算机或网络系统遇到安全事件(如黑客入侵、网络恶意攻击、病毒感染和破坏等)时，是否能够提供紧急响应和快速救援与恢复服务备份还原系统是否提供多种备份策略

效率表6效率第1页共2页测试需求测试说明测试序号登录系统测试系统在10用户并发登录时的成功并发用户数测试系统在10用户并发登录时的平均响应时间测试系统在10用户并发登录时的平均交易数测试系统在50用户并发登录时的成功并发用户数测试系统在50用户并发登录时的平均响应时间测试系统在50用户并发登录时的平均交易数产品信息查询在3万条产品信息的数据容量下，测试系统在10用户并发进行产品信息查询时的成功并发用户数在3万条产品信息的数据容量下，测试系统在10用户并发进行产品信息查询时的平均响应时间在3万条产品信息的数据容量下，测试系统在10用户并发进行产品信息查询时的平均交易数在3万条产品信息的数据容量下，测试系统在50用户并发进行产品信息查询时的成功并发用户数在3万条产品信息的数据容量下，测试系统在50用户并发进行产品信息查询时的平均响应时间在3万条产品信息的数据容量下，测试系统在50用户并发进行产品信息查询时的平均交易数采购订单新增在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单新增时的成功并发用户数在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单新增时的平均响应时间在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单新增时的平均交易数在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的成功并发用户数在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的平均响应时间在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的平均交易数

表6效率第2页共2页测试需求测试说明测试序号采购订单查询在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单查询时的成功并发用户数在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单查询时的平均响应时间在5万条订单信息的数据容量下，测试系统在10用户并发进行采购订单查询时的平均交易数在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单查询时的成功并发用户数在5万条订单信息的数据容量下，测试系统在50用户并发进行采购订单新增时的平均响应时