CESA-202074-《船舶领域工业软件应用评价》

ICS35.240.50

CCSL70/84

团体标准

T/CESAXXXX—202X

船舶领域工业软件应用评价

Applicationevaluatingofindustrialsoftwareintheshippingdomain

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

已授权的专利证明材料为专利证书复印件或扉页，已公开但尚未授权的专利申请

证明材料为专利公开通知书复印件或扉页，未公开的专利申请的证明材料为专利申请

号和申请日期。

202X-XX-XX发布202X-XX-XX实施

中国电子工业标准化技术协会发布

T/CESAXXXX—202X

船舶领域工业软件应用评价

1范围

本文件确立了船舶领域工业软件应用评价流程和体系，规定了船舶领域工业软件应用评价细则，描

述了船舶领域工业软件应用综合评价计算方法。

本文件适用于船舶领域工业软件进行应用验证，及应用单位对使用的工业软件进行评价。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T25000.1系统与软件工程系统与软件质量要求和评价（SQuaRE）第1部分：SQuaRE指南

GB/T25000.10系统与软件工程系统与软件质量要求和评价(SQuaRE)第10部分：系统与软件

质量模型

GB/T25000.22系统与软件工程系统与软件质量要求和评价(SQuaRE)第22部分：使用质量测

量

GB/T25000.23系统与软件工程系统与软件质量要求和评价(SQuaRE)第23部分：系统与软件

产品质量测量

3术语、定义和缩略语

3.1术语和定义

GB/T25000.1、GB/T25000.10、GB/T25000.22、GB/T25000.23界定的以及下列术语和定义适用

于本文件。

3.1.1船舶领域工业软件industrialsoftwareintheshippingdomain

支撑船舶研发、设计、制造、运维等业务开展的工业软件。

3.2缩略语

下列缩略语适用于本文件。

CAD——计算机辅助设计（ComputerAidedDesign）

CAE——计算机辅助工程（ComputerAidedEngineering）

CAM——计算机辅助制造（ComputerAidedManufacturing）

ERP——企业资源规划（EnterpriseResourcePlanning）

MES——制造执行系统（ManufacturingExecutionSystem）

PDM——产品数据管理（ProductDataManagement）

1

T/CESAXXXX—202X

4船舶领域工业软件应用评价流程

4.1概述

船舶领域工业软件应用评价过程包括确定评价需求、规定评价、设计评价和执行评价4个过程，见

图1。

图1船舶领域工业软件应用评价流程

4.2确定评价需求

确定评价需求过程包括以下活动：

a）明确评价目的，工业软件应用评价是站在应用单位角度上，对研制单位的产品可应用情况进行

评价，主要目的有三类：一是用于项目验收，开展应用验证并进行评价；二是用于使用单位选

型，对软件应用评价为选型提供支撑；三是用于应用推广，通过应用评价，给出成熟度认证。

b）标识软件产品类型，根据工业软件功能，分为CAD、CAE、CAM、ERP、MES、PDM等类型，不同的

类型进行的专项能力评价不同。

4.3规定评价

规定评价过程包括以下活动：

a）规定评价模型，根据待评价工业软件特点情况（见附录A）和船舶领域工业软件应用评价指标

体系（见第5章），构建评价模型。评价指标裁减主要是两方面，一方面是根据产品类型，确

定专项能力评价指标，二是根据软件实际情况，裁减应用质量指标，对不适用的指标进行裁减；

b）规定指标权重，权重设置将直接影响评估结果，在整套评估体系中至关重要，主要结合专家法、

问卷调查法和试评估结果反向调整法，自评和专家评估相结合，确定各级指标的权重，避免出

现少数指标分值很高而决定整体评估结果的情况。本标准推荐的权重见附录B；

2

T/CESAXXXX—202X

c）确立评估原则，指标评估包括两类：一类指标是定量指标，可以通过相关用例进行比较或相关

需求进行比较定量获得，另一类通过定性评价，通过高、中、低等级，并结合专家评分方式进

行评估。

4.4设计评价

设计评价过程的主要任务是制定评价计划，评价计划描述评价方法、数据来源、评价者活动等内容，

形成评价计划文档，作为执行评价的依据。

4.5执行评价

执行评价过程包括以下活动：

a）指标度量，根据获取的数据以及确立的评估原则，分布对工业能力、服务能力、应用质量、应

用效果、专用能力等类型指标进行度量，对于定量指标，直接根据计算要素进行计算得到数值，

对于定性类指标首先明确指标高、中、低等级，然后利用专家评分方式评定该级别区间中的具

体数值；

b）综合计算，根据各级的权重，进行综合计算，计算出应用能力评分值；

c）等级评价，定义工业软件应用能力或成熟度等级（见附录C），根据综合评价，确定最终的等

级，给出评价结论。

5船舶领域工业软件应用评价指标体系

船舶领域工业软件应用评价指标包括工业软件应用通用性评价指标和船舶工业专项能力指标，详见

图2。工业软件应用通用性评价指标对工业能力、产品服务能力、应用质量、应用效果进行评价，具体

评价方式参见第6章。船舶工业专项能力评价，针对船舶CAD、CAE、ERP、MES、CAM、PDM软件应用与船

舶企业所需的专项能力进行评价，具体评价方式参见第7章。

3

T/CESAXXXX—202X

图2船舶领域工业软件应用评价指标体系

4

T/CESAXXXX—202X

6工业软件通用指标应用评价细则

6.1工业能力指标

6.1.1工业知识

工业知识度量用于评估工业技术/知识能够有效指导工业生产制造、满足工业生产制造需求的程度。

6.1.1.1知识有效性

知识有效性用于评估工业软件产品所属工业知识能够满足工业应用的程度。包括知识正确性、知识

完整性、知识可用性。评价指标见表1。

表1知识有效性指标

序号评价指标描述评价函数方法数据获取备注

对应用验证后实1.通过应用验证，记当评价函数中的B

现不正确的行业录实现不正确的行值无法在需求类

所提供的行业

A：实现不ᗡ正确的行知识库中的规则业知识库中的规则文档中获取时，可

知识（工艺库、

知识正确业知识库规则条条数进行计数，奖数量；通过本领域行业

1标准库、文档库

性数；其与行业知识库2.所有需求类文档中专家打分的方式

等）能实现正确

B：行业知识库中的中的总规则条数行业知识库中总规获取度量元X的

的比例。

总规则条数。相比较。则数量。值，打分区间

[0,1]

应用验证后计算1.通过应用验证，记当评价函数中的B

缺少的行业知识录已实现的行业知值无法在专有标

所提供的行业

A：缺少的ᗡ行业知识库中规则条数进识库中的规则数准或已有行业认

知识（工艺库、

知识完整库中的规则条数；行计算，将其与专量；知中获取时，可通

2标准库、文档库

性B：产品说明所引用有标准或已有行2.专有标准或已有行过本领域行业专

等）实现的比

的所有需求中的全业认知中知识库业认知中知识库中家打分的方式获

例。

部行业是指库中总中的总规则条数总规则数量。取度量元X的值，

规则条数。相比较。打分区间[0,1]

应用验证后计算1.通过应用验证，记不同工业软件知

能够有效解决的录有效解决的场景识库中规则的粗

A：能够有效解决的基于行业知识库应用、和/或实际工粒度不同，此度量

所提供的行业场景应用、和/或实形成的场景应用、业问题数；元以场景或问题

知识（工艺库、际工业问题数；和/或实际工业问2.产品说明、用户文为导向，度量知识

知识可用

3标准库、文档库B：所有需求文档中题数，将其与所有档或帮助文档中基的可用程度。

性

等）实现的比基于行业知识库形需求文档中基于于行业知识库形成对于行业知识库

例。成的场景应用、和/行业知识库形成的场景应用、和/或差别较大的工业

或实际工业问题的场景应用、和/实际工业问题数。软件，可酌情使用

数。或实际工业问题或提高此度量元

数相比较。权重。

6.1.1.2知识易学性

知识易学性用于评估提供相关学习帮助，便于指定用户快速使用工业技术/知识的程度。评价指标

见表2。

5

T/CESAXXXX—202X

表2知识易学性指标

序号评价指标描述评价函数方法数据获取备注

工业软件应配有

1.通过应用验证，获详实的产品说明，

A：产品说明、用户取产品说明、用户容易获得、理解。

在产品说明、用

文档和/或帮助机文档和/或帮助机当评价函数中的A

户文档和/或帮

制中按要求描述的对产品说明、用户制中对行业知识描值或B值难以获取

知识易学助机制中能充

1行业知识库规则数文档和/或帮助机述准确、详实的规时，可根据应用验

性分描述并能使

量；制中的行业。则数量；证情况通过本领

用户使用的比

B：软件实际实现的2.软件实际实现的行域行业专家打分

例。

行业知识库总规则业知识库中总规则的方式获取度量

条数。数量。元X的值，打分区

间[0,1]

6.1.2工程应用

工程应用度量用于评估工业软件数据在使用过程中，能够满足所需精度、进行数据交换、适应工程

应用其他环境的程度。

6.1.2.1数据有效性

数据有效性用于评估工业软件产品提供的数据具有所需准确度、精度、数据正常交换的程度。包括

数据准确度、数据精度、数据传输正确性。评价指标见表3。

表3数据有效性指标

序号评价指标描述评价函数方法数据获取备注

1.通过应用验证，计

对可以满足准确

算准确度可以达到

度要求的数据项

对满足特定级需求规定要求的数数据准确度要求

数据准确A：可以满足准确度进行计数，并将其

1别准确度要求据项数；主要包括数据误

性要求的数据项数；与拥有准确度要

的数据项比例。3.所有需求文档中对差等。

B：拥有准确度要求求的数据总项数

数据准确度有要求

的数据总项数。相比较。

的数据项数。

1.通过应用验证，计

对可以满足精度算精度可以达到需

A：可以满足特定级要求的数据项进求规定要求的数据

对满足特定级

数据精确别精度要求的数据行计数，并将其与项数；

2别精度要求的

度项数；拥有特定级别精2.所有需求文档中对

数据项比例。

B：拥有特定级别精度要求的数据总数据精度的范围有

度要求的数据总项项数相比较。具体要求的数据项

数。数。

对数据传输中证1.通过应用验证，可

与其他系统、产与其他系统、产品

实能与其他系统、以与其他系统、产

数据传输品或组件能够或组件中数据项

3A：可以与其他系产品或组件进行品或组件成功交换

正确性正确进行数据一般规定为相同

统、产品或组件成计数，并与需要交的数据项数；

交换的程度。数据格式的数据。

果交换数据且数据换数据项数相比2.所有需求文档中规

6

T/CESAXXXX—202X

序号评价指标描述评价函数方法数据获取备注

正确的数据项数；较。定的需要与其他系

B：需要交换数据项统、产品或组件交

数。换的数据项数。

6.1.2.2工业环境适用性

环境适用性用于评估船舶工业软件产品除硬件、软件之外的其他特殊环境适应程度，例如黑暗、高

低温、湿度、气压、多语种等。评价指标见表4。

表4工业环境适用性指标

序号描述级别评分

对工业使用环境中黑暗、高低温、湿度、气压、多语种等特殊环

1高(0.8,1]

境，软件具备良好的适应性。

对工业使用环境中黑暗、高低温、湿度、气压、多语种等特殊环

2中[0.5,0.8)

境一般，对使用人员存在轻微的不适现象。

对工业使用环境适应性能力较差，在黑暗、高低温、湿度、气压、

3低[0,0.5)

多语种等特殊环境中软件对操作人员有较大的不适现象。

6.1.3工业先进性

工业先进性用于评估工业软件与业内认可度高的成熟商业软件对标程度，包括功能对标先进性和性

能对标先进性。评价指标见表5。

表5工业先进性指标

序号评价指标描述评价函数方法数据获取

进行对标测试，对工

1.通过对标测试，发

业软件产品达到和优

所对标的功能达到/现达到和优于参照

功能对标先A：达到及优于参照软件于参照对象的功能进

1优于参照软件的比软件的功能数量；

进性的功能数量；行计数，与进行对标

率。2.记录所有进行对标

B：进行对标的功能总数的功能总数量进行比

的功能总数量。

量。较。

进行对标测试，对工

1.通过对标测试，发

业软件产品达到和优

所对标的性能达到/现达到和优于参照

性能对标先A：达到及优于参照软件于参照对象的性能进

2优于参照软件的比软件的性能数量；

进性的性能数量；行计数，与进行对标

率。2.记录所有进行对标

B：进行对标的性能总数的性能总数量进行比

的性能总数量。

量。较。

6.2产品服务能力

6.2.1技术能力

对软件研发技术实现与支撑情况进行评价。评价指标见表6。

表6技术能力指标

序号描述级别评分

软件产品具有较深厚的技术能力。具体包括：

1高(0.8,1]

（1）技术文档情况。软件工程化文档，技术规范，操作规

7

T/CESAXXXX—202X

序号描述级别评分

范，国家标准等，同时也包括经验公式、模型算法等软件核心内

容及解决方案。

（2）基础学科支撑情况。与高校、研究所等基础学科研究

机构合作或对其进行支持，开展工业软件涉及到的数学算法、物

理理论、工业原理等的基础性研究工作。

（3）标准规范支撑情况。对国家、行业或团体标准的参与

情况，通过标准化，提高国产工业软件之间的配合程度的情况。

（4）技术人才培养情况。专业、稳定、持续的技术团队、

基础科学团队和专家团队。

（5）经验知识汇集情况。对工业软件经验与知识的沉淀情

况，涉及到业生产过程中关键知识、软件、诀窍及数据等知识的

汇集；对采集到各种数据后，经验计算公式、技术诀窍、各种事

故处理经验及各种操作经验，操作手册、技术规范、工艺模型、

算法参数、系数及权重比例分配等。

软件研发技术能力一般，技术文档情况、基础学科支撑情况、标

2准规范支撑情况、技术人才培养情况、经验知识汇集情况等某部中[0.5,0.8)

分能力一般。

软件研发技术能力存在短板，技术文档情况、基础学科支撑情况、

3标准规范支撑情况、技术人才培养情况、经验知识汇集情况等某低[0,0.5)

部分能力存在短板。

6.2.2产品能力

工业软件的产品能力从产品化程度和产品定制能力进行评价。评价指标见表7。

表7产品能力指标

序号类型描述级别评分

软件产品化较好，客户是在收到软

1高(0.8,1]

件后就可直接使用。

软件产品化程度一般，需要根据客

2户实际情况进行稍微的定制开发及实施中[0.5,0.8)

产品化程度

交付。

软件产品化程度较差，需要根据客

3户实际情况进行大量的定制开发及实施低[0,0.5)

交付。

对于需要二次开发的软件，对船舶

领域工业软件提出适当的定制开发需

4高(0.8,1]

求，可在规定时间和场所内较好的通过

软件二次开发以实现相应功能。

产品定制能力

对于需要二次开发的软件，对船舶

领域工业软件提出适当的定制开发需

5中[0.5,0.8)

求，需要应用较多的时间或特定的厂所

环境二次开发才能实现相应功能。

8

T/CESAXXXX—202X

对于需要二次开发的软件，对船舶

领域工业软件提出适当的定制开发需

6求，需要应用大量的时间、特定的厂所、低[0,0.5)

大量的人员才能二次开发，或二次开发

的功能较差。

6.2.3服务能力

服务能力是对研制单位的售后和售后服务进行评价。评价指标见表8。

表8服务能力指标

序号描述级别评分

1软件研制单位具有良好的售后服务制度和售后服务团队。高(0.8,1]

2软件研制单位的售后服务制度或售后服务团队一般。中[0.5,0.8)

3软件研制单位的售后服务制度或售后服务团队存在较大短板。低[0,0.5)

6.2.4自主可控

船舶领域工业软件中关键技术、核心算法、源代码等方面自主知识产权掌控的程度。评价指标见表

9。

表9自主可控指标

序号类型描述级别评分

在软件设计、研发阶段，形成较多专利、软件著作权等

知识产权成果，已全面开展知识产权防御工作，工作内

1高(0.8,1]

容详实且有充足的数据支撑，专利风险识别准确，风险

控制规避措施合理。第三方的知识产权有充分的授权。

形成部分知识产权成果，开展知识产权防御工作，风险

知识产权可控性

2识别较准确，风险控制规避措施较合理，第三方授权有中[0.5,0.8)

商业用途、使用范围等限制条款。

知识产权成果不足，知识产权防御工作存在短板。第三

3方授权有商业用途、使用范围等限制条款，有较高的合低[0,0.5)

同履约风险。

整体源代码自主比率大于80%，且核心源代码自主比率大

4高(0.8,1]

于90%。

整体源代码自主比率60%~80%，且核心源代码自主比率大

5源代码自主性中[0.5,0.8)

于60%。

整体源代码自主比率60%以下，或核心源代码自主比率

6低[0,0.5)

60%以下。

完全遵循开源协议要求，涉及的所有开源代码来源清晰

7高(0.8,1]

且可充分追溯，具备开源风险管控能力。

基本遵循开源协议要求，涉及的开源代码来源清晰且可

8开源协议风险中[0.5,0.8)

追溯，具备一定的开源风险管控能力。

部分遵循开源协议要求，涉及的部分开源代码来源不清

9低[0,0.5)

晰，存在开源管控风险。

9

T/CESAXXXX—202X

6.3应用质量

6.3.1功能性

指定条件下使用时，船舶领域工业软件产品提供满足明确和隐含要的功能程度。

6.3.1.1功能完备性

功能完备性指功能集对指定的任务和用户目标的覆盖程度。即需求规格说明书或其他技术说明书中

有关软件功能需求在软件中被完整实现的情况，软件实际功能覆盖文档中所有功能的程度。用户文档集

和产品说明中指定的功能点与软件中的功能点进行匹配，将软件应实现的功能（如功能清单）与实际测

试中执行的测试用例进行对应，形成功能对照。评价指标见表10。

表10功能完备性性指标

序号评价指标描述评价函数方法数据获取备注

对船舶工业软件

产品功能应用验对基本功能实现

1.通过应用验证，发

证时检测到缺少的覆盖率设置最

现软件未实现的功

的功能数量进行低限制，若基本功

基本功能基本功能实现A：缺少ᗡ的功能数能数量；

1计数，将其与产品能覆盖率低于

覆盖率的比例。量；2.所有需求类文档中

说明所引用的所0.8，此项直接否

B：指定的功能数列举的全部功能数

有需求文档中列决。（此规定针对

量。量。

举的全部功能数首次应用验证）

量相比较。

对船舶领域工业

软件产品功能应1.通过应用验证，检

扩展功能的覆盖

用验证时检测到测到没有实现已有

率仅用于已有专

没有实现的已有专用测试标准中规

所指定的扩展用标准的船舶工

扩展功能A：缺少的ᗡ扩展功能准用标准中规定定的扩展功能数

2的功能实现的业软件产品的质

覆盖率数量；的扩展功能数进量；

比例。量评价，功能数量

B：指定的扩展功能行计数，将其与已2.已有专用测试标准

以功能验证项数

数量。有专用标准中规中规定的扩展功能

量为准。

定的扩展功能数数量。

相比较。

6.3.1.2功能正确性

功能正确性指产品或系统提供具有所需精度的正确结果的程度。功能正确性用于测量软件提供准确

数据的能力，验证软件产品提供与所需精度相符的结果或效果的能力。开发者或维护者可以通过验证软

件特定功能（该功能的实际输出结果是否符合需求规格说明书中定义的特定目标的预期结果），对用户

文档集中陈述的软件功能性限制条件进行验证，如验证字符串长度限制、数字精度、邮箱格式等要求。

评价指标见表11。

表11功能正确性指标

序号评价指标描述评价函数方法数据获取备注

对船舶工业软件1.通过应用验证，发对基本功能实现

基本功能基本功能正确

1产品功能应用验现软件未实现的基的正确性设置最

正确性实现的比例。

ᗡ

A：功能不正确的数证时，对功能不能本功能数量；低限制，若基本功

10

T/CESAXXXX—202X

量；正确实现的功能2.应用验证的全部基能正确实现率低

B：指定的功能数数量进行计数，将本功能数量。于0.8，此项直接

量。其应用验证的基否决。（此规定针

本功能总数量相对首次应用验证）

比较。