TSIA 038-2024 人工智能企业能力评估规范

ICS35.020I653

T/ SIAT/SIA038—2024人工智能企业能力评估规范Specificationsforcapabilityassessmentofartificialintelligenceenterprises2024-6-15发布 2024-6-15实施中 国 软 件 行 业 协 会 发布目录前言 1引言 2人工智能企业能力评估规范 31范围 32规范性引用文件 33术语和定义 33.1人工智能 33.2精确率 33.3召回率 33.4F1值 33.5混淆矩阵 33.6ROC曲线 33.7AUC值 33.8交叉熵损失 43.9鲁棒性 43.10软件项目管理能力评估 44人工智能企业能力评估要素 45人工智能企业能力评估模型 5企业基础 55.1.1稳定性 55.1.2人员规模 65.1.3服务链 6技术创新能力 6研发投入 6研发人员 6研发成果 6行业认可 6项目管理与质量管理能力 6项目级管理能力 6组织级管理能力 7质量管理能力 7财务与信用状况 7收入情况 75.4.2成长性 75.4.3信用状况 7产品技术能力 7人工智能企业通用产品能力 7人工智能企业个性产品能力 86评价标准等级划分 87人工智能企业能力评估模型应用场景 8T/SIA038-2024人工智能企业能力评估规范T/SIA038-2024人工智能企业能力评估规范PAGEPAGE1前言本标准由中国软件行业协会提出并归口。引言2024本标准是由相关软件行业协会、企业、评估机构基于市场和行业发展需要而共同制定，有利于发挥行业自律和示范作用，促进人工智能企业的健康、可持续发展。人工智能企业能力评估规范范围本标准可作为第三方机构的评估、认证依据。包括GB/T22900-2009科学技术研究项目评价通则GB/T40147-2021《科技评估通则》GB/T40148-2021《科技评估基本术语》GB/T11457-2006信息技术软件工程术语ArtificialIntelligencePrecision精确率（Precision）是一种衡量分类模型或信息检索系统性能的指标，它专注于所检索或预测为正例的样本中真正为正例的比例。RecallF1F1-scoreF1ConfusionMatrix行nROCReceiverOperatingCharacteristicCurveROC曲线是一种在二分类模型中评估其性能的图形表示方法。ROC曲线通过绘制真阳性率（TruePositiveRate,TPR）（FalsePositiveRate,FPR）AUCAreaUndertheCurveAUCROCROC（TruePositiveRate,（FalsePositiveRate,FPR）Cross-EntropyLoss（LogisticLoss）（NegativeLog-LikelihoodLoss）RobustnessCompetencyofProjectManagementModel一级指标二级指标三级指标企业基础稳定性成立年限长期目标与核心竞争力风险管理能力人员规模人员数量规模企业员工结构服务链客户群体供应商群体技术创新能力研发投入研发投入占比研发资金增长率研发人员研发人员数量与占比研发人员素质研发人员流动性研发成果专利申请数量专利质量技术创新频率行业认可国家级、省部级奖项全国性协会组织创新类奖项国家科技重大专项项目管理与质量管理能力项目级管理能力项目规划与立项能力项目执行与监控能力项目结项能力获得CPMM相关评估证书情况组织级管理能力组织级项目管理能力人力资源管理能力知识积累情况获得CPMM相关评估证书情况质量管理能力质量管理体系的建设客户反馈机制的建设持续改进机制的建设应急反应机制的建设履约情况财务与信用状况收入情况收入规模净利润净利润率成长性主营业务收入增长率净利润增长率总资产增长率信用状况获得信用评估证书情况未在国家相应信用黑名单中产品技术能力人工智能技术考核指标准确率精确率召回率F1值混淆矩阵ROC曲线AUC值交叉熵损失计算速度鲁棒性可扩展性可解释性人工智能技术个性指标视频精度感知能力运动能力操作能力学习能力沟通能力决策能力任务完成能力生物识别易用性稳定性对企业稳定性的考察包括以下内容：a）考察企业成立年限；b）考察企业的长期目标与核心竞争力；c）考察企业的风险管理能力。对企业人员规模的考察包括以下内容：a）考察企业的人员数量规模；b）考察企业员工结构，包括年龄结构、学历结构、岗位结构等。对企业在服务链中的稳定性考察内容如下：对企业的研发投入考察包括以下内容：对企业研发人员的考察包括以下内容：b）对企业的研究成果考察内容如下：a）考察企业拥有的专利数量；对企业的行业认可考察内容包括如下：b）c）对企业项目级管理能力的考察包括以下内容：a）考察企业的项目规划与立项能力；c）e）考察企业获得CPMM相关证书的情况。a）b）考察企业人力资源管理能力；c）考察企业的知识积累情况；e）考察企业获得CPMM相关证书的情况。a）b）c）d）e）考察企业的履约情况。a）b）c）a）b）c）对企业信用状况的考察包括以下内容：a）考察企业获得国家级协会AA以上级别的信用评价证书情况；b）被考察企业须不在以下名单中：iii)考察人工智能企业产品技术能力如：准确率、精确率、召回率、F1值、混淆矩阵、ROC曲线、AUC值、交叉熵损失、计算速度、鲁棒性、可扩展性、可解释性等指标。考察部分人工智能企业产品技术能力如：i）ii）iii）iv）v）vi）决策能力包括决策准确性、决策效率、鲁棒性；vii）任务完成能力包括任务完成率、任务执行效率。等级定义分值一级企业拥有完善的管理与高效的运营，拥有领先技术，人工智能技术能力高，市场竞争力强，能满足客户多样需求。80分以上二级企业