绩效评价指标体系设计的锤炼—以湖北省2019年中央引导地方科技发展资金

1、 绩效评价指标体系设计的锤炼以湖北省2019年中央引导地方科技发展资金绩效评价为例 汇报人：严娥湖北汉高会计师事务有限责任公司2022/1/20 目 录一项目背景与回顾绩效评价指标体系设计过程二三感悟和体会 一项目背景与回顾为了支持湖北省围绕国家科技发展战略和地方经济社会发展目标，改善湖北科研基础条件，优化科技创新环境，促进科技成果转移转化，提升湖北区域科技创新能力。湖北省中央引导地方科技发展专项资金实施细则的通知（鄂财教发201769号）要求省科技厅会同省财政厅按照科技部、财政部要求、制定、修改和完善专项资金三年滚动规划，对专项资金管理使用开展绩效评价。项目背景-湖北省中央引导地方科技发展资

2、金8,720.00万元，85个项目，围绕四个方面： 一是科研基础条件和能力建设，安排资金1,753.00万元，共18个项目。主要指地市级以上地方政府所属科研单位（不含转为企业或其他事业单位的单位）的科研仪器设备购置和科研基础设施维修改造； 二是专业性技术创新平台，安排资金4,935.00万元，共36个项目。主要指依托大学、科研院所、企业、转制科研机构建立的，通过产学研协同创新机制为区域发展提供研究开发支撑的专业性平台，包括产业技术研究院、技术创新中心（实验室、研究中心）、新型研发组织等；资金使用情况-三是科技创新创业服务机构，安排资金130.00万元，共2个项目。主要指为中小微企业技术创新、基

3、层科技创新活动提供技术转移、检验检测认证、创业孵化、知识产权、科技咨询、科技金融、科技资源共享等专业或综合性服务的机构；四是科技创新项目示范，安排资金1,902.00万元，共29个项目。主要指围绕区域发展战略，对政策目标明确、公益性属性明显、引导带动作用突出的科技成果进行转化应用的项目示范。资金使用情况- 项目抽样及分组情况-湖北省2019年中央引导地方科技发展资金财政评价抽样情况序号分组所在市州项目数量专项资金（万元）1第一组十堰市6460.00 襄阳市4250.00 2第二组鄂州市1100.00 咸宁市2100.00 黄冈市2200.00 黄石市4300.00 3第三组荆州市5400.00

4、 宜昌市3310.00 4第四组武汉市132,750.00 合计404,870.00 项目总数858,720.00 占比47.06%55.85% 温馨提示-选择代表性地点或单位湖北省省级预算绩效评价管理暂行办法第十六条规定：绩效评价应当选择一定数量的样本进行。原则上，样本总量按照资金额度或市县（项目）个数的20%确定，样本个体采取分类、分层抽样的办法确定，应当具有广泛代表性。可以根据委托方要求，适当增加样本总量，直至实现全覆盖。 评分及等级-一级指标标准分得分决策16.0014.00过程18.0015.50产出45.0040.55效果21.0011.77合计100.0081.82 总分等级“良

5、” 温馨提示-指标分析逻辑1、先总结“产出和效果”指标得分情况，后总结“决策和过程”指标得分情况。2、分析逻辑：对“产出和效果”指标的优与劣，在“决策和过程”中找原因。 二绩效评价指标体系设计过程 （一）准备阶段绩效指标设计过程（二）现场调查后绩效指标设计过程 （一）准备阶段绩效指标设计过程-1、财教2019129号 关于印发中央引导地方科技发展资金管理办法的通知2、鄂财教发201769号 省财政厅关于印发湖北省中央引导地方科技发展专项资金实施细则的通知3、鄂财教发201972号 关于下达2019年中央引导地方科技发展资金预算的通知4、鄂科技函区202013号 科技厅 财政厅关于报送湖北省20

6、19年度中央引导地方科技发展资金绩效报告的函 科研基础条件和能力建设-绩效评价指标体系专业性技术创新平台-绩效评价指标体系科技创新创业服务机构-绩效评价指标体系科技创新项目示范-绩效评价指标体系 设置了4套体系后，如何进行综合评分？ 科研基础条件和能力建设专业性技术创新平台科技创新创业服务机构科技创新项目示范资金1753万元，18个项目资金4953万元，36个项目资金130万元，2个项目资金1902万元，29个项目（二）现场调查后绩效指标设计过程1、产出指标和效益指标汇总过程2、分值设置过程3、指标值确定依据及过程4、赋分规则及过程5、模拟验算绩效指标设置的合理性1、产出指标和效益指标汇总过程

7、 现场调查后绩效指标设计过程与省科技厅负责中央引导地方科技发展资金专项负责人沟通了解，他们提供了项目管理平台。我们登入网站后将85个项目的中央引导地方科技发展专项任务书进行下载研读。将项目任务书中所涉及到的考核指标进行统计汇总。按4大类进行分层汇总，分析筛选，根据对项目的了解，筛选关键性指标。 /main/admin.jsp- 下载85个项目的项目任务书进行研读- 1.1、项目任务书样式湖北省中央引导地方科技发展专项任 务 书项 目 名 称 承 担 单 位 (盖公章) 项 目 负 责 人 起 止 年 限 年 月 至 年 月 湖北省财政厅、湖北省科学技术厅一、项目的目标和主要任务包括：项目要达到

8、的主要技术、经济目标；项目研究开发的重点和主要内容，项目技术路线、技术关键和主要创新点等。二、考核指标1、主要技术指标：项目计划完成时达到的主要技术指标。2、经济与社会效益指标：项目计划完成时达到的主要经济与社会效益指标。3、科技成果指标：通过项目实施获取自主知识产权（包括专利、标准、软件著作权、新药证书）等数量、指标及其水平等；解决产业链发展的核心关键技术的数量；对产业发展核心技术成果实施转化，形成的样品或样机的数量。4、其它考核指标：包括人才培养、研究基地建设、论文发表等方面指标。 三、绩效目标绩效指标一级指标二级指标三级指标指标值单位产出指标数量指标培训从事技术创新服务人员人次培训和指导

9、农业科技服务人次提供技术咨询/技术服务等人次开展创业辅导活动场质量指标科研仪器设备利用率%带动脱贫人数人支持地方小微企业/机构/创新团队数目个时效指标资金拨付及时率%效益指标经济效益指标技术合同成交额万元新增在孵企业家培养高新技术企业家促进科技投融资金额亿元社会效益指标开放共享仪器设备数台科技成果转化数项区域科技创新能力满意度指标服务对象满意度指标被服务企业满意度%被服务农民满意度%从事相关工作科研人员满意度%1.2、科研基础条件和能力建设绩效指标汇总过程 1.3、专业性技术创新平台-绩效指标汇总过程1.4.1 、 财政专项资金支出预算资金支出预算金额占新增投资总额的比重（%）1设备费2材料费

10、3测试化验加工费4燃料动力费5出版/文献/信息传播/知识产权事务费6会议费、差旅费、国际合作交流费7劳务费8. 专家咨询费9. 其他支出10. 间接费用 其中：绩效支出 合计（备注：间接费用一般不超过直接费用扣除设备购置费后的20%）1.4.2、设备添置经费预算（单价5万元以上的设备需填写；省拨经费购买的设备需注明）设备名称型号用途添置方式经费概算备注国外订购国内订购自己研制合计（单位：万元）1.4.3 、 科研基础条件和能力建设-财政专项支出1.4.4 、 财政专项资金支出汇总情况资金支出分类计划金额已使用金额设备费3,842.503,511.77材料费1,992.271,964.73会议费

11、、差旅费、国际合作交流费515.77154.08劳务费700.00328.15专家咨询费153.4023.47测试化验加工费656.90332.59出版、文献、信息传播、知识产权事务费381.90190.32其他支出323.86419.44无形资产50.63委托业务费6.706.50燃料及动力费56.5014.71直接费用小计8,629.80 6,996.39 间接费用90.2069.65合计8,720.007,066.04 第十九条 设置的绩效目标应当符合以下要求：（一）考核量化。坚持“定量为常态、定性为例外”的原则。不能定量表述的，可以采用定性表述，但应当具有可衡量性。（二）适度压力。指标

12、值设置应当具有挑战性和压力性。原则上，相同指标的指标值设置应当较去年完成情况有所提升。（三）相关匹配。绩效目标要与计划期内的任务数或计划数密切相关，与预算确定的投资额或资金量高度匹配。（四）指向核心。绩效目标应当优先选择最能反映绩效管理要求的关键性指标。（五）讲究成本。绩效目标应当充分考虑到后期数据获取、检验的经济性和便捷性，符合节约成本的要求。 第三十四条 财政评价根据需要另行设定绩效评价指标，绩效评价指标的设定应当遵循以下基本原则：相关性。应当与绩效目标有直接的联系，能够恰当反映目标的实现程度。重要性。应当优先使用最具代表性，最能反映评价要求的核心指标。可比性。对同类评价对象应当设定共性的

13、绩效评价指标，以便于评价结果可以相互比较。系统性。应当将定量指标与定性指标相结合，系统反映财务支出所产生的社会效益、经济效益、生态效益、可持续影响、满意度指标等。经济性。应当通俗易懂、简单易行，数据的获得应当考虑现实条件和可操作性，符合节约成本的要求。明确性。评价指标信息应当可采集、可衡量。 绩效评价指标体系的设置原则-关键绩效指标KPI 关键绩效指标（KPI）的理论基础是管理学中的“20/80原则”，即组织80%的价值是由20%的员工创造的，而80%的工作是由20%的关键行为进行控制的，因此，只要找出决定工作业绩的20%的关键行为进行控制，就可以控制整个组织的业绩完成情况。因此，KPI是对真

14、正影响绩效目标实现因素的发掘和体现。 1.5.1 、 产出指标汇总情况表一级指标二级指标三级指标指标解释指标说明目标值完成值标准分值实际分值评分细则信息来源产出（45分）产出数量（24）购置各类仪器设备数（台）项目实施的实际产出数，用以反映和考核项目产出数量目标的实现程度。购置各类仪器设备数量统计1572222.00 2.00 按样本项目实际完成个数比率得分。各项目实施单位与现场堪查申请专利、非专利技术、著作权数量申请专利、非专利技术、著作权数量统计34910702.00 2.00 发表学术论文的数量发表学术论文的数量统计40514012.00 2.00 开发新产品、新技术、新工艺的数量开发新

15、产品、新技术、新工艺的数量统计81622.00 2.00 建立示范基地建立示范基地个数21372.00 2.00 引进或培养人才（个）引进或培养人才的数量202125982.00 2.00 承担横、纵向课题（项）承担横、纵向课题数量888372.00 2.00 服务单位、企业数量（家）服务单位、企业数量24004512.00 0.56 对外提供检测等服务（次数）对外提供检测等服务的次数700033712.00 1.44 培育科技创新创业服务机构数量（家）培育科技创新创业服务机构数量2152.00 2.00 培训从事技术创新服务人员（个）培训从事技术创新服务人员数量120078822.00 2.

16、00 组织或参与国内外学术交流（次数）组织或参与国内外学术交流次数983592.00 2.00 产出质量（17分）科研仪器设备利用率项目完成的质量，用以反映和考核项目产出质量目标的实现程度。科研仪器设备利用率60%90%2.00 2.00 按样本项目完工验收合格个数比率得分各项目实施单位与现场堪查SCI、EI收录论文（篇）SCI、EI收录论文篇数1496012.00 2.00 制订标准（个）制订行业、地方标准的数量38682.00 2.00 出版教材/专著数量出版教材/专著数量1122.00 2.00 引进或培养学术带头人才（个）引进或培养学术带头人才的数量7432.00 2.00 获省部级科

17、学技术奖（个）获省部级科学技术奖的数量24892.00 2.00 核心、关键技术的突破数量核心、关键技术的突破数量20153.00 3.00 低于目标值的10%扣1分；低于目标值的20%扣2分支持地方小微企业/机构/创新团队数目支持地方小微企业/机构/创新团队数目38852.00 2.00 低于目标值的10%扣1分；低于目标值的20%扣2分成本指标（2分）自筹资金是中央引导资金0.5倍以上（含0.5倍）的项目比例自筹资金是中央引导资金0.5倍的项目/总的投资项目数量50%38.82%2.00 1.55 按实际完成个数比率得分。时效指标（2分）已完项目的验收率已验收的项目/等待验收的项目比例50

18、%02.00 0.00 按实际完成验收比率得分。1.5.2 、 效益指标汇总情况表一级指标二级指标三级指标指标解释指标说明目标值完成值标准分值实际分值评分细则信息来源效益（21分）经济效益（9分）技术合同成交额项目实施对推进科技创新产生的经济影响。972417636.853.00 3.00 按各样本项目在计划时间内完成个数比例计算得分走访、调查结果新增在孵企业数量300363.00 0.54 按实际完成个数比率得分。各项目实施单位与现场堪查培养高新技术企业数量21073.00 0.15 社会效益（8分）开放共享仪器设备数（台）项目实施对推进科技创新产生的社会影响。开放共享仪器设备数530034

19、93.00 0.30 低于目标值的10%扣1分；低于目标值的20%扣2分；未对社会提供共享扣1分带动脱贫人数带动脱贫人员的数量3007522.00 2.00 按实际完成比率扣分。科技成果转化数科技成果转化数量10003943.00 1.77 满意度指标（4分）科研单位满意度从事相关工作科研人员满意度或服务对象对项目实施效果的满意程度。科研单位满意度85%98.35%2.00 2.00 调查问卷统计结果比例计算调查问卷科研单位人员满意度科研单位人员满意度85%97.50%2.00 2.00 2、分值设置过程 湖北省省级预算绩效评价管理暂行办法第三十六条： 财政评价为项目评价的，应当合理设置绩效评

20、价指标权重，体现结果导向，原则上产出和效果类指标权重占比不低于60%。 60分80分如何选择 依据一： 财政部关于印发项目支出绩效评价管理办法的通知（财预202010号） 第十四条 财政和部门绩效评价指标的确定应当符合以下要求：财政和部门评价指标的权重根据各项指标在评价体系中的重要程度确定，应当突出结果导向，原则上产出、效益指标权重不低于60%。同一评价对象处于不同实施阶段时，指标权重应体现差异性，其中，实施期间的评价更加注重决策、过程和产出，实施期结束后的评价更加注重产出和效益。 依据二： 实施时间较短，或者产出和效益与资金关联性不强的项目侧重管理过程，适当提高决策、管理方面的分值权重，压缩

21、产出和效益权重对于实施时间较长的业务经费类、政策类项目，产出和效益与资金有明显关联适当提高产出、效益方面的分值权重 温馨提示案例分析因为本次给与补贴的85个科研项目，实施期是1-3年，从2019年到2021年结束，我们是2021年4月份去评价的，属于实施期间的评价，根据项目支出绩效评价管理办法的通知规定，我们应更加注重决策、过程和产出，所以我们分值分配为决策（16分）、过程（18分）、产出（45分），效益（21分）。 温馨提示案例分析产出和效益与资金关联性不强的项目，可以侧重管理过程，适当提高决策、管理方面的分值权重。 温馨提示温馨提示指标体系采用百分制，三级指标分值一般是整数。一级指标的分值

22、一般是5或10的倍数。3、指标值确定依据及过程 依湖北省省级预算绩效目标管理暂行办法第十七条：指标值确定依据一般包括： 历史数据同类指标的以前年度实际完成数据等，如：三年绩效指标平均值、上年值、历史极值。行业标准指行业部门和标准化管理机构公布的行业标准、地方标准等。如：国际、国家、省级。计划数据预先制定的目标、计划、预算、定额等数据。其他数据省财政厅认可的其他。 温馨提示案例分析本项目绩效评价时，我们采用的是计划值。尽可能选择计划标准、行业标准、历史标准，谨慎选用以经验数据和常识确定的标准。 在实际工作中，如何确定和使用这些标准，如何判断具体的标准是否适用，如何科学地进行纵向、横向比较是一个复

23、杂的问题。4、赋分规则及过程 4.1.(1）直接赋分。主要适用于进行“是”或“否”判断的单一评判指标。符合要求的得满分，不符合要求的不得分或者扣相应的分数。一级指标二级指标三级指标指标解释指标说明目标值完成值标准分值实际分值评分细则决策项目立项（5分）立项依据充分性项目立项是否符合法律法规、相关政策、发展规划以及部门职责，用以反映和考核项目立项依据情况。评价要点：各项要点均符合要求的得3分，有一项不符合要求的扣1分，扣完为止项目立项是否符合国家法律法规、中央引导地方科技发展资金管理办法和相关政策；依据充分已完成3.00 3.00 项目立项是否符合行业发展规划和政策要求；项目立项能否提高资金使用

24、效益，推进科技创新；项目是否属于公共财政支持范围，是否符合中央、地方事权支出责任划分原则；项目是否与相关部门同类项目或部门内部相关项目重复。立项程序规范性项目申请、设立过程是否符合相关要求，用以反映和考核项目立项的规范情况。评价要点：各项要点均符合要求的得2分，有一项不符合要求的扣1分，扣完为止项目是否按照规定的程序申请设立；程序规范已完成2.00 2.00 审批文件、材料是否符合相关要求；事前是否已经过必要的可行性研究、专家论证、风险评估、绩效评估、集体决策。 4.1.(2). 按照完成比例赋分，同时设置及格门槛。主要适用于量化的统计类等定量指标。具体可跟据指标目标值的精细程度、数据变化区间

25、进行设定。预算执行率按区间赋分，并设置及格门槛。如：项目完成，且执行数控制在年度预算规模之内的，得10分；项目尚未完成，预算执行率小于100%且大于等于80%的得7分，预算执行率小于80%且大于等于60%的得5分，预算执行率小于60%的不得分。其他定量指标按比例赋分，并设置及格门槛。如:完成率小于60%为不及格，不得分；大于等于60%的，按超过的比重赋分，计算公式为：得分=（实际完成率-60%）/(1-60%)*指标分值。 一级指标二级指标三级指标指标解释指标说明目标值完成值标准分值实际分值评分细则信息来源产出产出数量（24）购置各类仪器设备数（台）项目实施的实际产出数，用以反映和考核项目产出

26、数量目标的实现程度。购置各类仪器设备数量统计1572222.00 2.00 按样本项目实际完成个数比率得分。各项目实施单位与现场堪查申请专利、非专利技术、著作权数量申请专利、非专利技术、著作权数量统计34910702.00 2.00 发表学术论文的数量发表学术论文的数量统计40514012.00 2.00 开发新产品、新技术、新工艺的数量开发新产品、新技术、新工艺的数量统计81622.00 2.00 建立示范基地建立示范基地个数21372.00 2.00 引进或培养人才（个）引进或培养人才的数量202125982.00 2.00 承担横、纵向课题（项）承担横、纵向课题数量888372.00 2

27、.00 服务单位、企业数量（家）服务单位、企业数量24004512.00 0.56 对外提供检测等服务（次数）对外提供检测等服务的次数700033712.00 1.44 培育科技创新创业服务机构数量（家）培育科技创新创业服务机构数量2152.00 2.00 培训从事技术创新服务人员（个）培训从事技术创新服务人员数量120078822.00 2.00 组织或参与国内外学术交流（次数）组织或参与国内外学术交流次数983592.00 2.00 4.1.(3). 按评判等级赋分。主要适用于情况说明类的定性指标。分为达成预期指标、部分达成预期指标并具有一定效果、未达成预期指标且效果较差三个档次，并分别按

28、照该指标对应分值区间100%-80%（含）、80%-50%（含）、50%-0%合理确定分值。 4.1.(4 ) 按满意度赋分。适用于对服务对象、受益群体的满意程度询问调查，一般按照区间进行赋分。如：满意度大于等于90%的得10分，满意度小于90%且大于等于80%的得8分，满意度小于80%且大于等于60%的得5分，满意度小于60%不得分。一级指标二级指标三级指标指标解释指标说明目标值完成值标准分值实际分值评分细则信息来源效益满意度指标（4分）科研单位满意度从事相关工作科研人员满意度或服务对象对项目实施效果的满意程度。科研单位满意度85%98.35%2.00 2.00 调查问卷统计结果比例计算调查

29、问卷科研单位人员满意度科研单位人员满意度85%97.50%2.00 2.00 温馨提示案例分析问卷调查项目绩效评价组根据项目的具体内容，综合权衡后制定了项目调查问卷。调查问卷直接发放给调查单位共85份，发给研发人员共501份，调查对象填写完成后由评价组收回。 温馨提示案例分析 科研单位满意度 对85个项目开展问卷调查，共收集85份项目答卷。项目问卷设计10个满意度问题，每个问题分值为10分，按照选择选项的人数乘以该选项的权重除以有效答卷的份数计算得分。“非常满意”权重100.00%、“满意”权重90.00%、“一般”权重80.00%、“不满意”权重70.00%，按照选项的人数乘以该选项的权重除

30、以有效问卷的份数计算得分。得分 98.35分，大于85分。 4.2. 评分逻辑要合理严谨。绩效评价指标体系中，各部分指标得分不宜差距太大。扣分事项与问题项要有对应，扣分程度要合理。 温馨提示案例分析 （三）未充分发挥社会效益 开放共享仪器设备数349台，占目标值的6.58%。其原因是资金拨付延迟，设备招标周期长，流程复杂，中标服务费高，影响了部分设备仪器的采购进度，同时省科技厅未安排专人负责“湖北省科学仪器设备协作共用网”的推广及维护。 温馨提示案例分析 （三）未充分发挥社会效益 科技成果转化数394项，占目标值的39.40%。对专业性技术创新平台、科技基础条件和能力建设项目类支持额度为100

31、万元、技术难度、项目绩效考核情况，无法集中资；科技创新创业服务项目、科技创新示范项目支持额度为50万元。项目支持资金标准固化，分配资金时未考虑自筹资金的投入，无法集中资金办大事，同时成果推广需要时间，导致科技成果转化率较低。5、模拟验算绩效指标设置的合理性 （1）事前模拟验算- 为保障评价结果的准确合理性，在正式评价前，对指标权重进行模拟测验，或通过人工设置一些模拟数据进行验算，或随机选择一些样本开展小范围模拟考核，考察不同的分值权重分配方案对绩效评价分数和等级的影响。 （2）事后模拟验算- 为保障评价结果的准确合理性，我们对实地勘察的40个项目按照设计的指标进行评分。评价组对40个样本量进行现场评价，其中8个样本被评为“优”，24个样本被评为“良”，8个样本被评为“中”。 三感悟和体会感悟四：针对实际定方案，团队协作感悟三：分析总结，精细化锤炼绩效评价体系感悟二：虚心请教，减少外行评价内行的“错误”感悟一：理论联系实际是至臻法宝 吃透文件与政策精神，学习标准与规范（一