清华大学计算机系的论文评价.ppt

关于计算机领域论文评价的 一些思考 林闯 陈文光 清华大学计算机系 Date1 提纲 计算机领域论文评价的复杂性 会议论文的重要性 论文价值的主客观度量 客观指标：引用（影响引子），录用率等 主观指标：会议与期刊列表等 一种综合的评价方法 Date2 计算机领域论文评价的复杂性 计算机领域 新兴的学科：我国58年建立学科 交叉的学科：数学、机电等（数理与工程技术交叉） 快速发展的学科：摩尔定律、网络发展定律 基础技术的学科：对其他学科的支撑 论文评价的多样性与复杂性 人造系统有很多新的现象、规律需要抽象和总结，缺 乏理论基础。 评价需要理论与工程技术两方面考量 热点不断，论文引用率不高。 学生和论文数量不断攀升，国内外期刊和会议庞杂。 Date3 计算机领域论文评价的复杂性（1） 论文评价是一项重要而又困难的工作 重要性 声誉与影响 学科建设和评估 政策和工作导向 复杂性 计算机领域包含多个学科和研究方向 每个学科和方向也有不同的论文评价体系和标准 单位发展的平衡 评价的主客观因素很多，尚没有一致统一的标准 是一个不断思考、不断认识和不断完善的过程 Date4 计算机领域的会议论文的重要性 “The reason conference publication is preferred to journal publication, at least for experimentalist, is the shorter time to print(7 months vs 1-2 years)” The opportunity to describe the work before ones peers at a public presentation, and The more complete level of review(4-5 vs 2-3)” Evaluating Computer Scientists and Engineers For Promotion and Tenure，David Patterson, Lawrence Snyder and Jeffrey Ullman，1999，/main/cra.pubs.html Date5 论文的意义在于学术和工程价值 价值的评判标准 客观 工程实践 引用次数（影响因子）,如SCI, citeseer, scholar.google等 会议录用率 参加人数，与工业界联系（较为间接和次要） 主观：“公认” 影响力和同行评价 Conference Rank List NUS，Geogeia Tech，Microsoft，IBM Journal Rank List 香港科大，香港理工大学, Date6 论文引用是学术价值的良好体现 SCI的引用因子，是对期刊质量的良好评价 引用，特别是他引，表达了论文影响力 Rank Abbreviated Journal Title ISSN总总引用数文章数 引用因子 1INT J COMPUT VISION0920-56914405896.085 2ACM T INFORM SYST1046-81881103175.059 3BIOINFORMATICS1367-4803214125534.894 4MIS QUART0276-77833186414.731 5IEEE T PATTERN ANAL0162-8828147081824.306 数据来源：2006 Journal Citation Report (JCR), Thomson ISI Date7 SCI期刊影响因子分布 影响因子比重 6.0850.27% 5.0590.55% 4.0811.92% 3.2563.84% 2.556.03% 211.78% 1.50921.10% 139.18% 0.853.70% 0.70260.00% 0.60169.04% 0.576.44% 0.484.38% 0.389.04% 0.295.89% 0.10398.36% Date8 SCI的缺陷在于不收集会议录 许多优秀的会议是ACM、IEEE、USENIX 和IFIP主办的，不发表在LNCS上。 LNCS进去，又被请出来了。 因此，探索会议论文的评价标准是非常有 意义的工作。 如果能够将会议论文与期刊论文一起评价将更 有意义 Date9 Citeseer的排名 /impact.html 混合了会议与期刊的排名 使得会议与期刊可以进行对比 引用率计算方法 只计算他引 N是平均每年的单篇文章引用次数，引用因子是ln(N+1) rankconference/journal nameCiteseer impact SCI impact 1OSDI:3.31 2USENIX Symposium on Internet Technologies and Systems:3.23 3PLDI:2.89 4SIGCOMM:2.79 5MOBICOM:2.76 6ASPLOS:2.7 7USENIX Annual Technical Conference:2.64 8TOCS:2.561.409 9SIGGRAPH:2.53 10JAIR:2.451.795 Date10 Citeseer影响因子分布 影响因子比重 3.310.08% 2.70.49% 2.530.73% 22.53% 1.755.15% 1.59.09% 1.410.72% 1.312.28% 1.215.64% 1.118.91% 123.25% 0.927.92% 0.831.44% 0.737.91% 0.643.89% 0.550.12% 0.456.67% 0.364.61% 0.274.36% 0.185.33% Date11 Citeseer的缺陷 目前的数据是2003年统计的 新的会议和期刊没有列入 如EUROSYS, NSDI等 现有会议和期刊的数据没有更新 程序自动进行统计，列表中有些错误 WWW出现了若干次 WWW8,WWW9,WWW5等等 总体上，Citeseer提供了一种论文影响力的客观 评判方法，可以成为论文评判的参考依据。 Date12 论文录用率 论文录用率是衡量会议质量的一个指标，但不是最重要的 指标 好的会议有可能录用率较高，因为水平一般的论文不敢投稿 一般的会议可能会有很多水平一般的投稿从而造成录用率较低 过低的录用率实际损害了会议接收包含新观点论文的能力 被录用的论文通常是工作完整，有争议的论文在过低录用率的会议上 往往会被拒绝 20-30%的录用率就比较合理， Some argue that too-high acceptance rates (e.g., 40%) dont challenge the field enough; while too-low acceptance rates ( 1 AND citeseer IF 1.4 AND NUSRank 1 2级，SCI IF 0.7 AND citeseer IF 0.5 AND NUSRank2 3级，其它（鼓励投稿优秀论文，因此不做进 一步细分） 标标准第一级级第二级级备备注 SCI1.0 (40%)0.7 (60%)2006年数据 Citeseer1.4 (10%)0.5 (50%) NUSRank 1Rank 2 Date20 新方案一级期刊的Citeseer 和SCI影响因子 Journal NameCiteSeerSCI J Artificial Intell Rese2.451.795 J Crypt1.972.833 VLDB J1.813.289 Distributed Computing1.691.097 SIAM J Comput1.641.361 Journal of Functional Programming1.570.930 ACM T Graphic1.574.081 IEEE Tran Visuallization & Compu Graph1.531.794 Information & Computation1.481.107 IEEE Tran Multimedia1.451.510 Journal Algorithms1.421.119 Date21 Journal NameCiteSeerSCI Inter J Comput Vision1.336.085 J Logic & Comput1.290.840 Inter J Comput Geom App1.170.449 J Intell Inf Syst1.100.750 IEEE Mult Media0.971.317 J Comput Biol0.902.000 J Visu Lang & Comput0.820.619 Info Retr0.611.744 Advan Comput0.520.300 新方案二级期刊的Citeseer 和SCI影响因子 Date22 总结 计算机领域论文评价包含不同学科和方向的特点 ，是一件重要而困难的工作，没有统一标准。 初步提出了一种综合的评价方法