CALIS学位论文数据

1、caliscalis学位论文数据学位论文数据 质量控制规范和数据检测工具介绍质量控制规范和数据检测工具介绍 赵阳 清华大学图书馆 学位论文项目组 2007.09.27 南京 calis学位论文数据质量控制规范学位论文数据质量控制规范 -数据格式数据格式(模式二模式二) calis record v2,无metscalis record v2,有mets n依据科技部科技基础性工作专项资金重大项目依据科技部科技基础性工作专项资金重大项目我国数我国数 字图书馆标准规范建设字图书馆标准规范建设中中专门数字对象描述元数据专门数字对象描述元数据 规范规范 子项目中的子项目中的学位论文描述性元数据学位论文

2、描述性元数据制订；制订； ncalis_etd,基于基于dc并在并在dc基础上扩展基础上扩展; n扩展原则包括扩展原则包括横向扩展规则横向扩展规则和和纵向扩展规则纵向扩展规则 ; n横向扩展规则主要是扩展元素，但新增加元素不能与已横向扩展规则主要是扩展元素，但新增加元素不能与已 有元素有任何语义上的重复有元素有任何语义上的重复; n纵向扩展规则主要指扩展修饰词，应遵循纵向扩展规则主要指扩展修饰词，应遵循dumb- down(向上兼容向上兼容)原则，原则，增加的修饰词的语义应包含于相增加的修饰词的语义应包含于相 应的未限定元素中，不能超出被修饰词（元素）的语义应的未限定元素中，不能超出被修饰词（

3、元素）的语义; ; calis学位论文数据质量控制规范学位论文数据质量控制规范 -数据格式数据格式(v2,metadata部分部分) 学位论文学位论文 本地系统本地系统 calis_etd元数据项元数据项 本地系统与本地系统与schema 对应关系对应关系 必备性和重复性必备性和重复性 要求要求 题名title（中文题名）必备，不可重复 交替题名alternative（外文题名）有则必备， 作者creator（作者名）必备，不可重复 培养单位institution（作者单位+作者所在院系） 必备 主题subject （scheme=keyword，中英文 关键词混在一起） 必备 subject

4、 （scheme=disciplinelist 学 科专业代码） 必备 附注(空值)description（中文文摘）必备 文摘abstract（英文文摘）必备 资助fund(论文研究所受的资助) 导师contributors（导师名）必备 机构institution（导师所在单位）必备 日期(空值)date 必备， 提交日期datesubmitted必备， 答辩日期defensedate（论文答辩日期）必备，不可重复， 全文可获得 日期 available 一般指发布日期。 必备， 学位论文学位论文 本地系统本地系统 calis_etd元数据项元数据项本地系统与本地系统与schema对应关系

5、对应关系必备性和重复性要求必备性和重复性要求 资源类型type 如没有，需要自动为其赋值 （本地系统需将type赋值为 “学位论文”）。 必备，不可重复， 资源格式format 如没有，需要自动赋值 （application/pdf） 必备 uriidentifier（calis-oid）必备 语种language如没有，需要自动赋值（chi） 必备 相关文献relation 权限管理rights注3 权限声明rightsstatement 保密级别securitylclassfication(填写论文保密级别)必备 学位(空值)degree必备 学位授予单位grantor必备，不可重复 学科

6、专业discipline 有则必备，不可重复， 注4 馆藏信息location必备 典藏号callnumber必备，不可重复 页码pagenum(论文总页码)有则必备 http:/ calis学位论文数据质量控制规范学位论文数据质量控制规范 -数据格式数据格式(模式二模式二) calis record v2,无metscalis record v2,有mets calis学位论文数据质量控制规范学位论文数据质量控制规范 -数据格式数据格式(v2,mets部分部分) calis学位论文数据质量控制规范学位论文数据质量控制规范 -数据格式数据格式(模式二模式二) calis record v2,无

7、metscalis record v2,有mets calis学位论文数据质量控制规范学位论文数据质量控制规范 -数据检测工具数据检测工具 n目的是检测导出的数据是否符合规范目的是检测导出的数据是否符合规范,提高数据质量提高数据质量; n管理员首先使用本地系统导出工具导出管理员首先使用本地系统导出工具导出 “calis oai record v2.0格式格式” 格式的记录格式的记录; n然后，管理员再使用然后，管理员再使用“数据质量检查工具数据质量检查工具”对记录文对记录文 件中的数据在数据格式、必备性、一致性等方面进行件中的数据在数据格式、必备性、一致性等方面进行 检查和校验检查和校验; n

8、校验无误后，管理员才能将这些文件通过校验无误后，管理员才能将这些文件通过ftp上传，上传， 或者通过或者通过oai-dp自动对外发布。自动对外发布。 calis学位论文数据质量控制规范学位论文数据质量控制规范 -数据检测工具数据检测工具 n演示演示 数据检测工具数据检测工具(所有错误列表所有错误列表) 错误代码错误代码错误提示错误提示正确性要求正确性要求 01001文件夹下找不到合法文件文件夹下找不到合法文件指定的文件夹不正确或文件不正确。指定的文件夹不正确或文件不正确。 如非如非xml文件等。文件等。 01002aoai文件名称拼接形式有误文件名称拼接形式有误oai文件名的标准格式为：文件名

9、的标准格式为：“完整的完整的 metaid” “” “导出时间戳导出时间戳” “.oai.xml” 01002boai文件名称未作格式转换或转换文件名称未作格式转换或转换 有误有误 oai文件名称中的文件名称中的“完整完整metaid”和和 “导出时间戳导出时间戳”需要进行需要进行 application/x-www-form-urlencoded mime格式转换，字符格式转换，字符“:”转换成转换成 %3a，字符，字符“/”转换成转换成%2f 01003aoai文件名中文件名中metaid拼接形式有误拼接形式有误metaid标准格式为：标准格式为：“仓储标识仓储标识” “-” “本地应用系

10、统前缀本地应用系统前缀” “/” “本地元数据标识本地元数据标识” 01003boai文件名中文件名中metaid未作格式转换未作格式转换 或转换有误或转换有误 文件名中的文件名中的“完整的完整的metaid”应按应按 application/x-www-form-urlencoded mime格式进行转换。格式进行转换。 01004aoai文件名中文件名中“导出时间戳导出时间戳”格式格式 有误有误 “导出时间戳导出时间戳”标准格式为标准格式为20位零时区位零时区 时间格式。时间格式。 01004boai文件名中文件名中“导出时间戳导出时间戳” 未作未作 格式转换或转换有误格式转换或转换有误

11、文件名中的文件名中的“导出时间戳导出时间戳”应按应按 application/x-www-form-urlencoded mime格式进行转换格式进行转换 数据检测工具数据检测工具(所有错误列表所有错误列表) 错误代码错误代码错误提示错误提示正确性要求正确性要求 01008不符合不符合oai-pmh schema /oai/2.0/o ai-pmh.xsd 文件的整体格式不合格文件的整体格式不合格 01009不符合不符合record schema： http:/ /record/record.xsd 文件的整体格式不合格文件的整体格式不合格

12、01010oai文件名中的文件名中的metaid与元数据中的标与元数据中的标 识符（识符（record-header-identifier） 不一致不一致 oai文件名中的文件名中的metaid应与元数据中应与元数据中 的标识符（的标识符（record-header- identifier）保持一致）保持一致 01011元数据时间戳（元数据时间戳（record-header- datestamp）格式不正确）格式不正确 元数据时间戳应为元数据时间戳应为20位零时区时间值位零时区时间值 01012metadata部分不符合相应元数据格式的部分不符合相应元数据格式的 schema 应符合属性应符合

13、属性xsi:schemalocation中指定中指定 的元数据格式的元数据格式schema 01013about部分不符合相应部分不符合相应schema http:/ /objinfo/objinfo.xsd 01014mets部分不符合相应的部分不符合相应的schemamets包必须符合包必须符合 /standards/mets/ version13/mets.xsd 数据检测工具数据检测工具(所有错误列表所有错误列表) 错误代码错误代码错误提示错误提示正确性要求正确性要求 01015calis-oid格式不正确格式不正确正确的格式应该为：正确的格式应该为：

14、 “urn:calis:”“高校馆代码或资高校馆代码或资 源商代码源商代码”“-”“本地集合本地集合 名名”“/”“本地标识本地标识” 01016其他与格式相关提示其他与格式相关提示 02001metadata缺少必备元素缺少必备元素应在详细结果说明中指出具体元素名应在详细结果说明中指出具体元素名 称及中文说明称及中文说明 02001a缺少元素：题名（缺少元素：题名（title）“题名题名”为必备元素为必备元素 02001b缺少元素：类型（缺少元素：类型（type）“类型类型”为必备元素为必备元素 02001c缺少元素：语种（缺少元素：语种（language）“语种语种”为必备元素为必备元素

15、02001d缺少元素：权限（缺少元素：权限（right/rights）“权限权限”为必备元素为必备元素 02001e缺少元素：学科（缺少元素：学科（subject）“学科学科”为必备项为必备项 02001f缺少元素：缺少元素：identifier（calis-oid）calis-oid为有则必备项为有则必备项 02001g缺少元素：缺少元素：format“格式格式”为有则必备元素为有则必备元素 02002metadata缺少必备的子元素修饰词缺少必备的子元素修饰词应在详细结果说明中指出具体元素名、应在详细结果说明中指出具体元素名、 子元素名称及其中文说明子元素名称及其中文说明 02003met

16、adata缺少必备值或值不合要求缺少必备值或值不合要求应在详细结果说明中指出具体值名称应在详细结果说明中指出具体值名称 及中文说明及中文说明 数据检测工具数据检测工具(所有错误列表所有错误列表) 错误代码错误代码错误提示错误提示正确性要求正确性要求 02004about缺少元素缺少元素应在详细结果说明中指出具体元素名应在详细结果说明中指出具体元素名 称及中文说明称及中文说明 02005about缺少值或值不合要求缺少值或值不合要求应在详细结果说明中指出具体值名称应在详细结果说明中指出具体值名称 及中文说明及中文说明 02006mets缺少必备元素缺少必备元素应在详细结果说明中指出具体元素名应在

17、详细结果说明中指出具体元素名 称及中文说明称及中文说明 02007mets缺少必备值或值不合要求缺少必备值或值不合要求应在详细结果说明中指出具体值名称应在详细结果说明中指出具体值名称 及中文说明及中文说明 02007a缺少值：缺少值：labellabel为为mets的必备属性的必备属性 02007b缺少值：缺少值：objidobjid为为mets的必备属性的必备属性 02007c缺少值：缺少值：profileprofile为为mets的推荐属性的推荐属性 02007d缺少值：缺少值：lastmoddate数字对象时间戳数字对象时间戳lastmoddate为必为必 备项备项 02008教育部学科

18、代码取值不正确教育部学科代码取值不正确参见教育部学科分类表参见教育部学科分类表 02009语种属性取值不正确语种属性取值不正确. 当前语种取值为当前语种取值为 “xxxx” 正确语种取值应符合正确语种取值应符合iso 639-2，参见，参见 /iso639-2.html 常见语种取值为：常见语种取值为： 中文：中文：chi 英语：英语：eng 日语：日语：jpn 数据检测工具数据检测工具(所有错误列表所有错误列表) 错误代码错误代码错误提示错误提示正确性要求正确性要求 02010日期属性取值不正确。当前日期取值为日期属性取值不正确。当前日期取值为 “xxxx”

19、 正确日期格式应符合正确日期格式应符合w3c-dtf，参见，参见 /tr/note- datetime 推荐使用推荐使用w3c-dtf日期格式为：日期格式为： yyyy (egyyyy (eg 1997)yyyy-mm (eg 1997)yyyy-mm (eg 1997-07)yyyy-mm-dd (eg1997-07)yyyy-mm-dd (eg 1997- 1997- 07-16)yyyy-mm-07-16)yyyy-mm- ddthh:mm:ssz(eg 1997-07-ddthh:mm:ssz(eg 1997-07- 16t13:15:30z)16t13:15:30z) 02011其他必备性提示其他必备性提示 03003metadata中的中的identifier与与about中的中的 calisoid不一致不一致 如果元数据的如果元数据的identifier元素中不含有元素中不含有 calis-oid，则，则calisoid的值为空的值为空 串；如果元数据的串；如果元数据的identifier元素中元素中 含有含有calis-oid，则从，则从calisoid中中 取出来的值必须与元数据中的取出来的值必须与元数据中的 calis-oid的值一致的值一致 03004about中中calisoid的值与