常见语料库使用入门

常见语料库使用入门第1页/共60页PPT模板下载：/moban/行业PPT模板：/hangye/节日PPT模板：/jieri/PPT素材下载：/sucai/PPT背景图片：/beijing/PPT图表下载：/tubiao/优秀PPT下载：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/资料下载：/ziliao/PPT课件下载：/kejian/范文下载：/fanwen/试卷下载：/shiti/教案下载：/jiaoan/PPT论坛：

主要部分第一节

语料库及其分类第二节公共语料库检索第三节

个人语料库创建0第2页/共60页第一节语料库及其分类第3页/共60页语料库及其分类1语料库(corpus)：存放语言材料的仓库。现代的语料库是指存放在计算机里的原始语料文本或经过加工后带有语言学信息标注的语料文本的汇集。三点基本认识：A.必须是实际使用中真实出现过的语言材料；B.须以计算机为必要载体；C.材料分析加工后才有用。第4页/共60页语料库及其分类2第5页/共60页语料库及其分类3第6页/共60页第二节公共语料库检索第7页/共60页公共语料库检索4统计频率

查找例句验证分析参数设置带着问题收集证据基于检索第8页/共60页公共语料库检索5我国21个知名语料库01.中央研究院近代汉语标记语料：.tw/Early_Mandarin/02.中央研究院汉籍电子文献：.tw/ftms-bin/ftmsw3

03.国家现代汉语语料库：1:8080/04.国家语委现代汉语语料库：/retrieval/index.html05.树图数据库：.tw/06.语料库语言学在线：07.北京大学CCL语料库：/Yuliao_Contents.Asp第9页/共60页公共语料库检索6我国21个知名语料库08.北京大学《人民日报》标注语料库：09.北京语言大学的语料库：/kych/H.htm10.清华大学TH-ACorpus：/ainlp/source.htm11.山西大学语料库：/homepage/cslab/sxuc1.htm12.台湾南岛语典藏：.tw/Formosan/13.闽南语典藏：.tw/14.香港城市大学LIVAC共时语料库：/search.php第10页/共60页公共语料库检索7我国21个知名语料库15.浙江师范大学的历史文献语库:/xueke/hyywzx/xkjj.htm16.中科院计算所语料库：/corpus/query_process.php17.中文语言资源联盟：/xyzy.htm18.SKETCHENGINE多语言语料库：www.sketchengine.co.uk19.LIVAC共时语料库：/20.红楼梦汉英平行语料库：/hongloumeng/21.北京语言大学BCC语料库：/第11页/共60页公共语料库检索8国外18个知名英语语料库01.国际英语语料库(ICE):http://www.ucl.ac.uk/english-usage/ice/htm02.美国国家语料库(ANC)：/03.美国当代英语语料库(COCA)：/04.美国近当代英语语料库(COHA)：http:///coha/05.英国国家语料库(BNC)：http:///bnc/06.柯林斯英语语料库(BOE)：http://www./wordbanks/07.英国英语语料库(SEU)：http://www.ucl.ac.uk/english-usage/08.澳大利亚英语语料库（ACE）：http://khnt.hit.uib.no/icame/manuals/09.新规范语料库(NMC)：http://www.sketchengine.co.uk/第12页/共60页公共语料库检索9国外18个知名英语语料库10.LLC口语语料库:http://khnt.hit.uib.no/icame/manuals/11.COBUILD语料库：http://www.collins.co.uk/Corpus/CorpusSearch.aspx12.ICE东非等分库：http://www.ucl.ac.uk/english-usage/ice/avail.htm13.ARCHER语料库：/english/degree_programs.asp14.CEECS语料库：http://www.eng.helsinki.fi/varieng/main/corporal.htm15.SCTS语料库：http://www.scottishcorpus.ac.uk/16.VOICE语料库：http://www.univie.ac.at/Anglistik/voice/17.ELFA语料库：http://www.uta.fi/laitokset/kielet/engf/research/elfa/18.朗曼语料库：http://www.long-/dictionaries/corpus/index.html第13页/共60页公共语料库检索10小问题：

一种语言现象我们至少得收集多少条语料呢？徐杰教授认为，语料多多益善，至少应收集500条。大数定律（LawofLargeNumbers）：

指在随机试验中，每次出现的结果不同，但是大量重复试验出现的结果的平均值却几乎总是接近于某个确定的值。第14页/共60页公共语料库检索11由收集验证到实证分析需要学点统计学抽样与调查离散与连续频率与分布描述与图示样本与总体估计与检验统计置信区间T检验第15页/共60页公共语料库检索12由收集验证到实证分析需要学点统计学集中趋势的特征数：平均数、众数、中位数、调和平均数、几何平均数变异程度的特征数：极差、四分位差、平均差、方差、标准差参数估计与假设检验——以样本对总体的推断一般步骤（1）明确问题（2）收集信息（3）提出假设（4）构建模型（5）模型求解（6）分析检测第16页/共60页公共语料库检索13由收集验证到实证分析需要学点统计学在自然现象和社会现象中，大量的随机变量都服从或近似地服从正态分布。大部分参数检验，比如t检验，方差分析，回归分析等，要求数据符合正态分布。三个基本点：1）呈钟形，形态如左图；2）两个参数，均值和标准差；3）图象大致表示：平均数周围的属性值在总体上占到大多数。正态分布第17页/共60页公共语料库检索14公共语料库的检索说明——以BCC语料库为例初阶的进阶的仅输入关键字查找关键字特殊符号检索式搜索语料库检索≠百度一下第18页/共60页公共语料库检索15公共语料库的检索说明——以BCC语料库为例统计第19页/共60页公共语料库检索16公共语料库的检索说明——以BCC语料库为例检索式说明检索式可以是字串、词串、词性的组合而成的查询模式。例如：如果检索“我想吃”后面紧接着一个名词的语言实例，检索式为：我想吃n，这里n是词性符号，表示名词。第20页/共60页公共语料库检索17公共语料库的检索说明——以BCC语料库为例检索式示例第21页/共60页公共语料库检索18公共语料库的检索说明——以BCC语料库为例检索式示例第22页/共60页公共语料库检索19公共语料库的检索说明——以BCC语料库为例特殊含义符号第23页/共60页公共语料库检索20公共语料库的检索说明——以BCC语料库为例特殊含义符号第24页/共60页公共语料库检索21公共语料库的检索说明——以BCC语料库为例词性列表第25页/共60页公共语料库检索22公共语料库的检索说明——以BCC语料库为例构词第26页/共60页公共语料库检索23公共语料库的检索说明——以BCC语料库为例构词合成词第27页/共60页公共语料库检索24公共语料库的检索说明——以BCC语料库为例搭配第28页/共60页公共语料库检索25公共语料库的检索说明——以BCC语料库为例离合第29页/共60页公共语料库检索26公共语料库的检索说明——以BCC语料库为例句型第30页/共60页公共语料库检索27公共语料库的检索说明——以BCC语料库为例定界第31页/共60页公共语料库检索28公共语料库的检索说明——以BCC语料库为例构式第32页/共60页公共语料库检索29公共语料库的检索说明——以BCC语料库为例构式第33页/共60页公共语料库检索30公共语料库的检索说明——以BCC语料库为例自定义搜索第34页/共60页公共语料库检索31公共语料库的检索说明——以BCC语料库为例检索结果第35页/共60页公共语料库检索32公共语料库的检索说明——以BCC语料库为例历时检测第36页/共60页公共语料库检索33公共语料库的检索说明——以BCC语料库为例检索统计第37页/共60页公共语料库检索34公共语料库的检索说明——以BCC语料库为例筛选查看上下文如果想对检索结果进一步筛选，可以使用筛选功能，对检索结果进一步剔除或者仅仅保留符合筛选检索式的实例。第38页/共60页公共语料库检索35公共语料库的检索说明——以BCC语料库为例下载高级设置第39页/共60页公共语料库检索36公共语料库的检索说明——以BCC语料库为例句法树第40页/共60页注意检索格式多摸索多使用

依据调查需要设置调查项目学点儿统计学学点编程语言

公共语料库检索37第41页/共60页第三节

个人语料库创建第42页/共60页个人语料库创建38材料/工具准备阶段1、电脑、办公软件2、语料的选取标准3、语料库大小设定4、已收好集的语料5、采取txt格式保存生语料库熟语料库加工标注词性标记句法标记词义标记篇章指代标记韵律标记……若只是要词频数据，则生语料库足够，word/wps或txt记事本都可以建立word/wps的“查找替换”工具即可，txt记事本的“编辑-查找”工具也行。“宏”第43页/共60页个人语料库创建39熟语料库加工阶段需要工具/材料：1、电脑、办公软件2、语料库加工工具2、语料的选取标准3、语料库大小设定4、已存的生语料库5、采取txt格式保存第44页/共60页个人语料库创建40熟语料库加工阶段可以采用这个工具双击打开软件第45页/共60页个人语料库创建41熟语料库加工阶段需要说明的是：自己找到的语料库必须是已经集中放好到“语料库”这样的文件夹中。点击打开文件第46页/共60页个人语料库创建42熟语料库加工阶段打开“语料库”文件夹第47页/共60页个人语料库创建43熟语料库加工阶段比如，选择“痴人”这个语料第48页/共60页个人语料库创建44熟语料库加工阶段然后，点击“切分标注”即可第49页/共60页个人语料库创建45熟语料库加工阶段然后，点击全选，复制到新建的一个txt文档，保存文件，得到一个熟语料然后，把新存的那个熟语料文件保存到一个新建的“熟语料库”文件夹中依据此法，逐一对生语料库中的单个语料进行“词性标注”，然后逐一保存到“熟语料库”中。这时，初加工的自建熟语料库的完成了。第50页/共60页个人语料库创建46语料库的检索阶段双击该软件进入界面推荐使用的软件AntConc第51页/共60页个人语料库创建47语料库的检索阶段接下来，英语不好的话，可以设置语言，点击“GlobalSettings”菜单，找到“LanguageEncodings”，点击该菜单，再点击右手边的“Edit”，这时会弹出一些选项，选择“ChineseEncodings”，在选择该项目右边的“Chinese（euc-cn）,最后点击右下方的“Apply”。第52页/共60页个人语料库创建48语料库的检索阶段这时，会自动回到这个界面第53页/共60页个人语料库创建49语料库的检索阶段点击“File”选项，再选择“openfiles”,然后得找到