第5章51 文本与文本处理

1、第第5章章 数字媒体及应用数字媒体及应用5.1 文本与文本处理文本与文本处理 5.2 图像与图形图像与图形 5.3 数字声音及应用数字声音及应用5.4 数字视频及应用数字视频及应用25.1 文本与文本处理5.1 文本与文本处理文本与文本处理 5.1.1 字符的编码字符的编码5.1.2 文本准备文本准备5.1.4 文本编辑、排版与处理文本编辑、排版与处理5.1.3 文本的分类文本的分类5.1.5 文本的展现文本的展现 35.1 文本与文本处理文字处理是计算机应用的基础文字处理是计算机应用的基础n 计算机应用使用计算机进行信息处理计算机应用使用计算机进行信息处理n 其中，其中，文字处理是涉及面最广

2、的一种计算机应用，文字处理是涉及面最广的一种计算机应用，几乎与任何领域任何人都有关。几乎与任何领域任何人都有关。文字文字数值数值语言语言音乐音乐图像图像信息的形态有多种信息的形态有多种45.1 文本与文本处理计算机文字处理过程计算机文字处理过程n 文字信息在计算机中称为文字信息在计算机中称为“文本文本”（text），文本是计算机中最），文本是计算机中最常用的一种数字媒体常用的一种数字媒体n 文本由一系列文本由一系列 “字符字符”（character）组成，每个字符均使用二）组成，每个字符均使用二进制编码表示进制编码表示n 文本在计算机中的处理过程是：文本在计算机中的处理过程是：（文本编辑器文本

3、编辑器）文本编辑文本编辑与排版与排版格式化的格式化的电子文本电子文本（2）文本文本展现展现（文本阅读器文本阅读器）（5）文本处理文本处理 （文本处理文本处理）（3）文本准备文本准备电子电子文本文本（1）（文字与图表文字与图表 的输入的输入）文本存储文本存储与传输与传输（4）( (存档存档/ /通信软件通信软件) )55.1 文本与文本处理5.1.1. 字符在计算机中的表示字符在计算机中的表示 65.1 文本与文本处理字符、字符集及其编码表字符、字符集及其编码表 n 文字的基本元素是字母和符号，统称为文字的基本元素是字母和符号，统称为“字符字符” (character)，它包括：字母、数字、标点

4、、符号等，它包括：字母、数字、标点、符号等n 字符集：一组特定字符的集合字符集：一组特定字符的集合n 不同的字符集包含的字符数目与内容不同，如：不同的字符集包含的字符数目与内容不同，如：中文字符集、西文字符集、日文字符集等中文字符集、西文字符集、日文字符集等n 字符的编码：字符的编码：n 字符集中每个字符的二进位表示，称为该字符的编码或代码字符集中每个字符的二进位表示，称为该字符的编码或代码(code) n 不同的字符其编码各不相同不同的字符其编码各不相同75.1 文本与文本处理西文字符的编码西文字符的编码ASCII码码n 西文是表音文字西文是表音文字(拼音文字拼音文字)，它由拉丁字母、数字、

5、标点符号，它由拉丁字母、数字、标点符号以及一些特殊符号所组成以及一些特殊符号所组成n 美国标准信息交换码美国标准信息交换码(ASCII码码)：n ASCII字符集包含字符集包含96个可打印字符和个可打印字符和32个控制字符个控制字符n 采用采用7个二进位进行编码个二进位进行编码n 计算机中使用计算机中使用1个字节存储个字节存储1个个ASCII 字符字符n 存在问题：存在问题：n 字符集太小（只有字符集太小（只有128个字符）个字符）n 不同国家和地区使用不同的字符集及其编码，互不兼容不同国家和地区使用不同的字符集及其编码，互不兼容0X X X X X X X85.1 文本与文本处理汉字如何编码

6、？汉字如何编码？n 汉字是记录汉语（国语，华语）的文字，属于表汉字是记录汉语（国语，华语）的文字，属于表意文字，它用符号直接表达词或词素，有多个国意文字，它用符号直接表达词或词素，有多个国家和地区使用（中、日、韩、新、马家和地区使用（中、日、韩、新、马）n 汉字的特点汉字的特点n数量大；字形复杂，同音字多，异体字多数量大；字形复杂，同音字多，异体字多n 如何编码？如何编码？n确定收入多少字、哪些字？确定收入多少字、哪些字？n在字符集中如何排列？在字符集中如何排列？n使用多少个二进位进行编码？使用多少个二进位进行编码？95.1 文本与文本处理常用的汉字编码字符集常用的汉字编码字符集n国家标准国家

7、标准GB2312-1980n汉字扩充规范汉字扩充规范 GBK (已被已被GB 18030取代取代)n国家标准国家标准GB18030-2005n港澳台使用的汉字编码字符集港澳台使用的汉字编码字符集BIG 5，俗称，俗称“大大五码五码” UCS/Unicode多文种大字符集多文种大字符集nUnicode的的UTF-8nUnicode的的UTF-16105.1 文本与文本处理一级汉字一级汉字（3755个）个）二级汉字二级汉字（3008个）个）（扩充使用）（扩充使用）字母、数字和各种符号字母、数字和各种符号 19423位号位号 191655568794区区 号号(按汉语拼音排列按汉语拼音排列)(按偏旁

8、部首排列按偏旁部首排列)GB2312汉字编码字符集汉字编码字符集n 1980年颁布年颁布信息交换用汉字编码字符集信息交换用汉字编码字符集基本基本集集GB2312-1980n GB2312字符集由三个部分构成：字符集由三个部分构成：拉丁字母、俄拉丁字母、俄文、日文平假文、日文平假名与片假名、名与片假名、希腊字母、汉希腊字母、汉语拼音等共语拼音等共682个个共共6763个汉字和个汉字和682个符号，个符号，每个每个汉字和符号都有一汉字和符号都有一个确定位置个确定位置115.1 文本与文本处理GB2312汉字的编码汉字的编码n 每一个每一个GB2312汉字使用汉字使用16位位(2个字节个字节)表示表

9、示n 为了与为了与ASCII字符相区别，每个字节的最高位均字符相区别，每个字节的最高位均为为“1”n 例如：例如：“南南”字的代码是字的代码是11000100 11001111（用十六进制表示为（用十六进制表示为C4CF） 11第第1字节字节第第2字节字节X X X X X X XX X X X X X X125.1 文本与文本处理GBK汉字汉字内码扩充规范内码扩充规范 n GB2312的不足：的不足：n 汉字字数太少，缺少繁体字汉字字数太少，缺少繁体字,无法满足无法满足人名、地名、古籍整理、人名、地名、古籍整理、古典文献研究古典文献研究等应用的需要；与等应用的需要；与ASCII码不兼容码不兼

10、容n GBK汉字汉字内码扩充规范（内码扩充规范（1995）：）：n 在在GB2312基础上，增加了基础上，增加了1万多汉字万多汉字(包括繁体字包括繁体字)和符号和符号n 共有共有21003个汉字和个汉字和883个图形符号，如个图形符号，如“計計算算機機”、冃冃、冄冄、円円、冇冇等繁体字和生僻字等繁体字和生僻字 n 与与GB8312保持向下兼容，也使用双字节表示，第保持向下兼容，也使用双字节表示，第1字节最高位必字节最高位必须为须为“1”：1 X第第1字节字节第第2字节字节X X X X X X XX X X X X X X135.1 文本与文本处理UCS/Unicode多文种大字符集多文种大字

11、符集n 背景：为了实现全球数以千计的不同语言文字的统一编码背景：为了实现全球数以千计的不同语言文字的统一编码n 方案：方案：ISO将全球所有文字字母和符号集中在一个字符集中进行统一将全球所有文字字母和符号集中在一个字符集中进行统一编码编码(目前共收集了目前共收集了17x2161,114,112 个个) ，称为，称为UCS/Unicoden UCS/Unicode的编码方案：的编码方案：n 先实现部分字符的编码（近先实现部分字符的编码（近11万个字符）万个字符）n 尽量与已有编码标准兼容尽量与已有编码标准兼容n 包含有中、日、韩、越统一整理出来的约包含有中、日、韩、越统一整理出来的约7万汉字（称

12、万汉字（称CJKV汉字）汉字）n 允许有若干不同的编码方案允许有若干不同的编码方案, 常用的两种是：常用的两种是：单字节：单字节：ASCII字符字符双字节：拉丁、希腊、阿拉伯，双字节：拉丁、希腊、阿拉伯，三字节：三字节：CJKV汉字汉字四字节：其他四字节：其他Unicode:UTF-8 单字节可变长编码单字节可变长编码应用：应用：Linux，Web网页，电子邮件网页，电子邮件双字节：双字节： ASCII字符、拉丁、希腊、字符、拉丁、希腊、 阿阿 拉伯，常用拉伯，常用CJKV汉字，汉字，四字节：非常用四字节：非常用CJKV汉字汉字Unicode:UTF-16双字节可变长编码双字节可变长编码应用：

13、应用：Windows，Mac，Java，145.1 文本与文本处理GB18030汉字编码标准汉字编码标准n 背景：无论是背景：无论是Unicode的的UTF-8还是还是UTF-16，其，其CJK汉字字符集虽然汉字字符集虽然覆盖了我国已使用多年的覆盖了我国已使用多年的GB2312和和GBK标准中的汉字，但它们的标准中的汉字，但它们的编编码并不相同码并不相同n 为了既能与为了既能与UCS/Unicode编码标准接轨，又能保护我国已有的大量编码标准接轨，又能保护我国已有的大量汉字信息资源，我国在汉字信息资源，我国在2000年和年和2005年两次发布年两次发布GB18030汉字编码汉字编码国家标准国家

14、标准。n GB18030实质上是实质上是UCS/Unicode字符集的另一种编码方案：字符集的另一种编码方案：n 单字节编码（单字节编码（128个）表示个）表示ASCII字符字符n 双字节编码（双字节编码（23940个）表示汉字，与个）表示汉字，与GBK（以及（以及GB2312）保持向）保持向下兼容，下兼容，GBK不再使用不再使用n 四字节编码（约四字节编码（约158万个）用于表示万个）用于表示 UCS/Unicode中的其他字符中的其他字符n GB18030目前已在我国信息处理产品中强制贯彻执行。目前已在我国信息处理产品中强制贯彻执行。 155.1 文本与文本处理标准名称标准名称GB2312

15、GBKGB18030UCS-2(Unicode)字符集字符集6763个汉字个汉字(简简体字体字)21003个汉字个汉字（包括（包括GB2312汉字在内）汉字在内）近近3万汉字万汉字(包括包括GBK汉字汉字和和CJKV及其扩及其扩充中的汉字充中的汉字)包含近包含近11万字符，其万字符，其中的汉字与中的汉字与GB18030相同相同编码方法编码方法双字节存储和双字节存储和表示，每个字表示，每个字节的最高位均节的最高位均为为“1” 双字节存储和表双字节存储和表示，第示，第1个字节个字节的最高位必为的最高位必为“1”部分双字节、部分双字节、部分部分4字节表示，字节表示，双字节表示方双字节表示方案与案与G

16、BK相同相同(1) UTF-8采用单字节采用单字节可变长编码可变长编码(2) UTF-16采用双字采用双字节可变长编码节可变长编码兼容性兼容性编码编码不兼容！不兼容！小结：几种汉字编码的对比小结：几种汉字编码的对比编码保持向下兼容编码保持向下兼容165.1 文本与文本处理小结：不同标准，不同的表示！小结：不同标准，不同的表示！n 与字符的编码一样，图像、声音、视频等也分别有许多编码标与字符的编码一样，图像、声音、视频等也分别有许多编码标准准, 如：国际标准如：国际标准(ISO)、国家标准、国家标准(GB)、工业标准、企业标准、工业标准、企业标准等，这也是信息处理复杂性的原因之一。等，这也是信息

17、处理复杂性的原因之一。n由于经济利益和政治体制等多种原因，相同的信息在计算机由于经济利益和政治体制等多种原因，相同的信息在计算机中可以有不同的表示，即采用不同的编码进行表示中可以有不同的表示，即采用不同的编码进行表示n例如：例如： “南京大学南京大学1234ABCD”的的3种表示：种表示：C4 CF BE A9 B4 F3 D1 A7 31 32 33 34 41 42 43 44E5 8D 97 E4 BA AC E5 A4 A7 E5 AD A6 31 32 33 34 41 42 43 4457 53 AC 4E 27 59 66 5B 31 00 32 00 33 00 34 00 4

18、1 00 42 00 43 00 44 00GBUTF-8UTF-16175.1 文本与文本处理5.1.2. 文本准备文本准备 文稿如何输入计算机文稿如何输入计算机 185.1 文本与文本处理文字符号输入计算机的方法文字符号输入计算机的方法键盘输入键盘输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入(1)数字编码数字编码, 如电报码、区位码等如电报码、区位码等, (2)字音编码字音编码, 如智能如智能ABC等等(3)字形编码，如五笔字形和表形码等字形编码，如五笔字形和表形码等, (4)形音编码形音编码发展趋势：基于统计和学习功能的以词语发展趋势：基于统计和学习功能的以词

19、语(短语短语)或句子作为输入单或句子作为输入单位的输入方法位的输入方法195.1 文本与文本处理文字符号输入计算机的方法文字符号输入计算机的方法键盘输入键盘输入联机手写输入联机手写输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入优点：优点：自然，流畅自然，流畅小型化，适合移动计算小型化，适合移动计算不足：不足：识别速度和正确性还需提高识别速度和正确性还需提高书写要求还要降低书写要求还要降低205.1 文本与文本处理文字符号输入计算机的方法文字符号输入计算机的方法键盘输入键盘输入联机手写输入联机手写输入语音输入语音输入自动识别输入自动识别输入字符信息的输入字符信息的输入人

20、工输入人工输入优点：优点：自然，方便，适合移动计算自然，方便，适合移动计算不足：不足：对说话人、说话方式、说话内容的对说话人、说话方式、说话内容的适应能力要大适应能力要大大增强大增强识别速度和正确性还需大大提高识别速度和正确性还需大大提高215.1 文本与文本处理文字符号输入计算机的方法文字符号输入计算机的方法光学字符识别光学字符识别键盘输入键盘输入联机手写输入联机手写输入语音输入语音输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入扫描仪扫描仪OCR数字数字文本文本纸介质纸介质文本文本文本的文本的映象映象(image)识别率已达到识别率已达到98%功能功能: 简、繁体字

21、简、繁体字混合识别混合识别 中文、西文混合识别中文、西文混合识别 文字、表格混合识别文字、表格混合识别 智能校对功能智能校对功能225.1 文本与文本处理文字符号输入计算机的方法文字符号输入计算机的方法光学字符识别光学字符识别条形码、磁卡、条形码、磁卡、IC卡、卡、RFID识别识别键盘输入键盘输入联机手写输入联机手写输入语音输入语音输入自动识别输入自动识别输入字符信息的输入字符信息的输入人工输入人工输入 预先进行标识预先进行标识 扫描识别输入扫描识别输入235.1 文本与文本处理汉字的键盘输入汉字的键盘输入n 汉字与键盘上的键无法一一对应，因此必须使用汉字与键盘上的键无法一一对应，因此必须使用

22、几个键来表示一个汉字，这就称为汉字的几个键来表示一个汉字，这就称为汉字的“键盘输键盘输入编码入编码”n 优秀的汉字键盘输入编码应具有的特点：优秀的汉字键盘输入编码应具有的特点：n易学习、易记忆易学习、易记忆n效率高效率高(平均击键次数较少平均击键次数较少)n重码少重码少n容量大容量大(可输入的汉字字数多可输入的汉字字数多)245.1 文本与文本处理条形码条形码定位标志定位标志数据区数据区 一维条形码将宽度不等的黑条和白一维条形码将宽度不等的黑条和白条按一定的编码规则排列成平行线条按一定的编码规则排列成平行线图案，用以对物品进行标识图案，用以对物品进行标识只在一个方向表达信息，信息量有只在一个方

23、向表达信息，信息量有限（几十个字符），只能包含字母、限（几十个字符），只能包含字母、数字和一些特殊符号数字和一些特殊符号 二维条形码在平面（二维方向）上以黑白相二维条形码在平面（二维方向）上以黑白相间的图形记录文字和符号信息，信息容量大间的图形记录文字和符号信息，信息容量大QR条码可容纳条码可容纳7089个数字，或者个数字，或者4296个字母，个字母，或者或者1800个汉字，也可以表示签字、指纹等信个汉字，也可以表示签字、指纹等信息息检错和纠错功能较强，能检错和纠错功能较强，能360度全方位识读，度全方位识读，可靠性高可靠性高可引入加密技术，保密性、防伪性较好可引入加密技术，保密性、防伪性较好

24、（QR条码）条码）（商品条码）（商品条码）255.1 文本与文本处理5.1.4 文本的编辑与排版文本的编辑与排版265.1 文本与文本处理n 目的：确保文本内容正确无误目的：确保文本内容正确无误n 操作：对字、词、句和段落进行添加、删除、修操作：对字、词、句和段落进行添加、删除、修改等操作改等操作n MS Word的功能：的功能：n在文本的任何位置都可以在文本的任何位置都可以插入插入新的文字新的文字n从文本的任何位置都可以从文本的任何位置都可以删除删除不需要的文字不需要的文字n将一段文字从一处将一段文字从一处移动移动到另一处到另一处n将一段文字从一处将一段文字从一处复制复制到另一处到另一处n在

25、文本中自动在文本中自动查找查找指定的词语指定的词语n用一个词语自动用一个词语自动替换替换文本中指定的词语文本中指定的词语文本编辑文本编辑(text editing)275.1 文本与文本处理n 目的：使文本清晰、美观、目的：使文本清晰、美观、便于阅读便于阅读n 操作内容：对文本中的字操作内容：对文本中的字符、段落乃至整篇文章的符、段落乃至整篇文章的格式进行设计和调整，分格式进行设计和调整，分成成3个层次：个层次：n对字符格式进行设置对字符格式进行设置n对段落格式进行设置对段落格式进行设置n对文档页面进行格式设置对文档页面进行格式设置文本排版文本排版(Typesetting )285.1 文本与

26、文本处理设置字符的格式设置字符的格式n 字号字号( (八号八号 初号初号, 5磅磅72磅以上磅以上) ) 1 1磅相当于磅相当于1/721/72英寸英寸 n 字体字体( (宋体、宋体、楷体楷体、黑体黑体、仿宋仿宋、隶书隶书) )n 字符的修饰字符的修饰n 字符的形状字符的形状( (字形字形) )：正常、加粗、加粗、倾斜、加粗倾斜加粗倾斜n 字形的修饰：字形的修饰：下划线下划线、着重号、上下标、删除线、着重号、上下标、删除线n 字符的颜色字符的颜色n 字符的宽度字符的宽度n 字符的间距字符的间距n 字符的效果字符的效果n 字符的排列方向字符的排列方向Demo1295.1 文本与文本处理n 什么是

27、段落？用什么是段落？用“回车回车”相互隔开的一组文字相互隔开的一组文字n 段落格式的设置：段落格式的设置：n 段落的对齐方式段落的对齐方式( (两端对齐、分散对齐、居中对齐、左对齐、两端对齐、分散对齐、居中对齐、左对齐、右对齐右对齐)n 段落的缩进方式段落的缩进方式( (首行缩进、悬挂缩进、左缩进、右缩进首行缩进、悬挂缩进、左缩进、右缩进)n 段间距和段内行距段间距和段内行距n 使用编号和项目符号使用编号和项目符号n 段落段落添加边框和底纹添加边框和底纹n 首字下沉或悬挂首字下沉或悬挂n 段落与分页的关系段落与分页的关系设置段落的格式设置段落的格式Demo2305.1 文本与文本处理控制段落的

28、缩进控制段落的缩进n 段落缩进是指段落中的文本到正文区左、右边界的距段落缩进是指段落中的文本到正文区左、右边界的距离，包括段落左缩进、右缩进和首行缩进。其缩进的离，包括段落左缩进、右缩进和首行缩进。其缩进的距离可由水平标尺上对应的三个缩进标记来指示距离可由水平标尺上对应的三个缩进标记来指示左缩进标记左缩进标记首行缩进标记首行缩进标记右缩进标记右缩进标记右缩进右缩进左缩进左缩进首行缩进首行缩进正文区正文区右边界右边界正文区正文区左边界左边界悬挂缩进悬挂缩进标标记记315.1 文本与文本处理n页面格式的设置：页面格式的设置：n设置纸张大小和页边距设置纸张大小和页边距n设置每页的行、列数目设置每页的

29、行、列数目n设置分栏数目与格式设置分栏数目与格式n设置页码设置页码n设置页眉和页脚设置页眉和页脚 设置页面的格式设置页面的格式325.1 文本与文本处理设置页面的分栏设置页面的分栏335.1 文本与文本处理文本处理初步文本处理初步345.1 文本与文本处理5.1.3 文本的分类文本的分类355.1 文本与文本处理简单文本简单文本(纯文本纯文本 ) 本本 书书 由由 南南 京京 大大 学学 出出 版版 社社 ( P u b l i s h i n g H o u s e o f N a n j i n g U n i v e r s i t y ) 出出 版版 文文本本 没有字体、字号的变化，无

30、图片和表格，也不能建立超链接，其没有字体、字号的变化，无图片和表格，也不能建立超链接，其文件后缀名是文件后缀名是 .txt 在计算机中在计算机中.txt文件由一串字符代码所组成，几乎不包含任何其他文件由一串字符代码所组成，几乎不包含任何其他的格式信息和结构信息的格式信息和结构信息例：例：本书由南京大学出版社本书由南京大学出版社(Publishing House of Nanjing University)(Publishing House of Nanjing University)出版出版文文本本在在计计算算机机中中的的表表示示 B1 BE CA E9 D3 C9 C4 CF BE A9 B

31、4 F3 D1 A7 B3 F6 B0 E6 C9 E7 28 50 75 62 6C 69 73 68 69 6E 67 20 48 6F 75 73 65 20 6F 66 20 4E 61 6E 6A 69 6E 67 20 55 6E 69 76 65 72 73 69 74 79 29 B3 F6 B0 E6 365.1 文本与文本处理丰富格式文本丰富格式文本本书由南京大学出版社本书由南京大学出版社(Publishing House of Nanjing University)(Publishing House of Nanjing University)出版出版 有字体字号等属性变化、设置了段落和页面排版格式的文本称为有字体字号等属性变化、设置了段落和页面排版格式的文本称为“丰富丰富格式文本格式文本” 丰富格式文本中，除了正文内容之外，还使用了许多丰富格式文本中，除了正文内容之外，还使用了许多“标记标记”来描述字来描述字符的属性和格式的设置符的属性和格式的设置 举例：下面标题的格式为：中文用黑体，西文用举例：下面标题的格式为：中文用黑体，西文用Arial Black体，居中体，居中 使用使用HTML语言描述为：语言描述为： 本书由南京大学出版社本书由南京大学出版社(Publishing House of Na