数字媒体及应用

1、一、数的进制十进制二进制十进制二进制00000601101000170111200108100030011910014010010101050101111011二进制二进制八进制八进制十进制十进制十六进制十六进制(1101.1)2=1 23+1 22+021+1 20+1 2-1例2:将八进制数34. 6转换成十进制数。 (34.6)8=3 81+480+6 8-1=（28.75)10例3:将十六进制数2AB. 6转换成十数 (2AB.6)16=2 162+10 161+11 160 +6 16-1 =（683.375)10 2 |1 1所以,(86)10=(1010110)20 二、 数值信

2、息的表示二、 数值信息的表示二、 数值信息的表示二、 数值信息的表示 尾 数 f ( ) 符号位 s 8 位 23 位 偏移阶码 e b1b2b3b23 二、 数值信息的表示文本展现（阅读器）文本处理（文本处理软件）文本生成其他媒体电子文本文本编辑（编辑器）格式化的电子文本网络传输 计算机对文本的处理 字符的编码字符的编码标准标准ASCII 字符集的特点：字符集的特点： 数字、字母连续存放 Asc( “A”) + 32 = Asc(“a”) 有 96 个可打印(显示)字符，32 个控制字符， 共有 128 个字符 字 母 、 数 字 和 各 种 符 号 字 母 、 数 字 和 各 种 符 号

3、字 母 、 数 字 和 各 种 符 号 字 母 、 数 字 和 各 种 符 号 字 母 、 数 字 和 各 种 符 号 一 级 汉 字 一 级 汉 字 一 级 汉 字 一 级 汉 字 （ 3755个 ） 个 ） （ 3755个 ） 二 级 汉 字 二 级 汉 字 （ 3008个 ） 个 ） （ 扩 充 使 用 ） 位 号 位 码 位 号 位 码 位 号 区号 区码 区号 区码 16 16 16 55 55 56 56 94 87 94 94 94 94 首 字 节 尾 字 节 7E A1 FE 81 FE A1 GB2312汉 字 代 码 空 间 (6763个 汉 字 ) GB2312图 形

4、符 号 B0 F7 00 00 在双字节代码空间中 GB2312 首字节 尾字节 0 x7E 0 xA1 0 xFE 0 x81 0 xFE GB2312汉字 GB2312 图形符号 0 xB0 0 xA0 0 xAA GBK/2 GBK/2 GBK/1 GBK/1 GBK/5 GBK/5 0 xF7 0 x40 GBK/4 GBK/4 GBK/3 GBK/3 图形符号CJK汉字增补汉字总计 23940 个码位，共收入 21003 个汉字和883图形符号双字节编码，第1字节的最高位必为“1”，第2字节的最高位不一定是“1”；简体和繁体汉字在同一个字符集中；包含了中、日、韩认同的全部CJK汉字；

5、与GB2312-80保持向下兼容；表2.1 GB18030-2000码位范围的分配 字节数 码位空间 码位数 单字节 0 x000 x80 129 第1字节 第2字节 双字节 0 x81 - 0 xFE 0 x40 - 0 x7E , 0 x80 - 0 xFE 23 940 第1字节 第2字节 第3字节 第4字节 四字节 0 x81 - 0 xFE 0 x30 - 0 x39 0 x81 - 0 xFE 0 x30 - 0 x39 1 587 600 采用单字节、双字节和四字节三种方式对字符编码。单字节部分使用0 x00至0 x80码位。双字节部分采用两个八位二进制位串表示一个字符，其首字节

6、码位从0 x81至0 xFE，尾字节码位分别是0 x40至0 x7E和0 x80至0 xFE。四字节部分采用GB 11383未采用的0 x30到0 x39作为对双字节编码扩充的后缀，这样扩充的四字节编码，其范围为0 x81308130到0 xFE39FE39。第一字节第二字节第一字节第三、四字节00 FF00FF27484汉字GB2312-80GB18030-2000GBKCJK汉字字汇兼 容兼容UCS/UnicodeISO 646ISO 2022兼 容兼容映射00 FF00FF20902汉字00 FF00FF6763汉字 自 动 识 别 输 入 自 动 文 字 识 别 印 刷 体 识 别 手

7、 写 体 识 别 文 本 信 息 的 输 入 人 工 输 入 自 动 文 字 识 别 键 盘 输 入 联 机 手 写 输 入 语 音 输 入 l原理：原理：用专用笔在专用书写板上书写汉字 (或符号)计算机实时自动识别 用该汉字 (或符号) 对应的代码进行保存l例：例：“汉王”手写笔 正识率达到 90% 以上，识别速度超过12字/秒 分类：分类：1) 孤立语音/连续语音识别2) 小词汇量/大词汇量语音识别3) 特定人/非特定人语音识别l 现状：现状：特定人连续语音识别率已达到 90% 以上l 目标：目标：非特定人大词汇量的连续语音识别扫描后的图像文本预处理 版面分析文字切分 特征提取 文字识别

8、后处理识别后的编码文本图：印刷体文字识别的过程图：印刷体文字识别的过程l 原理：原理：先用普通的笔在普通的纸上写汉字，再用扫描仪扫入计算机进行识别l 特征：特征：二维的汉字点阵图像l 现状：现状：难度较大，目前还在实验阶段l 目标：目标：非特定人脱机手写印刷体汉字的实用化翻译(Translation)文摘生成Summarizing释义(Paraphrase)摘要、关键字相同含义但不同的表达相同含义但不同的语种多文档自动综述Question-Answering自动分类提问回答综述文档分类文本过滤/文本检索文档文本的类型文本的类型l超文本采用一种网状结构网状结构来组织信息l一个超文本由若干个文本块

9、组成，这些文本块称为节点节点l节点可以是文字、图形、图像、声音或视频l基于多媒体信息结点的超文本，也称为超媒体超媒体。l例：Windows中的 “帮助” 文件就是一种典型的超文本ABCDEFGH a1 a2 b2 c2 f1d1c1 b1 e1 g1h1a3 图象的获取设备：扫描仪，数码相机取 样模拟图像量 化量 化量 化数字图像分 色（1）取样取样 : 将图像分成 M * N 个点进行取样（2）分色分色 : 将每个点分成 R、G、B 三个基色。（3）量化量化 : 对每个分量进行 A / D 转换，再用数字量表示l 功能：将现实的景物输入到计算机内l 种类：2D 扫描仪、数码相机、3D 扫描仪

10、等Black and white imageGray scale image蓝色分量绿色分量红色分量名名称称 压压缩缩编编码码方方法法 性性质质 典典型型应应用用 开开发发组组织织/公公司司 BMP RLC 无损 Windows应用程序 Microsoft TIF RLC,LZW 无损 desktop publishing Aldus，Microsoft GIF LZW 无损 Internet CompuServe JPEG DCT，Huffman 无损/有损 Internet,数码相机等 ISO/IEC JP2 小波变换，算术编码 无损/有损 Internet,数码相机等 ISO/IEC G

11、IF 图象中的某个色彩，在浏览器显示该图像时被忽略而不被显示出来。 效果是使图像浮现在页面上，增强了网页的外观。例将数张图片存成一个文件，从而形成动画效果 1 打开第1张图片；2 插入其他的图片; 3调整每张图片显示的时间； 4设定重复次数; 5 放入网页 例例 建模/造型 (Modeling) 景物形状的 模型(model) 景物形状的视图 绘 制 (Rendering) (Image Synthesis) 线框模型实体模型表面模型几何造型技术过程模型技术分形几何形状语法微粒系统基于物理的建模取景变换视域裁剪三角化光栅化隐藏面消除明暗处理阴影生成纹理映射景物的模型景物的图像Rendering

12、 Pipeline 接 口 3 绘 图 仪 现 有 终 端 接 口 1 接 口 2 未 来 终 端 应 用 程 序 图 形 软 件 包 元 文 件 读 写 程 序 驱 动 程 序 驱 动 程 序 图 形 元 文 件 2. 量化（quantization，AD conversion )3. 编码（encoding）模拟声音信号量 化数字声音01100011001编 码取 样1. 取样（sampling）麦克风（microphone）声音卡（sound card）声波转换为电信号取样、量化、压缩、编码、模拟声音数字声音n脱机获取设备：数码录音笔DSPDMA接口PC总线取样，量化D/A重建滤波声音输

13、出声音输入MIDI合成器mixerMIDI接口极低低中码率码率(kb/s)1 2 4 8 16 32 64优 良 中 差 坏语音质量语音质量模型编码（源编码）混合编码波形编码 时/频变换 心理声学分析 量化与编码 比特分配 熵编码 原始波形声音样本 压缩后的波形声音样本 掩蔽阈值 频域数据 名称 压缩后的码率（每个声道） 声道数目 主要应用 MPEG-1 层 1 384 kbps （压缩 4 倍） 2 数字盒式录音带 MPEG-1 层 2 256192 kbps（压缩 68 倍） 2 DAB,VCD,DVD MPEG-1 层 3 128112 kbps（压缩 1012 倍） 2 Interne

14、t，MP3 音乐 MPEG-2 audio 与 MPEG-1 层 1，层 2，层 3 相同 5.1, 7.1 同 MPEG-1 Dolby AC-3 64 kbp 5.1, 7.1 DVD, DTV，家庭影院 a streaming media link is clicked the proper player or plug-in Web服务器流媒体专用服务器 Web browserStreaming media files HTML files http(TCP)rtsp:/ HTML文档Real Time Streaming Protocols negotiates with the s

15、treaming serversends a steady and continuous data streamthe proper player or plug-in Web服务器Web browser流媒体专用服务器 Streaming media files HTML files （客户端）http/TCP启动A/VHelper程序参数：编码类型，服务器地址等RTSP/TCPRTP/UDP控制播放、暂停、快进、快倒及录制等命令将A/V数据传输给A/V客户程序RTCP/UDP 通信/广播方式的应用 电话，移动电话 IP电话 DAB 合成声音的应用 自动应答系统 虚拟播音员 Story on

16、 demand文本分析与理解文本Prosody controlSpeech generation合成语音一串语音基元语音基元库Text-to-phoneme conversion发音标注发音规则库Prosody generation韵律控制参数韵律规则库n查找拼写错误，对不规范或无法发音的字符进行过滤。n分析文本中词或短语的边界，n分析文本中的数字、姓氏、特殊字符、专有词语等有关词语读音的性质。n根据文本的结构、组成和标点符号，确定发音时语气的变换以及不同音的轻重方式。n分析并决定各个音节的声调、语气和停顿方式，发音的轻重、长短等 乐谱输入 音序器软件 MIDI 合成器 MIDI音乐 MIDI

17、文件 实时演奏 媒体 播放器 MIDI键盘 MIDI 消息 MIDI 消息 12345678910111213141516 3.5 数字视频及应用视频信号数字化过程:(8-10 bits)prefiltersamplingQPCM编码数字视频信息模拟视频信号VUYUVY亮度信号的取样频率:13.5MHzU,V色度信号的取样方式有多种不同格式720 pel (有效取样样本)12/16 pel 132/122 pel水平扫描线(64us)蓝色为NTSC蓝色为NTSC 格式 取样频率 平均每个像素的样本数 4:4:4 同亮度信号取样频率 3样本/像素 4:2:2 亮度信号取样频率的一半 2样本/像素

18、 4:1:1 亮度信号取样频率的1/4 1.5样本/像素 4:2:0 亮度信号取样频率的一半, 1.5样本/像素 但隔行处理4:2:2亮度信号色度信号4:4:44:2:04:1:1 CCIR601 CIF QCIF SQCIF 行数/帧 像素/行 行数/帧 像素/行 行数/帧 像素/行 行数/帧 像素/行 亮度(Y) 576 720 288 360 144 180 96 128 色度(U) 576 360 144 180 72 90 48 64 色度(V) 576 360 144 180 72 90 48 64 videograbbervideobufferoverlayconversionTV coderVGAgraphicsVGAVRAMMMCPUDSPCodecPCI busvid