oracle字符集研究课件(PPT 50页)

1、ORACLE字符集研究Dextrys Co., Ltd.Kelson CongDBA Team第1页，共50页。飞刀，又见飞刀什么是字符集 字符集就是按照一定的字符编码方案，对一组特定的符号，分别赋予不同数值编码的集合。Oracle数据库最早支持的编码方案是US7ASCII。 Oracle 的字符集命名遵循以下命名规则 : 即: 比如: ZHS16GBK表示采用GBK编码格式、16位（两个字节）简体中文字符集第2页，共50页。飞刀，又见飞刀字符编码方案 单字节编码 单字节7位字符集，可以定义128个字符，最常用的字符集为 US7ASCII单字节8位字符集，可以定义256个字符，适合于欧洲大部分

2、国家 例如：WE8ISO8859P1(西欧、8位、ISO标准8859P1编码 )第3页，共50页。飞刀，又见飞刀多字节编码 变长多字节编码 某些字符用一个字节表示，其它字符用两个或多个字符表示，变长多字节编码常用于对亚洲语言的支持，例如日语、汉语、印地语等 例如：AL32UTF8（其中AL代表ALL,指适用于所有语言）、 zhs16cgb231280 第4页，共50页。飞刀，又见飞刀定长多字节编码 每一个字符都使用固定长度字节的编码方案，目前oracle唯一支持的定长多字节编码是AF16UTF16，也是仅用于国家字符集 第5页，共50页。飞刀，又见飞刀unicode 编码 Unicode 是一

3、个涵盖了目前全世界使用的所有已知字符的单一编码方案，也就是说Unicode为每一个字符提供唯一的编码。UTF-16是unicode的16位编码方式，是一种定长多字节编码，用2个字节表示一个unicode字符，AF16UTF16是UTF-16编码字符集。 第6页，共50页。飞刀，又见飞刀UTF-8 是unicode的8位编码方式，是一种变长多字节编码，这种编码可以用1、2、3个字节表示一个unicode字符，AL32UTF8，UTF8、UTFE是UTF-8编码字符集第7页，共50页。当一种字符集（字符集A）的编码数值包含所有另一种字符集（字符集B）的编码数值，并且两种字符集相同编码数值代表相同的

4、字符时，则字符集A是字符集B的超级，或称字符集B是字符集A的子集。 第8页，共50页。 Oracle8i 和oracle9i官方文档资料中备有子集-超级对照表（subset-superset pairs），例如：WE8ISO8859P1是WE8MSWIN1252的子集。由于US7ASCII是最早的Oracle数据库编码格式，因此有许多字符集是US7ASCII的超集，例如WE8ISO8859P1、ZHS16CGB231280、ZHS16GBK都是US7ASCII的超集。第9页，共50页。大师的网站上提供的超集子集对照表/archives/2004/09/characterset_subset_s

5、uperset.html第10页，共50页。查看字符集的工具:LBUILDER第11页，共50页。第12页，共50页。数据库字符集数据库字符集（oracle服务器端字符集） 数据库字符集在创建数据库时指定，在创建后通常不能更改。在创建数据库时，可以指定字符集(CHARACTER SET)和国家字符集(NATIONAL CHARACTER SET)。 第13页，共50页。数据库字符集字符集 用来存储CHAR, VARCHAR2, CLOB, LONG等类型数据 用来标示诸如表名、列名以及PL/SQL变量等 用来存储SQL和PL/SQL程序单元等 第14页，共50页。数据库字符集国家字符集： 用以

6、存储NCHAR, NVARCHAR2, NCLOB等类型数据 国家字符集实质上是为oracle选择的附加字符集，主要作用是为了增强oracle的字符处理能力，因为NCHAR数据类型可以提供对亚洲使用定长多字节编码的支持，而数据库字符集则不能。国家字符集在oracle9i中进行了重新定义，只能在unicode编码中的AF16UTF16和UTF8中选择，默认值是 AF16UTF16第15页，共50页。数据库字符集讨论：1、什么情况下用CHAR，NCHAR？2、如何决定数据库字符集？第16页，共50页。数据库字符集可以查询以下数据字典或视图查看字符集设置情况 nls_database_paramet

7、ers 、props$、 v$nls_parameters查询结果中NLS_CHARACTERSET表示字符集，NLS_NCHAR_CHARACTERSET表示国家字符集第17页，共50页。数据库字符集第18页，共50页。数据库字符集如何修改服务器端字符集Alter database character set ZHS16GBK此方法慎用!千万不要通过修改PROPS$的方式修改新的字符集一定是老字符集的超集第19页，共50页。数据库字符集第20页，共50页。数据库字符集第21页，共50页。客户端字符集客户端字符集定义了客户端字符数据的编码方式，任何发自或发往客户端的字符数据均使用客户端定义的字

8、符集编码,客户端可以看作是能与数据库直接连接的各种应用，客户端字符集是通过设置NLS_LANG参数来设定的。 第22页，共50页。客户端字符集NLS_LANG 参数格式 NLS_LANG=LANGUAGE_TERRITORY.CHARACTERSET Language: 显示oracle消息,校验，日期命名 Territory ：指定默认日期、数字、货币等格式 Client character set ：指定客户端将使用的字符集 例如： NLS_LANG=AMERICAN_AMERICA.US7ASCII AMERICAN是语言，AMERICA是地区，US7ASCII是客户端字符 集 第23页

9、，共50页。客户端字符集客户端字符集设置方法 1)UNIX 环境 $NLS_LANG=“simplified chinese”_china.zhs16gbk $export NLS_LANG 编辑oracle用户的profile文件 2)Windows 环境 编辑注册表 HKEY_LOCAL_MACHINE-SOFTWARE-ORACLE-HOME0(9i) HKEY_LOCAL_MACHINE-SOFTWARE-ORACLE- KEY_OraDb10g_home1(10g)第24页，共50页。客户端字符集第25页，共50页。客户端字符集第26页，共50页。字符集转换EXP/IMP时存在的字符

10、集转换1、源数据库字符集 2、Export过程中用户会话字符集（通过NLS_LANG设定） 3、Import过程中用户会话字符集（通过NLS_LANG设定） 4、目标数据库字符集 第27页，共50页。字符集转换第28页，共50页。字符集转换导出的转换过程 在Export过程中，如果源数据库字符集与Export用户会话字符集不一致，会发生字符集转换，并在导出文件的头部几个字节中存储Export用户会话字符集的ID号。在这个转换过程中可能发生数据的丢失。 例:如果源数据库使用ZHS16GBK，而Export用户会话字符集使用US7ASCII，由于ZHS16GBK是16位字符集,而US7ASCII是

11、7位字符集，这个转换过程中，中文字符在US7ASCII中不能够找到对等的字符，所以所有中文字符都会丢失而变成“? ”形式，这样转换后生成的Dmp文件已经发生了数据丢失。 因此如果想正确导出源数据库数据，则Export过程中用户会话字符集应等于源数据库字符集或是源数据库字符集的超集 第29页，共50页。字符集转换导入的转换过程 1、确定导出数据库字符集环境 通过读取导出文件头，可以获得导出文件的字符集设置 2、确定导入session的字符集，即导入Session使用的NLS_LANG环境变量 3、IMP读取导出文件 读取导出文件字符集ID，和导入进程的NLS_LANG进行比较 4、如果导出文件字

12、符集和导入Session字符集相同，那么在这一步骤内就不需要转换，如果不同，就需要把数据转换为导入Session使用的字符集。可以看出，导入数据到数据库过程中发生两次字符集转换 第一次:导入文件字符集与导入Session使用的字符集之间的转换，如果这个转换过程不能正确完成，Import向目标数据库的导入过程也就不能完成。 第二次:导入Session字符集与数据库字符集之间的转换。 第30页，共50页。字符集转换第31页，共50页。字符集转换如果源字符集和目标字符集一致，则保证全部客户端一致。如果源和目标不一致，则保证导入和导出客户端一致，且与源或者目标保持一致。第32页，共50页。字符集转换为

13、了避免在数据库迁移过程中由于字符集不同导致的数据损失，oracle提供了字符集扫描工具（character set scanner），通过这个工具我们可以测试在数据迁移过程中由于字符集转换可能带来的问题，然后根据测试结果，确定数据迁移过程中最佳字符集解决方案。 第33页，共50页。字符集转换用sysdba用户登陆执行$ORACLE_HOMErdbmsadmincsminst.sql然后退回到命令提示符执行csscan FULL=Y FROMCHAR=WE8ISO8859P1 TOCHAR=UTF8 log=check.log capture=y array=1000000 process=2执

14、行完毕以后查看log文件，可以知道那些转换会失败第34页，共50页。字符集转换第35页，共50页。字符集转换第36页，共50页。字符集转换第37页，共50页。OS字符集OS字符集以及OS字符集在字符集转换中起的作用。第38页，共50页。OS字符集查看OS字符集第39页，共50页。OS字符集DEMO:环境:OS:WINXP SP2 中文版ORACLE 服务器和客户端在一台机器上服务器字符集:AL32UTF8 国家字符集 AL16UTF16客户端字符集: AL32UTF8以下是在SQLPLUS里面的操作：第40页，共50页。OS字符集SQL create table test (a varchar

15、2(10);琛凡鍒涘缓銆?SQL insert into test values (我);宸插垱寤?1 琛屻?SQL commit;鎻愪氦瀹屾垚銆?SQL select a,dump(a) from test;A - DUMP(A) -我 Typ=96 Len=2: 206,210 第41页，共50页。OS字符集可以看到,服务器端和客户端都是UTF8但是显示出来的提示全部是乱码,在看一下汉字我字的编码, 查了一下编码表,在ZHS16GBK里面是 206 98 ,在UTF8里面是230 136 145,在UTF16里面应该是98 17但是实际的值是什么呢？实际的编码值是206 210,既不是GB

16、K,也不是UTF8和UTF16的编码，查了一下其它的编码表，最终发现206 210是GB2312“我”字的编码第42页，共50页。OS字符集接着把数据库客户端编码切换成ZHS16GBK，看看会发生什么SQL insert into test values(我);已创建 1 行。SQL select a,dump(a) from test;A DUMP(A) 我 Typ=96 Len=3: 230,136,145第43页，共50页。OS字符集可以发现,数据库在插入时,准确的把我字转换成UTF8的编码,而在显示的时候又转换成了准确的汉字我,怎么解释上面这个现象呢？第44页，共50页。OS字符集通过

17、试验我们可以发现OS的字符集实际是GB2312的，但是由于客户端字符集和服务器端字符集一致，所以在上传数据的时候，认为不存在字符集转换，所以就直接把OS的汉字编码上传上去了，这也是我们看到的库中实际存放的是GB2312“我”字编码 206 210的原因，显示的时候同样的方式，认为数据库服务器与客户端字符集编码一致，不存在字符集转换，于是把206 210发到客户端，到了客户端，就正好原封不动的把206 210显示成为了汉字“我”。这也是造成提示乱码的原因，让GBK的窗口去解析UTF8的编码，从而产生乱码。第45页，共50页。OS字符集当客户端字符集是GBK的时候，执行INSERT的时候，ORACLE意识到服务器与客户端字符集不一致，产生一次字符集转换，把“我”字转换成UTF8编码230,136,145存入数据库中，select的时候做反操作，将UTF8转换成GBK编码显示出来。第4