字符集和编码

1、字符集和编码 - by jeffrey yang 1、乱码现象 2、操作系统字符集解决方案 3、unicode 介绍 17平面 UTF8,UTF16,UTF32 4、其他编码方式Gb系列Base64URLEncode 5、其他1乱乱码现象码现象 ufffd. bytes中超出了字符集显示范围，违反了编码规则的。 对于没有包含 的编码格式的文件将无法保存文件。例如gbk. ？及3F 。1、在 Ancii中没有这个字符，那么就会编码成 3F，2、unicode中没有对应unicode字符。 符合编码规则， 但是在系统的字符集中目前属于未分配字符，或没有对应的字符。例如用在部分系统上utf 8显示e

2、moji. 仅仅是无法正常显示，可保存。 其他：鑵鑵， 1.1几个问题几个问题1、java 中char 占用几个字节2、Java中字符串“a”lenght“a中”“a中” subString 会怎么样3、如果网页传递的参数值中中文是gbk URL encoding 的，而我们系统的http request 参数解析是utf8格式的如何处理。4、哪些场景的字符编码格式转换，不会导致信息丢失。5、为何标准的utf-8不需要bom，而utf16,utf32 必须。6、内存中字符串出现什么样的乱码后，就不能反转回来了。7、windows 记事本下联通，移动的故事， why8、表情符号，什么情况下需要处

3、理吗？9、windows 上文本文件保存的unicode 格式，真实格式是什么10、java 哦老系统，经常看到 property 文件上 uxxxx 的字符，这些文件是什么格式，为什么这么做？code unit 的相关述语的相关述语A character is a minimal unit of text that has semantic value.A character set is a collection of characters that might be used by multiple languages. Example: The Latin character set

4、is used by English and most European languages, though the Greek character set is used only by the Greek language. 以及unicode , gbk等A coded character set is a character set, where each character is assigned with a unique number.A code point is a value that can be used in a coded character set. A code

5、 point is a 32-bit integer data type, where the lower 21 bits represent a valid code point value and the upper 11 bits are 0.A code unit is a bit sequence used to encode each single character unit of a repertoire within each encoding form.Character repertoire (the abstract list of characters)抽象字符集，我

6、们平时表述的抽象字符集，我们平时表述的: The character repertoire is an abstract list of more than one million characters found in a wide variety of scripts including Latin, Cyrillic, Chinese, Korean, Japanese, Hebrew, and Aramaic. Other symbols such as musical notation are also included in the character repertoire. Bo

7、th the Unicode and GB18030 standards have a character repertoire. As new characters are added to one standard, the other standard also adds those characters, to maintain parity.Code unit Size: The code unit size is equivalent to the bit measurement for the particular encoding:A code unit in US-ASCII

8、 consists of 7 bits;A code unit in UTF-8, EBCDIC and GB18030 consists of 8 bits; 所以utf8字符长度为8个字节的n倍。倍。A code unit in UTF-16 consists of 16 bits; 所以utf16字符长度为16个字节的n倍倍。A code unit in UTF-32 consists of 32 bits.简单字符集简单字符集按照惯例，人们认为字符集和字符编码是同义词， 因为使用同样的标准来定义提供什么字符并且这些字符如何编码到一系列的代码单元（通常一个字符一个单元）例如最初的asci

9、i , iso8859 系列iso8859-1属于单字节编码，最多能表示的字符范围是0-255，应用于英文系列。比如，字母a的编码为0 x61=97。很明显，iso8859-1编码表示的字符范围很窄，无法表示中文字符。但是，由于是单字节编码，和计算机最基础的表示单位一致，所以很多时候，仍旧使用iso8859-1编码来表示。而且在很多协议上，默认使用该编码2、操作系统字符集解决操作系统字符集解决方案方案 2.1、现代编码模型 Bom CEF 2.2、操作系统编码：windows , linux Linux 下的常用配置，命令2.1现代现代编码模型编码模型传输编码语法：传输编码语法：（transf

10、er encoding syntax），用于处理上一层次的字符编码方案提供的字节序列。一般其功能包括两种：一是把字节序列的值映射到一套更受限制的值域内，以满足传输环境的限制，例如Email传输时base64或quoted-printable，都是把8位的字节编码为7位长的数据；另一是压缩字节序列的值如gzip , LZW等字符编码方案字符编码方案（CES:Character Encoding Scheme），也称作serialization format。将定长的整型值（即码元）映射到8位字节序列，以便编码后的数据的文件存储或网络传输。在使用Unicode的场合，使用一个简单的字符来指定字节顺

11、序是大端序或者小端序（但对于UTF-8来说并不需要专门指明字节序）字符编码表字符编码表: (CEF: Character Encoding Form），也称为storage format“.是将编码字符集的非负整数值（即抽象的码位）转换成有限比特长度的整型值（称为码元code units）的序列。编码字符集编码字符集 （CCS : Coded Character Set）是将字符集中每个字符映射到1个坐标抽象字符表抽象字符表 (Abstract character repertoire)是一个系统支持的所有抽象字符的集合,更久远的是硬件 2.1 serialization format 的实现

12、BOMBOM（Byte Order Mark），字节顺序标记，出现在文本文件头部，Unicode编码标准中用于标识文件是采用哪种格式的编码。Big Endian高字节在前高字节在前,低字节在低字节在后后 和Little Endian低字节在前低字节在前,高字节在后高字节在后UTF8不需要 BOM 来表明字节顺序，但可以用 BOM 来表明编码方式。字符 “Zero Width No-Break Space” 的 UTF-8 编码是 EF BB BF。所以如果接收者收到以 EF BB BF 开头的字节字节流流，就知道这是 UTF-8编码了。Windows 就是使用 BOM 来标记文本文件的编码方式

13、的。编码表示（十六进制）表示（十进制）UTF-8EF BB BF239 187 191UTF-16（大端序）FE FF254 255UTF-16（小端序）FF FE255 254UTF-32（大端序）00 00 FE FF0 0 254 255UTF-32（小端序）FF FE 00 00255 254 0 0GB-1803084 31 95 33132 49 149 512.1 Character 的相关述语字符编码（character encoding），字符映射（character map），字符集（character set）或者代码页，在历史上往往是同义概念，即字符表（repertoi

14、re）中的字符如何编码为码元的流（stream of code units）通常每个字符对应单个码元。码元（Code Unit，也称“代码单元”）是指一个已编码的文本中具有最短的比特组合的单元。对于UTF-8来说，码元是8比特长；对于UTF-16来说，码元是16比特长；对于UTF-32来说，码元是32比特长1。码值（Code Value）是过时的用法。代码页通常意味着面向字节的编码，但强调是一应用于不能语言的编码方案的集合.著名的如Windows代码页系列，IBM/DOS代码页系列.Unix或Linux不使用代码页概念，它们用charmap编码空间： encoding space 。简单说就是

15、包含所有字符的表的维度。可以用一对整数来描述，例如：GB2312汉字编码空间是94 x 94。可以用一个整数来描述，例如：ISO-8859-1的编码空间是2562.1字符编码表字符编码表storage format这对于定长编码来说是个到自身的映射（null mapping），但对于变长编码来说，该映射比较复杂，把一些码位映射到一个码元，把另外一些码位映射到由多个码元组成的序列。例如，使用16比特长的存储单元保存数字信息，系统每个单元只能够直接表示从0到65,535的数值，但是如果使用多个16位单元就能够表示更大的整数。这就是CEF的作用，它可以把Unicode从0到140万的码空间范围的每个

16、码位映射到单个或多个在0到65,5356范围内的码值。最简单的字符编码表就是单纯地选择足够大的单位，以保证编码字符集中的所有数值能够直接编码（一个码位对应一个码值）。这对于能够用使用八比特组来表示的编码字符集（如多数传统的非CJK的字符集编码）是合理的，对于能够使用十六比特来表示的编码字符集（如早期版本的Unicode）来说也足够合理。但是，随着编码字符集的大小增加（例如，现在的Unicode的字符集至少需要21位才能全部表示），这种直接表示法变得越来越没有效率，并且很难让现有计算机系统适应更大的码值。因此，许多新近版本Unicode的系统，或者将Unicode码位对应为可变长度的8位字节序列

17、的UTF-8，或可变长度的16位序列的UTF-16。.2.2Window & linuxwindows操作系统localeCodepage 映射(936=gbk,)character mapWindows 系统 代码字linux操作系统编码GBK | UTF8|charmap(即上面的5层模型)Unicode point codeLinux 代码字,同unicode pioint code 一一对应2.2 windows windows 中Codepage 下的character map 同 BIOS代码页也被称为OEM代码页代码页。 操作系统使用自己的字符呈现引擎（rendering

18、 engine），可以支持多个不同的字符集编码，这类代码页被称作ANSI代码页。代码页。Window 查看代码也：查看代码也：chcp 一般是936代表gbk 那为什么gbk 的可以显示日文？ http:/ code pages are sets of characters or code pages (known as character encodings in other operating systems) used in Microsoft Windows from the 1980s and 1990s. Windows code pages were gradually supe

19、rseded when Unicode was implemented in Windows, although they are still supported both within Windows and other platforms.在Windows平台下查看和修改字符集一、查看字符集：chcp, linux 看下就明白了 gunzip -c /usr/share/i18n/charmaps/GBK.gz 查看缺省编码： locale2.2 Linux 字符集字符集Linux下几个i18n(internationalization)相关的目录和文件 /etc/sysconfig/i1

20、8n的文件LANG=zh_CN.GB2312 (指定当前操作系统的字符集)SUPPORTED=zh_CN.GB2312(指定当前操作系统支持的字符集)SYSFONT=lat0-sun16(指定当前操作系统的字体) /usr/share/i18n/charmaps这个目录下存放了该Linux操作系统可用字符集的安装包，如果你的操作系统上没有安装某个字符集可以到这个目录下寻找安装包。例如：GB2312的安装包名字为“GB2312.gz /usr/share/i18n/locales这个目录下存放了和所有语言包对应的locale信息，例如：zh_CN.GB2312是一个完整的字符集，其中zh表示语言

21、，CN表示这个语言使用的国家，GB2312表示这个语言所对应的编码/usr/lib/locale 这个目录存放的都是目前操作系统上已经安装好的locale信息2.2Linux 字符集字符集 Linux下与i18n相关的几个SHELL命令locale命令 (用来查看系统locale的信息) localedef命令(用来安装系统locale的信息) Linux下安装GB2312的示例Step 1: 到Linux字符集的安装包目录下 cd /usr/share/i18n/charmaps Step 2: 解压该目录下的GB2312.gz gunzip GB2312.gz Step 3: 安装字符集

22、localedef -f GB2312 -i zh_CN /usr/lib/locale/zh_CN.GB2312 Step 4: 查看是否已经定义 locale -a | grep GB2312 Step 5: 安装完毕后，你只要修改/etc/sysconfig/i18n文件就可以修改当前的字符集为新安装的zh_CN.GB2312字符2.2 linux commond iconv l 列举所有已知的字符集 iconv -f utf-8 -t gb2312 aaa.txt bbb.txt这个命令读取aaa.txt文件，从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件 查看

23、文件编码file命令 file test.sql 文件名编码转换 convmv -f GBK -t UTF-8 *.mp3 现在用linux,原来在windows里的文件都是用GBK编码的.copy到linux下是乱码,文件内容可以用iconv来转换可是好多中文的文件名还是乱码,找到个可以转换文件名编码的命令,就是convmv. convmv命令详细参数 例如 convmv -f GBK -t UTF-8 *.mp3 不过这个命令不会直正的转换,你可以看到转换前后的对比.如果要直正的转换要加上参数 -notest convmv -f GBK -t UTF-8 -notest *.mp33 Un

24、icode 介绍介绍 3.1、unicode 的五层模型 3.2、 Unicode的编码空间 3.3、UCS2与UCS4，以及系统，应用支持情况 3.4、utf8, utf16,utf32 3.5、表情符号 3.6、3个编码fileencoding, encoding, termencoding 3.1 Unicode 5层模型层模型/cms/scripts/page.php?site_id=nrsi&item_id=IWS-Chapter03 第一层就是确定字符的范围，即要支持哪些字符 第二层是将字符和数字对应起来（ucs2 和ucs4）统一

25、码的编码方式与ISO 10646的通用字符集概念相对应。目前实际应用的统一码版本对应于UCS-2，使用16位的编码空间。也就是每个字符占用2个字节。其他编码方法第二第三都是相同的 第三层的编码的实现 用基本数据类型表示字符（Character encoding form） 包括UTF-8、UTF-16、UTF-32。 “UCS Transformation Format”的缩写， 第四层的字节序 （bom）例如，“字”的UTF-32编码是0 x5b57，如果用little endian表示，字节流是“57 5b 00 00”。如果用big endian表示，字节流是“00 00 5b 57”

26、第五层，传递转义如base64等3.1 所以我们可以说字符集有GBK, Unicode, ASCii ，iso 系列 而utf8,utf16, utf32是Unicode对应编码方式， GBK 字符集的编码方式就是GBK， iso也有自己对于的编码方式 ,如iso8859-1 Java: UCS2 （UTF-16双字节） ;jdk 5以后： UCS2 为基础UCS4部分字符以UTF-16四字节 Linux， windows : UCS43.2 unicode的的编码空间编码空间 Unicode的编码空间从U+0000到U+10FFFF，共有1,112,064个码位（code point）可用来

27、映射字符. Unicode的编码空间可以划分为17个平面（plane），每个平面包含216（65,536）个码位。17个平面的码位可表示为从U+xx0000到U+xxFFFF，其中xx表示十六进制值从0016到1016，共计17个平面。第一个平面称为基本多语言平面基本多语言平面（Basic Multilingual Plane,BMP），或称第零平面（Plane 0）。3.3Unicode的编码的编码空间空间 其他平面称为辅助平面辅助平面（Supplementary Planes）。基本多语言平面内，从U+D800到U+DFFF之间的码位区段是永久保留不映射到Unicode字符。UTF-16就

28、利用保留下来的0 xD800-0 xDFFF区段的码位来对辅助平面的字符的码位进行编码。总总 Unicode 仅仅是字符集。包含（ U+0000到U+10FFFF ） UCS-2 (for 2-byte Universal Character Set)，只包含bmp 第一个平面的字符。比较局限。 UCS-4 (for 4-byte Universal Character Set)全部字符 GBK,GB2312,ASCI, ISO8859-1都是Unicode 的子集。 Unicode的实现方式不同于编码方式。一个字符的Unicode编码是确定的。但是在实际传输过程中，由于不同系统平台的设计不一

29、定一致，以及出于节省空间的目的，对Unicode编码的实现方式有所不同。Unicode的实现方式称为Unicode转换格式转换格式（Unicode Transformation Format，简称为UTF） UTF8UTF16 UTF32可以表示全部的Unicode UTF8UTF16 UTF32 All code points in the BMP are accessed as a single code unit in UTF-16 encoding and can be encoded in one, two or three bytes in UTF-8. Code points i

30、n Planes 1 through 16 (supplementary planes) are accessed as surrogate pairs in UTF-16 and encoded in four bytes in UTF-8. UTF8 最初16个字节，对于bmp字符13个字节，4个字节的UTF8 用于定义(Unicode6.1定义范围：010 FFFF,包括emoji表情)， 56个字节的utf8 已经被废弃。3.3 UCS-2与与UCS-4 UCS2其实只能表示UCS4中BMP(及0号平面)的部分。对于BMP的UCS2和UCS4编码的转换很简 单，UCS2-UCS4，只要

31、在编码前两加个全是0的字节，而UCS4-UCS2就是把编码的前两个全为0的字节去掉。UCS2也就只能 表示BMP时而定义的 UCS-2优点:绝大部分的文字都可以用两个字节编码，对于CJK文字是比较节省空间的；文本处理比UTF-8方便得多3.4 UCS-4 与UTF-32 Utf-32 定长4字节编码方案 Ucs-4 完全等价与UTF-32 LE3.5 emoji 表情表情 many “emoji” have been defined in Unicode 6. But many emoji are outside the BMP, so cant be encoded in UCS-2 而ja

32、va 语言是基于ucs-2的，这就会导致在java 语言中，emoji的字符长度可以计算出错。Java 环境本身的显示为” 但这不影响字符的输出，以及在网页端的展示。3.5 Emoji Unicode Tables and mapping utf8 /emoji/tables/unicode /wiki/EmojiNative 1Apple 2Android 3Android 3UnicodeBytes (UTF-8)DescriptionU+1F601xF0 x9Fx98x81grinning

33、 face with smiling eyesU+1F602xF0 x9Fx98x82face with tears of joyU+1F603xF0 x9Fx98x83smiling face with open mouth3.6 乱码乱码-3个编码 Fileencoding : 文件的encoding Encoding: 内存中的encoding Termencoding: 客户端的 encoding3.6java 中的乱码中的乱码Java 的字符串在内存中是unicode(utf16)，能够表示最大字符集.在Java运行时的世界里，乱码产生(编译时产生的这里不管)的源头存在于两个地方，其

34、实也就是我上面提及的两个函数（发生端的getBytes ,和接受端byteToString），getBytes(String charset) 如果按照指定的charset去对一个unicode String进行编码，但是发现这个编码体系里（比如iso-8859-1）没有这个字符，那么就会编码成3F(其实就是一个问号)，这样就造成了信息的丢失了，是不可以恢复的。 new String(byte bytes,String charset) 如果对一个字节数组按照指定的字符集去解码，但是字符集突然对其中一段编码不认识的时候，例如某一段字节数组按照UTF-8解码的时候，不认识了，到了unicode字

35、符串这边就是”uFFFD”，其实这个东西叫做REPLACEMENT CHARACTER，显示的是一个问号ByteToString, 很多时候框架已经帮我们做了这个转换，甚至在读取流时就是用字节流(例如：InputStreamReader )， 如果框架转换的编码同发送端不一致，那么我们需要先 tobyte(“框架编码”)， 然后bytesTOString(“发送端编码”)。 如果“框架编码”不是无损编码，那么可能带信息丢失。4、其他编码方式、其他编码方式 Ascii Iso 系列 unicode 字符集 以及utf系列编码（前面已介绍） Gb系列 base64编码 Urlencode Java

36、 的 propertiesASCII 1， 常用字符集分类 ASCII及其扩展字符集 作用：表语英语及西欧语言。 位数：ASCII是用7位表示的，能表示128个字符；其扩展使用8位表示，表示256个字符。 范围：2。2，ASCII从00到7F，扩展从00到FF。 ISO-8859-1字符集 作用：扩展ASCII，表示西欧、希腊语等。 位数：8位， 范围：从00到FF，兼容ASCII字符集。 ASCII使用数字32到 127来表示所有的英文字母，比如空格是32，字母A是65等等。使用7个比特就可以存储所有这样字符。那个时代的大多数计算机使用8个比特来，所以你不但可以存储全部的ASCII，而且还有

37、一个比特可以多出来用作其他。如果你想，你可以把它用作你不可告人的目的。32以下的码字是不可打印的，它们属于控制字符，像7表示响铃，12表示打印机换纸。Iso 8859 系列系列 ISO/IEC 8859-1又称Latin-1或“西欧语言” ISO/IEC 8859-2又称Latin-3或“南欧语言” ISO/IEC 8859-3又称Latin-3或“南欧语言” ISO/IEC 8859-4又称Latin-4或“北欧语言”他们都是用一个字节表示，最多256个字符，前128个兼容Ascii 后128位为各自语言的个性字符。GBK 编码，编码，BIG5 GB2312字符集 作用：国家简体中文字符集，

38、兼容ASCII。 位数：使用2个字节表示， BIG5字符集 作用：统一繁体字编码。 位数：使用2个字节表示，表示13053个汉字。 GBK字符集 作用：它是GB2312的扩展，加入对繁体字的支持，位数：使用2个字节表示，可表示21886个字符。 范围：高字节从81到FE，低字节从40到FE。 GB18030字符集 作用：它解决了中文、日文、朝鲜语等的编码，兼容GBK。 位数：它采用变字节表示(1 ASCII，2，4字节)。文字显示流程文字显示流程 应用程序的字符串 ，按应用的正确的字符集，转变为操作系统内码，（例如ansi 内码， 现代操作系统基本都是unicode （utf16）内码）。（早

39、期还有一不依赖操作系统的BIOS代码页也被称为OEM代码页）代码页） 每个unicode 同font 下位图一一对应。 如果位图不存在那么显示 如果unicode解析出错，那么ascii对应 3f (?), 其他对应 ufffd. base64 Base64是一种基于64个可打印字符来表示二进制数据的表示方法。由于2的6次方等于64，所以每6个比特为一个单元，对应某个可打印字符。三个字节有24个比特，对应于4个Base64单元，即3个字节需要用4个可打印字符来表示。它可用来作为电子邮件的传输编码。在Base64中的可打印字符包括字母A-Z、a-z、数字0-9，这样共有62个字符, 还有两个是“

40、+”和“/”Base 64 等号等号 如果要编码的字节数不能被3整除，最后会多出1个或2个字节，那么可以使用下面的方法进行处理：先使用0字节值在末尾补足，使其能够被3整除，然后再进行base64的编码。在编码后的base64文本后加上一个或两个=号，代表补足的字节数。也就是说，当最后剩余一个八位字节（一个byte）时，最后一个6位的base64字节块有四位是0值，最后附加上两个等号；如果最后剩余两个八位字节（2个byte）时，最后一个6位的base字节块有两位是0值，最后附加一个等号。Base 64 索引表索引表数值字符 数值字符 数值字符 数值字符0A16Q32g48w1B17R33h49x

41、2C18S34i50y3D19T35j51z4E20U36k5205F21V37l5316G22W38m5427H23X39n5538I24Y40o5649J25Z41p57510K26a42q58611L27b43r59712M28c44s60813N29d45t61914O30e46u62+15P31f47v63/urlencode 针对get请求中的参数名和参数值：可能因为编码以及特殊字符引起的错误。而进行的一个编码。对于中文，转换为16进制的表示发，每个字节前用%分隔。Eg : 中国URLEncoder.encode(中国, UTF-8) =%E4%B8%AD%E5%9B%BDURLEncoder.encode(中国, “GBK) =%D6%D0%B9%FA空格!#$%+:=%3F%20%21%23%24%25%2B%40%3A%3D?u