Oracle字符集研究文档

ORACLE字符集研究DextrysCo.,Ltd.KelsonCongDBATeam飞刀，又见飞刀什么是字符集字符集就是按照一定的字符编码方案，对一组特定的符号，分别赋予不同数值编码的集合。Oracle数据库最早支持的编码方案是US7ASCII。Oracle的字符集命名遵循以下命名规则:即:<语言><比特位数><编码>比如:ZHS16GBK表示采用GBK编码格式、16位（两个字节）简体中文字符集飞刀，又见飞刀字符编码方案单字节编码单字节7位字符集，可以定义128个字符，最常用的字符集为US7ASCII单字节8位字符集，可以定义256个字符，适合于欧洲大部分国家例如：WE8ISO8859P1(西欧、8位、ISO标准8859P1编码)飞刀，又见飞刀多字节编码变长多字节编码某些字符用一个字节表示，其它字符用两个或多个字符表示，变长多字节编码常用于对亚洲语言的支持，例如日语、汉语、印地语等例如：AL32UTF8（其中AL代表ALL,指适用于所有语言）、zhs16cgb231280飞刀，又见飞刀定长多字节编码每一个字符都使用固定长度字节的编码方案，目前oracle唯一支持的定长多字节编码是AF16UTF16，也是仅用于国家字符集飞刀，又见飞刀unicode编码Unicode是一个涵盖了目前全世界使用的所有已知字符的单一编码方案，也就是说Unicode为每一个字符提供唯一的编码。UTF-16是unicode的16位编码方式，是一种定长多字节编码，用2个字节表示一个unicode字符，AF16UTF16是UTF-16编码字符集。飞刀，又见飞刀UTF-8是unicode的8位编码方式，是一种变长多字节编码，这种编码可以用1、2、3个字节表示一个unicode字符，AL32UTF8，UTF8、UTFE是UTF-8编码字符集当一种字符集（字符集A）的编码数值包含所有另一种字符集（字符集B）的编码数值，并且两种字符集相同编码数值代表相同的字符时，则字符集A是字符集B的超级，或称字符集B是字符集A的子集。Oracle8i和oracle9i官方文档资料中备有子集-超级对照表（subset-supersetpairs），例如：WE8ISO8859P1是WE8MSWIN1252的子集。由于US7ASCII是最早的Oracle数据库编码格式，因此有许多字符集是US7ASCII的超集，例如WE8ISO8859P1、ZHS16CGB231280、ZHS16GBK都是US7ASCII的超集。查看字符集的工具:LBUILDER数据库字符集数据库字符集（oracle服务器端字符集）数据库字符集在创建数据库时指定，在创建后通常不能更改。在创建数据库时，可以指定字符集(CHARACTERSET)和国家字符集(NATIONALCHARACTERSET)。数据库字符集字符集用来存储CHAR,VARCHAR2,CLOB,LONG等类型数据用来标示诸如表名、列名以及PL/SQL变量等用来存储SQL和PL/SQL程序单元等数据库字符集国家字符集：用以存储NCHAR,NVARCHAR2,NCLOB等类型数据国家字符集实质上是为oracle选择的附加字符集，主要作用是为了增强oracle的字符处理能力，因为NCHAR数据类型可以提供对亚洲使用定长多字节编码的支持，而数据库字符集则不能。国家字符集在oracle9i中进行了重新定义，只能在unicode编码中的AF16UTF16和UTF8中选择，默认值是AF16UTF16数据库字符集讨论：1、什么情况下用CHAR，NCHAR？2、如何决定数据库字符集？数据库字符集可以查询以下数据字典或视图查看字符集设置情况nls_database_parameters、props$、v$nls_parameters查询结果中NLS_CHARACTERSET表示字符集，NLS_NCHAR_CHARACTERSET表示国家字符集数据库字符集数据库字符集如何修改服务器端字符集AlterdatabasecharactersetZHS16GBK此方法慎用!千万不要通过修改PROPS$的方式修改新的字符集一定是老字符集的超集数据库字符集数据库字符集客户端字符集客户端字符集定义了客户端字符数据的编码方式，任何发自或发往客户端的字符数据均使用客户端定义的字符集编码,客户端可以看作是能与数据库直接连接的各种应用，客户端字符集是通过设置NLS_LANG参数来设定的。客户端字符集NLS_LANG参数格式

NLS_LANG=LANGUAGE_TERRITORY.CHARACTERSETLanguage:显示oracle消息,校验，日期命名

Territory：指定默认日期、数字、货币等格式

Clientcharacterset：指定客户端将使用的字符集例如：NLS_LANG=AMERICAN_AMERICA.US7ASCIIAMERICAN是语言，AMERICA是地区，US7ASCII是客户端字符集客户端字符集客户端字符集设置方法

1)UNIX环境

$NLS_LANG=“simplifiedchinese”_china.zhs16gbk$exportNLS_LANG

编辑oracle用户的profile文件

2)Windows环境编辑注册表HKEY_LOCAL_MACHINE-SOFTWARE-ORACLE-HOME0(9i)HKEY_LOCAL_MACHINE-SOFTWARE-ORACLE-

KEY_OraDb10g_home1(10g)客户端字符集客户端字符集字符集转换EXP/IMP时存在的字符集转换1、源数据库字符集2、Export过程中用户会话字符集（通过NLS_LANG设定）3、Import过程中用户会话字符集（通过NLS_LANG设定）4、目标数据库字符集字符集转换字符集转换导出的转换过程在Export过程中，如果源数据库字符集与Export用户会话字符集不一致，会发生字符集转换，并在导出文件的头部几个字节中存储Export用户会话字符集的ID号。在这个转换过程中可能发生数据的丢失。例:如果源数据库使用ZHS16GBK，而Export用户会话字符集使用US7ASCII，由于ZHS16GBK是16位字符集,而US7ASCII是7位字符集，这个转换过程中，中文字符在US7ASCII中不能够找到对等的字符，所以所有中文字符都会丢失而变成“??”形式，这样转换后生成的Dmp文件已经发生了数据丢失。因此如果想正确导出源数据库数据，则Export过程中用户会话字符集应等于源数据库字符集或是源数据库字符集的超集字符集转换导入的转换过程1、确定导出数据库字符集环境通过读取导出文件头，可以获得导出文件的字符集设置

2、确定导入session的字符集，即导入Session使用的NLS_LANG环境变量

3、IMP读取导出文件读取导出文件字符集ID，和导入进程的NLS_LANG进行比较

4、如果导出文件字符集和导入Session字符集相同，那么在这一步骤内就不需要转换，如果不同，就需要把数据转换为导入Session使用的字符集。可以看出，导入数据到数据库过程中发生两次字符集转换第一次:导入文件字符集与导入Session使用的字符集之间的转换，如果这个转换过程不能正确完成，Import向目标数据库的导入过程也就不能完成。第二次:导入Session字符集与数据库字符集之间的转换。字符集转换字符集转换如果源字符集和目标字符集一致，则保证全部客户端一致。如果源和目标不一致，则保证导入和导出客户端一致，且与源或者目标保持一致。字符集转换为了避免在数据库迁移过程中由于字符集不同导致的数据损失，oracle提供了字符集扫描工具（charactersetscanner），通过这个工具我们可以测试在数据迁移过程中由于字符集转换可能带来的问题，然后根据测试结果，确定数据迁移过程中最佳字符集解决方案。字符集转换用sysdba用户登陆执行$ORACLE_HOME\rdbms\admin\csminst.sql然后退回到命令提示符执行csscanFULL=YFROMCHAR=WE8ISO8859P1TOCHAR=UTF8log=check.logcapture=yarray=1000000process=2执行完毕以后查看log文件，可以知道那些转换会失败字符集转换字符集转换字符集转换OS字符集OS字符集以及OS字符集在字符集转换中起的作用。OS字符集查看OS字符集OS字符集DEMO:环境:

OS:WINXPSP2中文版

ORACLE10.2.0.1

服务器和客户端在一台机器上

服务器字符集:AL32UTF8国家字符集AL16UTF16

客户端字符集:AL32UTF8以下是在SQLPLUS里面的操作：OS字符集SQL>createtabletest(avarchar2(10));

琛ㄥ凡鍒涘缓銆?

SQL>insertintotestvalues('我');

宸插垱寤?1琛屻€?

SQL>commit;

鎻愪氦瀹屾垚銆?

SQL>selecta,dump(a)

fromtest;

A

----------

DUMP(A)

--------------------------------------------------------------------------------我

Typ=96Len=2:206,210

OS字符集可以看到,服务器端和客户端都是UTF8但是显示出来的提示全部是乱码,在看一下汉字"我"字的编码,查了一下编码表,在ZHS16GBK里面是20698

,在UTF8里面是230136145,在UTF16里面应该是9817但是实际的值是什么呢？实际的编码值是206210,既不是GBK,也不是UTF8和UTF16的编码，查了一下其它的编码表，最终发现206210是GB2312“我”字的编码OS字符集接着把数据库客户端编码切换成ZHS16GBK，看看会发生什么SQL>insertintotestvalues(‘我’);

已创建1行。

SQL>selecta,dump(a)

fromtest;

A

DUMP(A)

我

Typ=96Len=3:230,136,145

OS字符集可以发现,数据库在插入时,准确的把"我"字转换成UTF8的编码,而在显示的时候又转换成了准确的汉字"我",怎么解释上面这个现象呢？

OS字符集通过试验我们可以发现OS的字符集实际是GB2312的，但是由于客户端字符集和服务器端字符集一致，所以在上传数据的时候，认为不存在字符集转换，所以就直接把OS的汉字编码上传上去了，这也是我们看到的库中实际存放的是GB2312“我”字编码206210的原因，显示的时候同样的方式，认为数据库服务器与客户端字符集编码一致，不存在字符集转换，于是把206210发到客户端，到了客户端，就正好原封不动的把206210显示成为了汉字“我”。这也是造成提示乱码的原因，让GBK的窗口去解析UTF8的编码，从而产生乱码。OS字符集当客户端字符集是GBK的时候，执行INSERT的时候，ORACLE意识到服务器与客户端字符集不一致，产生一次字符集转换，把“我”字转换成UTF8编码230,136,145存入数据库中，select的时候做反操作，将UTF8转换成GBK编码显示出来。OS字符集经典“靠”问题OS字符集在一个中文系统中所有的汉字全部显示为“靠”DEMO服务器端：ZHS16GBK客户端：WE8ISO8859P1OS:GBKOS字符集库里存在汉字“我是从辉”客户端做selectORACLE判断服务器客户端字符集不一致，于是做字符集转换，西欧字符集里面是没有汉字，转换成特殊编码，倒问号，编码为”BF”客户端得到“BFBFBFBF”OS是GBK，认为是两个汉字，“BFBF”,”BFBF”最终显示结果“靠靠”！QA演讲完毕，谢谢观看！OracleERP主要模块InvoicesARENGBOMWIPBillsand

RoutingsShipmentsECOSWork

OrdersGLAPPlanning(MRP)POMaterialRequirementsEnterprise

DemandVendorPOInterplantPOReceiptsWorkOrdersCustomersJournalEntriesJournalEntriesJournalEntriesVendorInvoicesVendorPaymentsTransportation

InformationBillsItemsOEINVInternalPaymentsCorporateJournalEntriesShipmentsOrdersFAMassAdditionJournalEntriesCOSTCOSTCOSTReceipts财务配销HRPayroll制造人力资源财务系统模块:Oracle总帐管理（GL）Oracle应付帐管理（AP）Oracle固定资产管理（FA）Oracle应收帐管理（AR）Oracle现金管理（CE）Oracle项目会计（PA）Oracle财务分析（OFA）分销系统模块:Oracle库存管理（INV）Oracle采购管理（PUR）Oracle销售定单管理（OE）Oracle销售&市场管理（SM）Oracle销售补偿管理（SC）Oracle售后服务管理（SR）Oracle销售分析（OSA）OracleERP模块清单制造系统模块:Oracle计划管理（MPS/MRP）Oracle能力计划管理（CAP）Oracle制造数据管理（BOM）Oracle车间生产管理（WIP）Oracle成本管理（CST）Oracle项目制造（PJM)Oracle流程制造(OPM)Oracle质量管理（QM)其他系统模块:Oracle设备管理（EM）Oracle人事管理（HR）Oracle薪金管理（PAYROLL）Oracle系统管理（SYSTEMADMIN）Oracle预警（ALT）Oracle多维数据分析/商业智能系统 （OLAP/BIS）Oracle桌面集成（ADI）OracleERP模块清单Engineering工程资料管理系统BillofMaterials物料清单及制程管理系统CostManagement成本管理系统OrderEntry订单管理系统MasterScheduling/MRP生产排程管理系统与物料需求计划系统WorkInProcess生产管理系统Inventory库存管理系统Purchasing采购管理系统Personnel人事管理系统Receivable应收账款管理系统Payable应付账款管理系统Assets固定资产管理系统GeneralLedger

总帐会计系统Capacity产能规划系统OracleApplications56Oracle行业模型:离散制造供应链企业后台管理客户关系管理计划寻源

制造

市场销售支持企业管理返回项目到盈利财务管理到财务报告概念到发布联系到解决合同到续签预测到计划采购到付款需求到制造(离散)订单到收款库存到履约问题到预防机会到订单Oracle主要业务流程DesigntoReleaseForecasttoPlanPlantoScheduleScheduletobuildProcuretoPayOrdertoCashInventorytoFulfillmentCostQuality58概念到发布返回设计到发布预测到计划计划到排程排程到生产(离散)概念到获利一级业务流程59预测到计划返回供应商协同到供应商承诺客户协同到达成一致预测预测到计划计划到排程排程到生产(离散)请求到接收–直接设计到发布一级业务流程60采购到支付返回分析到协议预测到计划申请到接收–直接申请到接收–间接供应商退货到贷项通知单供应商退货到补货验收到接收接收到资产供应商发票到付款补货信号费用报告到入帐一级业务流程61需求到制造(离散)返回一级业务流程返回计划到排程排程到生产(离散)检验到处理设计到发布按订单配置到发运按订单装配到发运一级业务流程62订单到收款返回订单到直发信贷审批到客户拣货到订单到发运客户退货到退款客户退货到退换客户发票-现金定制到订单到发运装配到订单到发运

销售线索到订单订单到发运订单到直接采购发运收入到过帐订单到客户发票一级业务流程63库存到履约返回申请到接收-直接排程到生产(离散)检验到处理产品标准成本到库存再估价订单到收款接收到库存准确度补货信号到补货子分类帐到过帐仓库布局到库存估价计划到排程一级业务流程客户订单CustomerPO销售预测Forecast主需求计划MDS主生产计划MPS物料需求

计划MRP请购作业PR采购作业PO

收料作业

Receiving工单开立WIP生产发料WIPIssue生产控制生产入库WIPComplete出货作业Shipping应付账款应收账款发票作业成本作业Oracle整合企业日常作业流程可承诺量查核ATP内部领用捡货单杂项发料/退货MiscIssue/Return发料/出货Issue入库异动ReceiptTransaction实际盘点PhysicalCounting标签与序列号列印TagGeneration盘点过账交货预测与再订购管理ForecastandReorder存货管制规则-Min-max-ReorderPoint-Sub-inventoryreplenishment交货/预定安排库存评估/报表定义作业规定总帐更新定义作业流程组织/仓库定义SetupOrganization/Subinventory检验Inspect登帐运送Deliver退货Return供应商Supplier内部Internal成本Cost状态Status目录Catalog分类Category模板Template供应商Supplier内部Internal订单处理自动请购余额更新调整库存平衡表循环盘点CycleCounting-自动排程-手动排程OracleInventory(库存管理系统)库存控制InventoryControl物料管理MaterialManagement收料Receipt联接操作制程料品定义Item定义资源Resource选用零配件/料品成本累计成品FinishGood定义资源使用量ResourceRate新产品流程建立替代制程AlternateRouting定义制程Routing材料需求ItemRequirement新产品开发建立替代性物料清单AlternateBOM工单排程量产日排程实施设计变更单OracleBillofMaterials(物料清单及制程管理系统)设计变更单ECO半成品Assembly建立物料清单BOM产品规格-型号、选项产生工单(或量产计划)完成品入库原物料耗用报表-工单成本-期间成本-成本差异-成本衡量-物料耗用-资源耗用组立装配Assembly(选项)外包反溯扣帐Backflash工单发放Release发料Issue装配完成工单完成WIPComplete制造资源耗用Resource-人工-机器设备-制造费用送货/交货外包交货外包OutsideProcessing安排生产制程物料清单展开计划工单手开工单销售订单OracleWorkInProcess(生产管理系统)预测资料ForecastOracleSO客户订单其它系统客户订单需求报表&查询主需求计划MDS需求排程更新MDSUpdate详细产能计划物料需求计划MRP工单WIP请购PRBOM计划工单计划采购单现有库存量OnhandOraclePlanning(MPS/MRP管理系统)主生产计划MPS交易资讯Transaction定义配件成本报告采购收料POReceive定义成本计算规则成本累计CostRollup成本更新CostUpdate库存值计算采购料品材料材料管理费用用料清单制程

成本元件-工作项目/活动Project/Active-料品Item-批次Lot-资源单位Uom-总价半成品库存资源成本采购退货POReturn公司间移转OrganizationTransfer移动平均成本更新杂项收发MiscellaneousReceipt/Issue选择模拟规则模拟冻结成本Frozen冻结成本OracleCostManagement(成本管理系统)请购单处理收货

(料)Receipt检验Inspect异动处理-收货-运送-调拨退货Return应付账款对帐应计作业-暂记项目-凭证-月结报价单收集请求报价RFQ(选择性项目)自动产生订购单发放Release定义企业流程收料控制-核准及安全管制-交货来源-采购预算管制-异动处理方法内部转移InterOrgTransfer发票处理应付账款成立APInvoice总帐科目更新核准Approve供应商挑选供应商交货允收AcceptOraclePurchasing(采购管理系统)MRP需求存货状况OnhandQty在制品(委外)OutProcess手开请购ManualPR开放界面Interface列印/EDI核准Approve各种采购单-标准式Standard-计划式Planned-合并式Blanket-合约式Contract判退Reject选配件产品订单输入OrderEnter发票开立Invoice出货管理Shipping退货管理RMA退货审核Approve货品退回Return订单完成重排程Re-schedule保留Reservation库存余额更新未交订单管理定义各项流程次序定义流程元件定义企业运作流程Workflow-弹定规则订单处理流程-授信额度检查-退货管理-订单排程订单处理流程定义授信額度檢查CreditCheck例外管理Exception订单保留Hold-自动Auto-手动Manual订单解除管制HoldRelease订价Price订单审核确认客户基本资料Customer线上查询库存余量-允交量ATP-保留量Reservation授信额度检查CreditCheckOracleOrderEntry(订单管理系统)允交量查询ATP订单排程OrderSchedule出货确认ShipConfirm检货Pick销货折让Credit分派/收集预算资料建立预算预算作业Budget查询报表产生器

(FSG)定义企业作业模式/输出分析会计科目结构AccountingStructure分录/凭证登录日历Calendar多公司合并作业处理Consolidation多币别作业Multi-Currency应计分录/回转分录开放介面转入Interface科目调整作业結帳开启会计期间OpenAccountingPeriod汇兑重整与实现Revaluation(多公司)合并分录作业Consol