各数据导入ORACLE处理说明

1、一、 结构化文本文件入库常见非结构化数据格式如下：文件类型数据格式CSV文件按照逗号作为字段分割符，以每行作为一条记录的数据格式文件。TXT文件按照特定字符作为字段分隔符，以每行作为一条记录的数据格式文件。XLS/XLSX文件OFFICE2003/2007的规范化数据文件。XML文件符合DOM规范的XML规范化数据文件。格式化WORD文件在WORD文件中包含规范化表格信息，以每个表格作为一条记录的格式化数据。其他规范文件如：HTML文件、PPT文件等包含符合某些规范的数据文件。1. CSV文件/TXT文件入库CSV文件TXT文件以上文件统一采用KETTLE数据抽取工具进行入库，如下图说明：1.

2、 利用大文本编辑工具打开数据（超大文本文件忽略此步骤），点击【视图】中【显示空格/制表符】可准确定位数据分隔符。2. 选择要导入的文件。3. 内容设置文件格式及分隔符。格式固定选择mixed可有效避免格式引起的错误编码格式根据数据预览情况进行修改若数据起始行不在第一行则根据实际修改,若没有字段名则去掉头部后面的根据第一步填写分隔符4. 直接点击获取字段即可，建议将类型全部设置为string确保顺利入库，点击下方的预览记录查看数据正确性。注意1：较大文件直接获取字段，通过获取到的数据判断数据分隔符后，修改分隔符重新获取即可注意2：无字段名数据可自定义字段名后预览数据，确定自定义字段个数不少于文件

3、数据列数5. 定义文件来源（可忽略），该步骤可将文件名称、文件路径等信息写入到目标表中。（通用）6. 配置目标表,点击【新建】按钮。数据库SID数据库服务IP7. 在目标表已存在的情况下可直接将表名称填入目标表。8. 若目标表不存在可先定义好表名称并填入目标表后，点击下方的【sql】按钮，生成建表语句后，点击【执行】按钮，自动建表。9. 数据映射抽取（通用）目标表建成后配置字段映射以及定义错误输出。定义错误数据文件路径及名称10. 保存，运行完成导入。注意1：当源字段与目标字段不一致时（如：姓名-名称），需勾选下方标注地方确保转换正常运行。2. XLS/XLSX文件入库XLS/XLSX文件1.

4、 选择XLS/XLSX文件。2. 获取XLS/XLSX文件SHEET页，即如果存在多个SHEET页数据，可以自定义选择导入。标注处可定义该文件的起始行，针对标题做了合并单元格操作的XLS文件有很大用处。3. 获取XLS/XLSX文件中字段列的信息，可以根据导入需求进行自定义处理，在导入过程中对每个字段值的前后空格、精度以及类型进行配置处理。注意：文件存在多个Sheet页时，若结构不一致要分别进行导入。4. 若多个sheet页结构一致，则可一次导入（获取字段是有以下效果）。3. XML文件导入XML文件数据存放位置1. 利用大文本编辑工具打开XML文件，确定数据存放位置。2. 在XML中获取数据

5、位置，选择对应的数据主节点，即为数据的行信息。3. 获取该主节点信息的各数据字节点，即为数据列信息。4. 与TXT以及XLS文件处理方式相同。导入想要导入的数据库中即可。4. 格式化WORD文件对于WORD中含有格式化表格数据（如：人员简历信息等），我们采用定制开发数据导入工具的模式，对WORD中表格信息进行读取，并导入数据库中。格式化WORD文件5. 其他类型数据文件如PDF（文字信息）、PPT、HTML等具有完全规范化/部分规范化的数据文件，均可以采用定制开发工具与已有ETL工具相结合的模式对数据进行规范格式化入库处理。6. 文件批量入库对于同目录下存在多个相同格式的数据文件，进行文件入库

6、，采用通配符的方式，通过ETL工具对数据进行批量入库处置。通配符文件存放路径7. 定期自动增量同步使用ETL工具创建定期调度作业任务进行处理，可以实现如下几种场景：1) 同格式文件目录下，数据文件不断更新增加的情况。2) 同格式压缩包文件，自动解压，将新数据文件导入对应数据库中。3) 不同格式数据文件的自动整合汇集到数据库中。二、 数据库文件入库1. 常见数据库文件格式数据库类型数据格式oracle数据库dmp文件（exp、dxpdp）、sql文件sqlserver数据库sql文件、mdf和ldf文件、bak文件mysql数据库sql文件、frm,myd,myi文件、dump文件Access数

7、据库mdb文件其他数据库文件DBF文件db2数据库ixf文件,message文件2. ORACLE数据导入-DMP文件1) IMP导入方式oracle数据库的dmp文件可直接以命令行的方式入库，具体命令如下：imp 用户名/密码数据库名 file=xxx.dmp full=y ignore=y如果要导入到指定表空间可利用show=y 查看dmp文件中的建表语句手动建表并指定表空间后在进行忽略创建错误导入。此处经常遇到版本不一致问题，可用ue修改dmp文件版本号。如果文件太大，可直接放置服务器上导入。若服务器也安装了低版本的客户端，可修改环境变量后导入。2) 数据泵

8、方式导入数据泵技术是Oracle10g 中的新技术，它比原来导入/导出(imp,exp)技术快1545倍。速度的提高源于使用了并行技术来读写导出转储文件。1. 命令行连接数据库 sqlplus sys as sysdba2. 创建文件路径 create directory expnc_dir as 'd:data'3. 给用户授权 grant read,write on directory expnc_dir to test;4. 导入路径下的文件impdp test/test directory= expnc_dir dumpfile=test.dmp schemas=tes

9、t logfile=test.log3. ORACLE数据导入-SQL文件对于SQL文件的语法进行排查，如无问题，可以直接采用SqlPlus以及PL/SQLDeveloper工具进行SQL文件导入ORACLE数据。4. SqlServer数据导入-SQL文件sqlserver数据库的sql文件可直接通过sqlserver企业管理器进行导入。如果该文件较大且导入过程中出错，可利用大文本编辑工具进行编辑，将其规整成标准化的TXT文件后进行入库。5. SqlServer数据导入- MDF和LDF文件建立SqlServer数据库，将MDF以及LDF文件进行数据恢复工作，恢复完毕后，支持将其导出为TXT

10、文件，可以快速导入ORACLE以及其他数据库中。对于部分SqlServer数据库文件没有LDF文件，可直接忽略或对MDF文件权限进行修改后在进行导入。6. SqlServer数据导入-BAK文件新建数据库后，直接采用SqlServer还原方式进行还原。注意：选择完原设备（bak文件）后，要在【选项】里选择覆盖现有数据库。7. MYSQL数据导入-SQL文件新建数据库后，直接采用SqlServer还原方式进行还原。注意：选择完原设备（bak文件）后，要在【选项】里选择覆盖现有数据库。8. MYSQL数据导入-FRMMYDMYI文件可通过新建MySql还原数据库，直接拷贝到还原数据库对应的数据文件位置，重启数据库服务即可将数据文件数据加载到MYSQL数据库中。9. MYSQL数据导入-dump文件 可以直接通过MYSQL的CMD执行命令mysqlimport -u test -p test < d:datatest.dump 将DUMP文件导入MYSQL数据库中，通过MYSQL数据库，可以将数据通过ETL工具转移到其他数据库中。10.