实战手记：让百万级数据瞬间导入SQL Server

1、实战手记：让百万级数据瞬间导入sql server想必每个dba都喜爱挑战数据导入时光，用时越短工作效率越高，也充分的能够证实自己的实力。实际工作中有时候需要把大量数据导入数据库，然后用于各种程序计算，本文将向大家推举一个挑战4秒极限让百万级数据眨眼导入sql server试验案例。 本试验将用法5中办法完成这个过程，并具体记录各种办法所耗费的时光。所用到工具为vial studio 2008和sql server 2000、sql server 2008，分离用法5中办法将100万条数据导入sql server 2000与sql server 2008中，试验环境是dell 2850双2.0

2、gcpu，2g内存的服务器。感爱好的伴侣可以下载源代码自己验证一下所用时光。 好了，下面我们分离用法基本的insert 语句、用法bulk insert语句、在多线程中用法bulk insert、用法sqlbulkcopy类、在多线程中用法sqlbulkcopy类五种办法，挑战4秒极限。还要有一点需要举行解释，本试验中执行sql语句的地方用法了isline framework框架中的dataprover模块，这个模块只是对sql配置的读取和封装，并不会对终于结果有本质性的影响，关于isline framework框架方面的学问，请参考“isline framework”框架系列文章。 数据库方

3、面用法sql server 2000与sql server 2008，表名tableb，字段名称为value1，数据库名可以在app.config中修改，默认为test。 办法一.用法基本的insert 语句 这种办法是最基本的办法，大多数人一开头都会想到这种办法。但是insert语句 乎并不适合大批量的操作，是不是这样呢? 本办法中将100万数据分为10个批次，每个批次10万条，每10万条1个事务，分10次导入数据库。 - 基本语句: insert into tableb (value1) values (” i ”); 解释：语句中的i是宿主程序中的一个累加变量，用于填充数据库字段中的 。

4、 sql server 2000 耗时：901599 sql server 2008耗时：497638 办法二.用法bulk insert语句 这个类的效果，在本试验中可以说是最令人惬意的了，它的用法最简便、灵便，速度很快。 “bulk insert”语句 乎不是很常用， aicken听说oracle中有一种可以将外部文件映射为oracle暂时表，然后挺直将暂时表中的数据导入oracle其他表中的办法，这种办法的速度十分令人惬意，sql server的bulk insert是不是同样令人惬意呢? - 基本语句： bulk insert tableb from ' c:sql.txt&#

5、39; with (fieldterminator = ',',rowter /.,mbminator='|',batchsize = 100000) 解释：“c:sql.txt”是一个预先生成的包含100条数据的文件，这些数据以“|”符号分隔，每10万条数据一个事务。 sql server 2000耗时：4009 sql server 2008耗时：10722 办法三.在多线程中用法bulk insert 在办法二的基础上，将100万条数据分五个线程，每个线程负责20万条数据，每5万条一个事物，五个线程同时启动，看看这样的效果吧。 sql server 200

6、0耗时：21099 sql server 2008耗时：10997 办法四.用法sqlbulkcopy类 这种办法速度也很快，但是要依靠内存，对于几千万条、多字段的复杂数据，可能在内存方面会有较大的消耗，不过可以用法64位解决计划处理这个问题。 几千万条、多字段的数据的状况普通在一些业务场景中会碰到，比如计算全球消费者某个业务周期消费额时，要先获得主数据库表中的会员消费记录快照，并将快照储存至暂时表中，然后供计算程序用法这些数据。并且有些时候消费者的消费数据并不在一台数据库服务器中，而是来自多个国家的多台服务器，这样我们就必需借助内存或外存设备中转这些数据，然后清洗、合并、检测，最后导入专用表

7、供计算程序用法。 基本语句： using (system.data.sqlclient.sqlbulkcopy sqlbc = new system.data.sqlclient.sqlbulkcopy(conn) sqlbc.batchsize = 100000; sqlbc.bulkcopytimeout = 60; sqlbc.destinationtablename = dbo.tableb sqlbc.columnmaps.a( valuea , value1 sqlbc.writetoserver(dt); 解释： batchsize = 100000; 指示每10万条一个事务并提交 bulkcopytimeout = 60; 指示60秒按超时处理 destinationtablename = dbo.tableb 指示将数据导入tableb表 columnmappings.add( valuea , value1 指示将内存中valuea字段与tableb中的value1字段匹配 writetoserver(dt);写入数据库。其中dt是预先构建好的datatable，其中包含valuea字段。 sql server 2000耗时：4989 sql server 2008耗时：10412 办法五.在多线