最近在做数据导入的一些功能,因为涉及到的数据比较多,所以就要考虑效率的问题了,经过简单计算,这个系统得支持几十万条数据才行,如果用我们通常使用的insert into 语句效率可想而知,点一下按钮就在那等吧,不用说用户,我们自己都受不了。
后来经过查询资料得知,.Net Framework提供的SqlbulkCopy函数就可以将原来一条一条处理的数据经过批量处理,并且SqlbulkCope只要求导入的是Sql数据库,对于数据源是没有要求的,
使用SqlbulkCopy对象要经过这样三个步骤:
获取数据源数据
连接到目标数据库
建立SqlbulkCopy视图
DEMO
先说一下我们这个例子的思路,这个小例子中有两条线,第一条线,只是简单的将简单的数据库中表显示到U层的Datagridbiew中(这条线不再展示),为第二条线做准备,第二条线实现的则是数据迁移功能,即我们在datagridview的表格中输入多条数据,让后将数据一次性插入到数据库。
首先,我们来看数据迁移按钮下的U层代码:
<span style="font-size:18px;"><strong>Dim str As String
Dim dt As New DataTable
Dim tablebll As New BLL.DataMoveBLL
'为dt添加相应的列
dt.Columns.Add("departmentId")
dt.Columns.Add("unitId")
dt.Columns.Add("listId")
dt.Columns.Add("rowId")
dt.Columns.Add("lineId")
dt.Columns.Add("data")
dt.Columns.Add("currentdate")
dt.Columns.Add("currenttime")
dt.Columns.Add("isDelete")
Dim dr As DataRow
'使用循环给dt赋值
For i = 0 To DataGridView1.Rows.Count - 1
dr = dt.NewRow 'dr为dt的新行
dr("departmentId") = (DataGridView1.Rows(0).Cells(0).Value)
dr("unitId") = (DataGridView1.Rows(0).Cells(1).Value)
dr("listId") = (DataGridView1.Rows(0).Cells(2).Value)
dr("rowId") = (DataGridView1.Rows(0).Cells(3).Value)
dr("lineId") = (DataGridView1.Rows(0).Cells(4).Value)
dr("data") = (DataGridView1.Rows(0).Cells(5).Value)
dr("currentdate") = (DataGridView1.Rows(0).Cells(6).Value)
dr("currenttime") = (DataGridView1.Rows(0).Cells(7).Value)
dr("isDelete") = (DataGridView1.Rows(0).Cells(8).Value)
dt.Rows.Add(dr)
Next i
'调用B层方法
str = tablebll.DataMoveBLL(dt)
</strong></span>
在U层我们实现的是第一步——获取数据源数据
首先,我们给数据源对象添加相应的列,这里添加的列即是我们要给数据库插入的列,这些列可以跟数据表中相同也可以跟数据表中不同。然后我们要做的是给数据源dt的行dr赋值,即我们哟啊插入的数据。然后调用B层方法,将dt传给B层,因为是简单的展示,B层只是简单的将dt传给D层,所以这里不再展示B层的代码。
下图是我U层的输入情况:
我将SqlbulkCopy对象的应用放在了D层,所以我们着重来看D层。
<span style="font-size:18px;"><strong>Dim str As String
Dim ConnectStr As String
'定义链接对象
ConnectStr = System.Configuration.ConfigurationManager.ConnectionStrings("ConnString").ConnectionString
Dim connection As SqlConnection = New SqlConnection(ConnectStr)
'实例化SqlbulkCopy对象
Dim bulkCopy As New SqlBulkCopy(ConnectStr, SqlBulkCopyOptions.KeepIdentity Or SqlBulkCopyOptions.UseInternalTransaction)
'填写目标数据表的名字,即我们要将数据插入到哪张表中
bulkCopy.DestinationTableName = "T_dataTable"
'执行插入操作
bulkCopy.WriteToServer(dt)</strong></span>
至此,我们的操作完毕,下图为数据库的效果图:
做系统时我们不仅要实现基本功能,还要考虑效率的问题,尤其是数据量比较大的时候,效率问题不容忽视,这时候就给了我们探索的机会。