数据迁移之SqlBulkCopy对象(一)

    最近在做数据导入的一些功能,因为涉及到的数据比较多,所以就要考虑效率的问题了,经过简单计算,这个系统得支持几十万条数据才行,如果用我们通常使用的insert  into 语句效率可想而知,点一下按钮就在那等吧,不用说用户,我们自己都受不了。


    后来经过查询资料得知,.Net Framework提供的SqlbulkCopy函数就可以将原来一条一条处理的数据经过批量处理,并且SqlbulkCope只要求导入的是Sql数据库,对于数据源是没有要求的,


    使用SqlbulkCopy对象要经过这样三个步骤:

                                                         获取数据源数据

                                                         连接到目标数据库

                                                         建立SqlbulkCopy视图


    DEMO

        先说一下我们这个例子的思路,这个小例子中有两条线,第一条线,只是简单的将简单的数据库中表显示到U层的Datagridbiew中(这条线不再展示),为第二条线做准备,第二条线实现的则是数据迁移功能,即我们在datagridview的表格中输入多条数据,让后将数据一次性插入到数据库。

    首先,我们来看数据迁移按钮下的U层代码:

<span style="font-size:18px;"><strong>Dim str As String
        Dim dt As New DataTable
        Dim tablebll As New BLL.DataMoveBLL

        '为dt添加相应的列
        dt.Columns.Add("departmentId")
        dt.Columns.Add("unitId")
        dt.Columns.Add("listId")
        dt.Columns.Add("rowId")
        dt.Columns.Add("lineId")
        dt.Columns.Add("data")
        dt.Columns.Add("currentdate")
        dt.Columns.Add("currenttime")
        dt.Columns.Add("isDelete")


        Dim dr As DataRow
        '使用循环给dt赋值
        For i = 0 To DataGridView1.Rows.Count - 1
            dr = dt.NewRow  'dr为dt的新行
            dr("departmentId") = (DataGridView1.Rows(0).Cells(0).Value)
            dr("unitId") = (DataGridView1.Rows(0).Cells(1).Value)
            dr("listId") = (DataGridView1.Rows(0).Cells(2).Value)
            dr("rowId") = (DataGridView1.Rows(0).Cells(3).Value)
            dr("lineId") = (DataGridView1.Rows(0).Cells(4).Value)
            dr("data") = (DataGridView1.Rows(0).Cells(5).Value)
            dr("currentdate") = (DataGridView1.Rows(0).Cells(6).Value)
            dr("currenttime") = (DataGridView1.Rows(0).Cells(7).Value)
            dr("isDelete") = (DataGridView1.Rows(0).Cells(8).Value)
            dt.Rows.Add(dr)
        Next i

        '调用B层方法
        str = tablebll.DataMoveBLL(dt)
</strong></span>

    在U层我们实现的是第一步——获取数据源数据

    首先,我们给数据源对象添加相应的列,这里添加的列即是我们要给数据库插入的列,这些列可以跟数据表中相同也可以跟数据表中不同。然后我们要做的是给数据源dt的行dr赋值,即我们哟啊插入的数据。然后调用B层方法,将dt传给B层,因为是简单的展示,B层只是简单的将dt传给D层,所以这里不再展示B层的代码。

    下图是我U层的输入情况:



    我将SqlbulkCopy对象的应用放在了D层,所以我们着重来看D层。

<span style="font-size:18px;"><strong>Dim str As String
        Dim ConnectStr As String

        '定义链接对象
        ConnectStr = System.Configuration.ConfigurationManager.ConnectionStrings("ConnString").ConnectionString
        Dim connection As SqlConnection = New SqlConnection(ConnectStr)

        '实例化SqlbulkCopy对象
        Dim bulkCopy As New SqlBulkCopy(ConnectStr, SqlBulkCopyOptions.KeepIdentity Or SqlBulkCopyOptions.UseInternalTransaction)

        '填写目标数据表的名字,即我们要将数据插入到哪张表中
        bulkCopy.DestinationTableName = "T_dataTable"
        '执行插入操作
        bulkCopy.WriteToServer(dt)</strong></span>

    至此,我们的操作完毕,下图为数据库的效果图:



    做系统时我们不仅要实现基本功能,还要考虑效率的问题,尤其是数据量比较大的时候,效率问题不容忽视,这时候就给了我们探索的机会。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 30
    评论
`SqlBulkCopy` 是 .NET Framework 中的一个类,用于将大量数据一次性批量插入到 SQL Server 数据库中,可以大大提高数据插入的效率。 使用 `SqlBulkCopy` 类可以实现以下几个优点: 1. 提高数据库操作效率:`SqlBulkCopy` 类可将大量数据一次性插入到数据库中,比逐条插入更高效。 2. 减少数据库操作次数:`SqlBulkCopy` 类可以将多个插入操作合并为一个操作,从而减少了数据库操作次数。 3. 简化代码:使用 `SqlBulkCopy` 类可以简化代码,使代码更易读、易维护。 使用 `SqlBulkCopy` 类的基本步骤如下: 1. 创建一个 `SqlConnection` 对象,用于连接到 SQL Server 数据库。 2. 创建一个 `SqlBulkCopy` 对象,指定要插入数据的目标表、连接对象等参数。 3. 创建一个数据源,可以使用 `DataTable` 或 `IDataReader` 对象。 4. 调用 `SqlBulkCopy` 对象的 `WriteToServer` 方法,将数据源中的数据批量插入到数据库中。 以下是一个使用 `SqlBulkCopy` 类将 `DataTable` 对象中的数据插入到 SQL Server 数据库中的示例代码: ```vb.net Using connection As New SqlConnection(connectionString) connection.Open() Using bulkCopy As New SqlBulkCopy(connection) bulkCopy.DestinationTableName = "dbo.MyTable" bulkCopy.WriteToServer(myDataTable) End Using End Using ``` 需要注意的是,`SqlBulkCopy` 类只能用于向 SQL Server 数据库中插入数据,不能用于更新或删除数据。同时,使用该类时需要注意数据源与目标表的列的对应关系,必须保证两者的列数和列名一致。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 30
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值