C#批量高效率导入大数据到数据库[百万级以上]

本文介绍了如何高效地将大量CSV数据(百万级别)导入到数据库。首先,通过`OpenCSV`方法读取CSV文件并转换为DataTable,然后利用`TableValuedToDB`方法结合表值参数将DataTable批量插入数据库,最后展示了创建数据库表值参数类型的SQL语句,以及性能测试用的Stopwatch计时器。
摘要由CSDN通过智能技术生成

将几百万条数据导入到数据库中,怎么样高效率的导入?

下面我就介绍一个高效率的方法:

1、将数据库文件(DB.csv)导入到DataTable中:

/// <summary>

        /// 将CSV文件的数据读取到DataTable中

        /// </summary>

        /// <param name="fileName">CSV文件路径</param>

        /// <returns>返回读取了CSV数据的DataTable</returns>

        public static DataTable OpenCSV(string filePath)

        {

            Encoding encoding = Encoding.GetEncoding("utf-8"); //Encoding.ASCII;//

            DataTable dt = new DataTable();

            FileStream fs = new FileStream(filePath, System.IO.FileMode.Open, System.IO.FileAccess.Read);

 

            //StreamReader sr = new StreamReader(fs, Encoding.UTF8);

            StreamReader sr = new StreamReader(fs, encoding);

            //string fileContent = sr.ReadToEnd();

            //encoding = sr.CurrentEncoding;

            //记录每次读取的一行记录

            string strLine = "";

            //记录每行记录中的各字段内容

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

zhangzhiping35

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值