oracle插入上万条数据,java实现分批插入

最近在项目中遇到这样一个问题 :

  1. excel导出数据到数据库(oracle),当数据库中的数据有上万条时,如何进行批量操作
  2. 这里我用的分批操作,直接上代码:
private void createBatchList(List<Map<String, Object>> list){//这个list就是批量的总数据
    List<Map<String, Object>> newList = null;//定义一个新的容器
  	Map<String,Object> map = new HashMap<String,Object>();
    int listSize = list.size();//数据大小
    int count  = 999; //初始化一个变量,默认1000
   //根据变量确定一次处理多少条数据
       if( listSize >= 1 && listSize < 1000) {
			count = 333;
		}else if(listSize >= 1000 && listSize < 10000) {
			count = 1333;
		}else if(listSize >= 10000) {
			count = 5333;
		}
    int loopSize  = (listSize / count) + 1;//循环多少次
	    for (int i=0;i<loopSize  ;i++) {
	        if((i + 1) == loopSize){
	            int start  = (i * count);
	            int end = listSize ;//总数
	            newList  = list.subList( start, end);//返回一个List集合的其中一部分视图。包含start,不包含end
	      } else {
	            int start  = (i * count);
	            int end = ((i + 1) * count);
	            newList  = list.subList( start, end);
	      }
	       configService.insertData(newList);//调用service里面的方法
	    }
}

  1. mybatis中:
<insert id="insertData"  parameterType="java.util.List">
     INSERT INTO table (clumn1,clumn2,clumn3,clumn4,clumn5,clumn6,clumn7,clumn8)
     (
    <foreach collection="list" item="item" index="index" separator="union all">
           select
       		    ${item.datas}
           from dual
     </foreach>
     )
 </insert>

好了,以上就是我所总结的,亲测3万多条数据用时3s

本人刚入行没多久,如有问题或者更好的方式,请多指教

  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
怎么实现? A:Java通过Mybatis实现批量插入数据Oracle中可以分批提交,具体实现步骤如下: 1. 配置Mybatis的批量处理属性 在Mybatis配置文件中,可通过设置batch属性开启批量处理功能,同时还需设置fetchSize属性。fetchSize属性指定每次获取的记录数,可以根据实际情况调整大小。 2. 编写批量插入SQL语句 在Mapper.xml文件中,编写批量插入的SQL语句,例如: ``` <insert id="batchInsert" parameterType="java.util.List"> insert into table_name (column1, column2, column3) values <foreach collection="list" item="item" index="index" separator=","> (#{item.column1}, #{item.column2}, #{item.column3}) </foreach> </insert> ``` 其中,#{item.column1}等表示插入的字段值,collection表示要插入数据集合。 3. 调用批量插入方法 在Java代码中,创建一个List集合存储需要批量插入数据,然后将集合作为参数传递给Mapper接口中的批量插入方法,例如: ``` List<DataEntity> dataList = new ArrayList<>(); // 往dataList中添加数据 dataMapper.batchInsert(dataList); ``` 4. 分批提交数据 如果数据量过大,一次性提交可能会导致内存不足或数据库连接超时等问题。为了避免这些问题,可以将数据分批提交。具体实现方式如下: ``` List<DataEntity> dataList = new ArrayList<>(); // 往dataList中添加数据 int batchSize = 1000; int total = dataList.size(); int batchNum = total % batchSize == 0 ? total / batchSize : total / batchSize + 1; for (int i = 0; i < batchNum; i++) { int fromIndex = i * batchSize; int toIndex = (i + 1) * batchSize < total ? (i + 1) * batchSize : total; List<DataEntity> batchList = dataList.subList(fromIndex, toIndex); dataMapper.batchInsert(batchList); } ``` 以上就是Java通过Mybatis实现批量插入数据Oracle分批提交的具体实现步骤。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值