记一次url参数截断的问题

问题现象

在最近的开发过程中要根据一堆id值去删除ES中的数据,就写了一个脚本接口,传入了idList。这里选择的是GET方式的接口,将idList以逗号分隔当做字符串传入当做参数,然后在接口中转换成List类型再对ES进行操作。

脚本代码

这个接口中的process是为了控制是否真正执行刷数据的逻辑,在一些刷数据的接口中加入这个参数,可以去在真正去刷数据之前,去看看捞出来的数据是否正确,然后再进行刷数据的逻辑。

@GetMapping(value = "/es/fix/removeNotConsumerData")
@ResponseBody
public boolean removeNotConsumerData(@RequestParam(value = "kdtIdList") String kdtIdListString, @RequestParam(value = "process", defaultValue = "false") boolean process) {

    List<Long> kdtIdList = Arrays.stream(kdtIdListString.split(",")).map(Long::parseLong).collect(Collectors.toList());
    log.info("要刷的数据是:{}", JSON.toJSONString(kdtIdList));
    if (!process) {
        return true;
    }

    Set<Long> successSet = Sets.newHashSet();
    Set<Long> failSet = Sets.newHashSet();

    for (Long kdtId : kdtIdList) {
        try {
            ESResult esResult = esSyncHelper.deleteDoc(EsConstant.ESV5_TEAM_INDEX, EsConstant.ESV5_TEAM_TYPE, kdtId.toString(), ESResult.class);
            Thread.sleep(200);
            if (AppConstant.SUCCESS != esResult.getCode()) {
                log.warn("刷数据失败,kdtId={}, msg:{}", kdtId, esResult.getMessage());
                failSet.add(kdtId);
            } else {
                successSet.add(kdtId);
            }
        } catch (Throwable e) {
            log.warn("刷数据异常, kdtId={}", kdtId, e);
            failSet.add(kdtId);
        }

    }

    if (kdtIdList.size() != successSet.size()) {
        log.warn("有数据删除失败, failSet={}", JSON.toJSONString(failSet));
        return false;
    } else {
        return true;
    }

}

这里在机器上进行跑的时候,先去跑了单个id数据,发现是没有问题的。之后就想一把梭去将数据跑完,就把整个id集合数据放入了url要传入的参数之中,这个时候发现出现了问题。
在这里插入图片描述
在数据的最后一条id值被截断了,只是去截止到了42122,所以这个会被转为42122存入要刷的id集合中。这个就可能去刷错了数据(所以之前的process参数还是很有用的 = =)。

这里有个比较稳的解决方案是要刷的数据可以把文件放在resource目录下,然后通过读取这个文件的内容直接去去刷数据,这样就不会存在这个问题了。这里去简单记录下这次参数被截断的过程。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值