JRT多列唯一取数据黑科技

小乌鱼

已于 2024-07-26 18:19:47 修改

阅读量308

点赞数 6

文章标签：科技 java 信创

于 2024-07-26 18:05:48 首次发布

本文链接：https://blog.csdn.net/zhanglianzhu_91/article/details/140721285

版权

本次解决多列唯一获取数据的情况，为接收等需要大量匹配外部数据的业务性能做保证，使通过按多列唯一取数据的性能得到成千上万倍的提升。

等价$o直接得到唯一的主键值。

对于一些业务场景，例如：检验系统接收标本，由于接收数据都是外部系统（HIS或体检等）的，所有像科室这些基础数据都得用代码匹配。那么就有一个问题不可避免，及外部数据代码转换成内部数据主键。而这种数据又很多，那么就无法避免的要进行多次数据库交互。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KDqY7xIt-1721989171219)(https://i-blog.csdnimg.cn/direct/7b2ce7fff3bb43cca05d6620cd133d5e.png)]
如下图，就得为基础数据转换和数据库交互上十次到几十次，无疑就会拉低性能。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DYlsTG4D-1721989171223)(https://i-blog.csdnimg.cn/direct/f12c3b46ee214a448a2ef56972c9413d.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qtb1fF8s-1721989171223)(https://i-blog.csdnimg.cn/direct/c6b6358f9f684464b3698e9b5a00ecab.png)]

为了解决这个问题在ORM提供新的api

   /**
     * 通过多列值唯一得到数据，带缓存的查询，用来解决关系库的复杂关系数据索引唯一获取
     *
     * @param modelClass 实体类型
     * @param para         索引参数
     * @param <T>        泛型
     * @return 一行数据
     * @throws Exception
     */
    public <T> T DolerGet(Class modelClass, HashParam para) throws Exception {
        if(para==null)
        {
            return null;
        }
        List<ParamDto> paraList=para.GetParam();
        //通过索引取主键
        Long rowID = JRT.DAL.ORM.Global.IndexManager.DolerGet(modelClass, paraList);
        T ret=null;
        //命中缓存直接返回
        if (rowID != null) {
            ret=DolerGet(modelClass,rowID);
            if(ret!=null) {
                //验证通过索引取数据的可靠性
                boolean isOk = JRT.DAL.ORM.Global.IndexManager.VerifiCacheData(paraList, ret);
                if (isOk == true) {
                    return ret;
                }
            }
            //数据被删除了就移除所有
            else
            {
                ECPDto dto = new ECPDto();
                dto.Cmd = "D";
                dto.Model = modelClass.getSimpleName();
                dto.DataObj = null;
                IndexManager.InCacheDirect(paraList, dto);
            }
        }
        //调用数据库查询
        ret = GetByPara(modelClass,paraList);
        //找到数据，推入缓存
        if (ret != null) {
            ECPDto dto = new ECPDto();
            dto.Cmd = "A";
            dto.Model = modelClass.getSimpleName();
            TableInfo tableInfo = JRT.DAL.ORM.Common.ModelToSqlUtil.GetTypeInfo(null, ret);
            dto.DataObj = tableInfo.ID.Value;
            IndexManager.InCacheDirect(paraList, dto);
        }
        return ret;
    }

原理就是按多列值构建和RowID的Key-Value缓存。没有命中的就直接查数据库得到数据，并且构建缓存。命中Key-Value的通过Value的RowID值调用DolerGet得到数据，同时比较数据和查询每列的值，如果都相等，那么命中的数据可信，否则通过多列值构造的Key命中数据不可信，数据改过，继续查询数据库得到数据。

按下图比较命中可信度
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f5NujUVI-1721989171225)(https://i-blog.csdnimg.cn/direct/080cabe28e994d8e905447130ced7d67.png)]

这样就得到一个可靠的多列取数据api，测试api和直接查询库的差别

import JRT.DAL.ORM.Global.GlobalManager;
import JRTBLLBase.BaseHttpHandlerNoSession;
import JRTBLLBase.Helper;
import JRT.Core.Dto.HashParam;
import JRT.Core.Dto.ParamDto;
import JRT.Core.Dto.OutParam;
import JRT.Model.Entity.*;
import JRT.Core.Util.Convert;
import JRT.Core.MultiPlatform.JRTContext;

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.ConcurrentHashMap;

/**
 * 测试DolerGet和不用DolerGet的性能差别以及在哈希表放千万行数据的内存占用
 *
 */
public class ashDolerGetTest extends BaseHttpHandlerNoSession {

    /**
     * 用DolerGet通过唯一索引查询数据
     * @return
     */
    public String DolerIndexGet() throws Exception
    {
        String ret="";
        //带索引缓存查询测
        long start=JRT.Core.Util.TimeParser.GetTimeInMillis();
        for(int i=0;i<5000;i++)
        {
            HashParam hs=new HashParam();
            hs.Add("Code","FileServiceAddr");
            hs.Add("ParaType","HOS");
            hs.Add("ParaTypeCode","1");
            JRTParameter para=EntityManager().DolerGet(JRTParameter.class,hs);
        }
        long end=JRT.Core.Util.TimeParser.GetTimeInMillis();
        ret="用DolerGet通过索引取数据耗时:"+(end-start);

        //不带索引缓存查询测试
        start=JRT.Core.Util.TimeParser.GetTimeInMillis();
        for(int i=0;i<5000;i++)
        {
            HashParam hs=new HashParam();
            hs.Add("Code","FileServiceAddr");
            hs.Add("ParaType","HOS");
            hs.Add("ParaTypeCode","1");
            JRTParameter para=EntityManager().GetByPara(JRTParameter.class,hs);
        }
        end=JRT.Core.Util.TimeParser.GetTimeInMillis();
        ret+=",直接查数据库取数据耗时:"+(end-start);
        return ret;
    }

}

第一次调用性能差别，能有上千倍性能差别
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lQMshH33-1721989171226)(https://i-blog.csdnimg.cn/direct/5535d4aff06f427b9e1bcf309589057c.png)]
后续调用差别，能有上万倍性能差别
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YCWcN96C-1721989171228)(https://i-blog.csdnimg.cn/direct/7f73fd3fe7d54b12af0234258fc6ea49.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UBBRcbpe-1721989171229)(https://i-blog.csdnimg.cn/direct/4e1c02c3d7484e0f96b9d5d5a003c1bf.png)]

ORM使用示例
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GKYWuSlL-1721989171230)(https://i-blog.csdnimg.cn/direct/30fd1afb39b145efbfd695855cdc12d4.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cxXLKJv8-1721989171231)(https://i-blog.csdnimg.cn/direct/bee999ffce9b49d2ad9b070ccdad988b.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CjHu7sI8-1721989171232)(https://i-blog.csdnimg.cn/direct/ceaa3d78172840d38db2fbbe8467dfe3.png)]

通过DolerGet的RowID取数据，DolerGet的多列索引取数据和视图实体查询，JRT提供区别于常规java的强大而高效的数据库操作api给业务使用，彻底解决关系库复杂关系查询问题，使关系库复杂的多表业务能达到媲美M的效果，而且写起来更简单。