Hibernate性能优化问题

Hibernate性能调优（转载--作者：Robbin Fan）一。 inverse = ? inverse=false(default) 用于单向one-to-many关联 parent.getChildren().add(child) // insert child parent.getChildren().delete(child) // delete child inverse=true 用于双向one-to-many关联 child.setParent(parent); session.save(child) // insert child session.delete(child) 在分层结构的体系中 parentDao, childDao对于CRUD的封装导致往往直接通过session接口持久化对象，而很少通过关联对象可达性二。 one-to-many关系 单向关系还是双向关系？ parent.getChildren().add(child)对集合的触及操作会导致lazy的集合初始化，在没有对集合配置二级缓存的情况下，应避免此类操作 select * from child where parent_id = xxx; 性能口诀： 1. 一般情况下避免使用单向关联，尽量使用双向关联 2. 使用双向关联，inverse=“true” 3. 在分层结构中通过DAO接口用session直接持久化对象，避免通过关联关系进行可达性持久化 三。many-to-one关系 单向many-to-one表达了外键存储方 灵活运用many-to-one可以避免一些不必要的性能问题 many-to-one表达的含义是：0..n : 1，many可以是0，可以是1，也可以是n，也就是说many-to-one可以表达一对多，一对一，多对一关系 因此可以配置双向many-to-one关系，例如： 1. 一桌四人打麻将，麻将席位和打麻将的人是什么关系？是双向many-to-one的关系四。one-to-one 通过主键进行关联 相当于把大表拆分为多个小表 例如把大字段单独拆分出来，以提高数据库操作的性能 Hibernate的one-to-one似乎无法lazy，必须通过bytecode enhancement五。集合List/Bag/Set one-to-many 1. List需要维护index column，不能被用于双向关联，必须inverse=“false”，被谨慎的使用在某些稀有的场合 2. Bag/Set语义上没有区别 3. 我个人比较喜欢使用Bag many-to-many 1. Bag和Set语义有区别 2。 建议使用Set六。集合的过滤 1. children = session.createFilter(parent.getChildren(), “where this.age > 5 and this.age < 10”).list() 针对一对多关联当中的集合元素非常庞大的情况，特别适合于庞大集合的分页： session.createFilter(parent.getChildren(),“”).setFirstResult(0).setMaxResults(10).list();在hibernate 中用 super.getSession().createFilter( , )七。继承关系当中的隐式多态 HQL: from Object 1. 把所有数据库表全部查询出来 2. polymorphism=“implicit”(default)将当前对象，和对象所有继承子类全部一次性取出 3. polymorphism=“explicit”，只取出当前查询对象八。Hibernate二级缓存 著名的n+1问题：from Child，然后在页面上面显示每个子类的父类信息，就会导致n条对parent表的查询： select * from parent where id = ? ....................... select * from parent where id = ? 解决方案 1. eager fetch 2. 二级缓存九。inverse和二级缓存的关系 当使用集合缓存的情况下： 1. inverse=“false”，通过parent.getChildren()来操作，Hibernate维护集合缓存 2. inverse=“true”，直接对child进行操作，未能维护集合缓存！导致缓存脏数据 3. 双向关联，inverse=“true”的情况下应避免使用集合缓存十。Hibernate二级缓存是提升web应用性能的法宝 OLTP类型的web应用，由于应用服务器端可以进行群集水平扩展，最终的系统瓶颈总是逃不开数据库访问； 哪个框架能够最大限度减少数据库访问，降低数据库访问压力， 哪个框架提供的性能就更高；针对数据库的缓存策略： 1. 对象缓存：细颗粒度，针对表的记录级别，透明化访问，在不改变程序代码的情况下可以极大提升web应用的性能。对象缓存是ORM的制胜法宝。 2. 对象缓存的优劣取决于框架实现的水平，Hibernate是目前已知对象缓存最强大的开源ORM 3. 查询缓存：粗颗粒度，针对查询结果集，应用于数据实时化要求不高的场合十一。应用场合决定了系统架构一、是否需要ORMHibernate or iBATIS？二、采用ORM决定了数据库设计 Hibernate： 倾向于细颗粒度的设计，面向对象，将大表拆分为多个关联关系的小表，消除冗余column，通过二级缓存提升性能（DBA比较忌讳关联关系的出现，但是ORM的缓存将突破关联关系的性能瓶颈）；Hibernate的性能瓶颈不在于关联关系，而在于大表的操作 iBATIS： 倾向于粗颗粒度设计，面向关系，尽量把表合并，通过表column冗余，消除关联关系。无有效缓存手段。iBATIS的性能瓶颈不在于大表操作，而在于关联关系。总结： 性能口诀 1、使用双向一对多关联，不使用单向一对多 2、灵活使用单向多对一关联 3、不用一对一，用多对一取代 4、配置对象缓存，不使用集合缓存 5、一对多集合使用Bag，多对多集合使用Set 6、继承类使用显式多态 7、表字段要少，表关联不要怕多，有二级缓存撑腰 最近开始留意项目中的Hibernate的性能问题，希望可以抽出时间学习一下hiberante的性能优化。主要是对数据库连接池技术、hibernate二级缓存、hibernate的配置优化等问题进行学习！1.关联关系：普通的关联关系：是不包括一个连接表，也就是中间表如：create table Person(personId bigint not null primary key,addressId bigint not null)create table Address(addressId bigint not null primary key)也就是不会还有一个关系表如：create table Person(personId bigint not null primary key)create table Address(addressId bigint not null primary key)create table PersonAddress(personId bigint not null,ddressId bigint not null primary key)单向many-to-one关联是最常见的，而单向one-to-many是不常见的2. inner join(内连接) left (outer) join（左外连接）right (outer) join (右外连接)full join (全连接，并不常用)3.小技巧：统计结果数目：(Integer)session.iterator("select count(*) from ..").next()).intValue();根据一个集合大小来排序：select user.id,user.namefrom User as user.name left join user.messages msggroup by user.id,user.namehaving count(msg)>=1 Hibernate的缓存机制介绍--------------------------------------------------------------------------------时间: 2006-02-20 17:43 类别: 要记 前一篇 | 后一篇 作者 benja | 17 最新回复 | Trackback (137) | Permalink　　缓存是介于应用程序和物理数据源之间，其作用是为了降低应用程序对物理数据源访问的频次，从而提高了应用的运行性能。缓存内的数据是对物理数据源中的数据的复制，应用程序在运行时从缓存读写数据，在特定的时刻或事件会同步缓存和物理数据源的数据。　　缓存的介质一般是内存，所以读写速度很快。但如果缓存中存放的数据量非常大时，也会用硬盘作为缓存介质。缓存的实现不仅仅要考虑存储的介质，还要考虑到管理缓存的并发访问和缓存数据的生命周期。　　Hibernate的缓存包括Session的缓存和SessionFactory的缓存，其中SessionFactory的缓存又可以分为两类：内置缓存和外置缓存。Session的缓存是内置的，不能被卸载，也被称为Hibernate的第一级缓存。SessionFactory的内置缓存和Session的缓存在实现方式上比较相似，前者是SessionFactory对象的一些集合属性包含的数据，后者是指Session的一些集合属性包含的数据。SessionFactory的内置缓存中存放了映射元数据和预定义SQL语句，映射元数据是映射文件中数据的拷贝，而预定义SQL语句是在Hibernate初始化阶段根据映射元数据推导出来，SessionFactory的内置缓存是只读的，应用程序不能修改缓存中的映射元数据和预定义SQL语句，因此SessionFactory不需要进行内置缓存与映射文件的同步。SessionFactory的外置缓存是一个可配置的插件。在默认情况下，SessionFactory不会启用这个插件。外置缓存的数据是数据库数据的拷贝，外置缓存的介质可以是内存或者硬盘。SessionFactory的外置缓存也被称为Hibernate的第二级缓存。　　Hibernate的这两级缓存都位于持久化层，存放的都是数据库数据的拷贝，那么它们之间的区别是什么呢？为了理解二者的区别，需要深入理解持久化层的缓存的两个特性：缓存的范围和缓存的并发访问策略。持久化层的缓存的范围　　缓存的范围决定了缓存的生命周期以及可以被谁访问。缓存的范围分为三类。　　1 事务范围：缓存只能被当前事务访问。缓存的生命周期依赖于事务的生命周期，当事务结束时，缓存也就结束生命周期。在此范围下，缓存的介质是内存。事务可以是数据库事务或者应用事务，每个事务都有独自的缓存，缓存内的数据通常采用相互关联的的对象形式。　　2 进程范围：缓存被进程内的所有事务共享。这些事务有可能是并发访问缓存，因此必须对缓存采取必要的事务隔离机制。缓存的生命周期依赖于进程的生命周期，进程结束时，缓存也就结束了生命周期。进程范围的缓存可能会存放大量的数据，所以存放的介质可以是内存或硬盘。缓存内的数据既可以是相互关联的对象形式也可以是对象的松散数据形式。松散的对象数据形式有点类似于对象的序列化数据，但是对象分解为松散的算法比对象序列化的算法要求更快。　　3 集群范围：在集群环境中，缓存被一个机器或者多个机器的进程共享。缓存中的数据被复制到集群环境中的每个进程节点，进程间通过远程通信来保证缓存中的数据的一致性，缓存中的数据通常采用对象的松散数据形式。　　对大多数应用来说，应该慎重地考虑是否需要使用集群范围的缓存，因为访问的速度不一定会比直接访问数据库数据的速度快多少。　　持久化层可以提供多种范围的缓存。如果在事务范围的缓存中没有查到相应的数据，还可以到进程范围或集群范围的缓存内查询，如果还是没有查到，那么只有到数据库中查询。事务范围的缓存是持久化层的第一级缓存，通常它是必需的；进程范围或集群范围的缓存是持久化层的第二级缓存，通常是可选的。持久化层的缓存的并发访问策略　　当多个并发的事务同时访问持久化层的缓存的相同数据时，会引起并发问题，必须采用必要的事务隔离措施。　　在进程范围或集群范围的缓存，即第二级缓存，会出现并发问题。因此可以设定以下四种类型的并发访问策略，每一种策略对应一种事务隔离级别。　　事务型：仅仅在受管理环境中适用。它提供了Repeatable Read事务隔离级别。对于经常被读但很少修改的数据，可以采用这种隔离类型，因为它可以防止脏读和不可重复读这类的并发问题。　　读写型：提供了Read Committed事务隔离级别。仅仅在非集群的环境中适用。对于经常被读但很少修改的数据，可以采用这种隔离类型，因为它可以防止脏读这类的并发问题。　　非严格读写型：不保证缓存与数据库中数据的一致性。如果存在两个事务同时访问缓存中相同数据的可能，必须为该数据配置一个很短的数据过期时间，从而尽量避免脏读。对于极少被修改，并且允许偶尔脏读的数据，可以采用这种并发访问策略。　　只读型：对于从来不会修改的数据，如参考数据，可以使用这种并发访问策略。　　事务型并发访问策略是事务隔离级别最高，只读型的隔离级别最低。事务隔离级别越高，并发性能就越低。什么样的数据适合存放到第二级缓存中？1 很少被修改的数据2 不是很重要的数据，允许出现偶尔并发的数据3 不会被并发访问的数据4 参考数据不适合存放到第二级缓存的数据？1 经常被修改的数据2 财务数据，绝对不允许出现并发3 与其他应用共享的数据。Hibernate的二级缓存　　如前所述，Hibernate提供了两级缓存，第一级是Session的缓存。由于Session对象的生命周期通常对应一个数据库事务或者一个应用事务，因此它的缓存是事务范围的缓存。第一级缓存是必需的，不允许而且事实上也无法比卸除。在第一级缓存中，持久化类的每个实例都具有唯一的OID。　　第二级缓存是一个可插拔的的缓存插件，它是由SessionFactory负责管理。由于SessionFactory对象的生命周期和应用程序的整个过程对应，因此第二级缓存是进程范围或者集群范围的缓存。这个缓存中存放的对象的松散数据。第二级对象有可能出现并发问题，因此需要采用适当的并发访问策略，该策略为被缓存的数据提供了事务隔离级别。缓存适配器用于把具体的缓存实现软件与Hibernate集成。第二级缓存是可选的，可以在每个类或每个集合的粒度上配置第二级缓存。Hibernate的二级缓存策略的一般过程如下：1) 条件查询的时候，总是发出一条select * from table_name where …. （选择所有字段）这样的SQL语句查询数据库，一次获得所有的数据对象。2) 把获得的所有数据对象根据ID放入到第二级缓存中。3) 当Hibernate根据ID访问数据对象的时候，首先从Session一级缓存中查；查不到，如果配置了二级缓存，那么从二级缓存中查；查不到，再查询数据库，把结果按照ID放入到缓存。4) 删除、更新、增加数据的时候，同时更新缓存。　　Hibernate的二级缓存策略，是针对于ID查询的缓存策略，对于条件查询则毫无作用。为此，Hibernate提供了针对条件查询的Query缓存。Hibernate的Query缓存策略的过程如下：1) Hibernate首先根据这些信息组成一个Query Key，Query Key包括条件查询的请求一般信息：SQL, SQL需要的参数，记录范围（起始位置rowStart，最大记录个数maxRows)，等。2) Hibernate根据这个Query Key到Query缓存中查找对应的结果列表。如果存在，那么返回这个结果列表；如果不存在，查询数据库，获取结果列表，把整个结果列表根据Query Key放入到Query缓存中。3) Query Key中的SQL涉及到一些表名，如果这些表的任何数据发生修改、删除、增加等操作，这些相关的Query Key都要从缓存中清空。 1. 关于hibernate缓存的问题：1.1.1. 基本的缓存原理Hibernate缓存分为二级，第一级存放于session中称为一级缓存，默认带有且不能卸载。 第二级是由sessionFactory控制的进程级缓存。是全局共享的缓存，凡是会调用二级缓存的查询方法 都会从中受益。只有经正确的配置后二级缓存才会发挥作用。同时在进行条件查询时必须使用相应的方法才能从缓存中获取数据。比如Query.iterate()方法、load、get方法等。必须注意的是session.find方法永远是从数据库中获取数据，不会从二级缓存中获取数据，即便其中有其所需要的数据也是如此。 查询时使用缓存的实现过程为：首先查询一级缓存中是否具有需要的数据，如果没有，查询二级缓存，如果二级缓存中也没有，此时再执行查询数据库的工作。要注意的是：此3种方式的查询速度是依次降低的。1.2. 存在的问题1.2.1. 一级缓存的问题以及使用二级缓存的原因 因为Session的生命期往往很短，存在于Session内部的第一级最快缓存的生命期当然也很短，所以第一级缓存的命中率是很低的。其对系统性能的改善也是很有限的。当然，这个Session内部缓存的主要作用是保持Session内部数据状态同步。并非是hibernate为了大幅提高系统性能所提供的。为了提高使用hibernate的性能，除了常规的一些需要注意的方法比如：使用延迟加载、迫切外连接、查询过滤等以外，还需要配置hibernate的二级缓存。其对系统整体性能的改善往往具有立竿见影的效果！（经过自己以前作项目的经验，一般会有3~4倍的性能提高） 1.2.2. N+1次查询的问题执行条件查询时，iterate（）方法具有著名的 “n+1”次查询的问题，也就是说在第一次查询时iterate方法会执行满足条件的查询结果数再加一次（n+1）的查询。但是此问题只存在于第一次查询时，在后面执行相同查询时性能会得到极大的改善。此方法适合于查询数据量较大的业务数据。但是注意：当数据量特别大时（比如流水线数据等）需要针对此持久化对象配置其具体的缓存策略，比如设置其存在于缓存中的最大记录数、缓存存在的时间等参数，以避免系统将大量的数据同时装载入内存中引起内存资源的迅速耗尽，反而降低系统的性能！！！ 1.3. 使用hibernate二级缓存的其他注意事项：1.3.1. 关于数据的有效性另外，hibernate会自行维护二级缓存中的数据，以保证缓存中的数据和数据库中的真实数据的一致性！无论何时，当你调用save()、update()或 saveOrUpdate()方法传递一个对象时，或使用load()、 get()、list()、iterate() 或scroll()方法获得一个对象时, 该对象都将被加入到Session的内部缓存中。 当随后flush()方法被调用时，对象的状态会和数据库取得同步。 也就是说删除、更新、增加数据的时候，同时更新缓存。当然这也包括二级缓存！ 只要是调用hibernate API执行数据库相关的工作。hibernate都会为你自动保证 缓存数据的有效性！！ 但是，如果你使用了JDBC绕过hibernate直接执行对数据库的操作。此时，Hibernate不会/也不可能自行感知到数据库被进行的变化改动，也就不能再保证缓存中数据的有效性！！ 这也是所有的ORM产品共同具有的问题。幸运的是，Hibernate为我们暴露了Cache的清除方法，这给我们提供了一个手动保证数据有效性的机会！！一级缓存，二级缓存都有相应的清除方法。 其中二级缓存提供的清除方法为：按对象class清空缓存 按对象class和对象的主键id清空缓存 清空对象的集合中的缓存数据等。 1.3.2. 适合使用的情况并非所有的情况都适合于使用二级缓存，需要根据具体情况来决定。同时可以针对某一个持久化对象配置其具体的缓存策略。 适合于使用二级缓存的情况：1、数据不会被第三方修改； 一般情况下，会被hibernate以外修改的数据最好不要配置二级缓存，以免引起不一致的数据。但是如果此数据因为性能的原因需要被缓存，同时又有可能被第3方比如SQL修改，也可以为其配置二级缓存。只是此时需要在sql执行修改后手动调用cache的清除方法。以保证数据的一致性 2、数据大小在可接收范围之内； 如果数据表数据量特别巨大，此时不适合于二级缓存。原因是缓存的数据量过大可能会引起内存资源紧张，反而降低性能。 如果数据表数据量特别巨大，但是经常使用的往往只是较新的那部分数据。此时，也可为其配置二级缓存。但是必须单独配置其持久化类的缓存策略，比如最大缓存数、缓存过期时间等，将这些参数降低至一个合理的范围（太高会引起内存资源紧张，太低了缓存的意义不大）。 3、数据更新频率低； 对于数据更新频率过高的数据，频繁同步缓存中数据的代价可能和 查询缓存中的数据从中获得的好处相当，坏处益处相抵消。此时缓存的意义也不大。 4、非关键数据（不是财务数据等） 财务数据等是非常重要的数据，绝对不允许出现或使用无效的数据，所以此时为了安全起见最好不要使用二级缓存。 因为此时 “正确性”的重要性远远大于 “高性能”的重要性。 2. 目前系统中使用hibernate缓存的建议1.4. 目前情况 一般系统中有三种情况会绕开hibernate执行数据库操作：1、多个应用系统同时访问一个数据库 此种情况使用hibernate二级缓存会不可避免的造成数据不一致的问题， 此时要进行详细的设计。比如在设计上避免对同一数据表的同时的写入操作， 使用数据库各种级别的锁定机制等。 2、动态表相关 所谓“动态表”是指在系统运行时根据用户的操作系统自动建立的数据表。 比如“自定义表单”等属于用户自定义扩展开发性质的功能模块，因为此时数据表是运行时建立的，所以不能进行hibernate的映射。因此对它的操作只能是绕开hibernate的直接数据库JDBC操作。 如果此时动态表中的数据没有设计缓存，就不存在数据不一致的问题。 如果此时自行设计了缓存机制，则调用自己的缓存同步方法即可。3、使用sql对hibernate持久化对象表进行批量删除时 此时执行批量删除后，缓存中会存在已被删除的数据。分析： 当执行了第3条（sql批量删除）后，后续的查询只可能是以下三种方式：a. session.find（）方法：根据前面的总结，find方法不会查询二级缓存的数据，而是直接查询数据库。所以不存在数据有效性的问题。b. 调用iterate方法执行条件查询时：根据iterate查询方法的执行方式，其每次都会到数据库中查询满足条件的id值，然后再根据此id 到缓存中获取数据，当缓存中没有此id的数据才会执行数据库查询；如果此记录已被sql直接删除，则iterate在执行id查询时不会将此id查询出来。所以，即便缓存中有此条记录也不会被客户获得，也就不存在不一致的情况。（此情况经过测试验证） c. 用get或load方法按id执行查询： 客观上此时会查询得到已过期的数据。但是又因为系统中执行sql批量删除一般是针对中间关联数据表，对于中间关联表的查询一般都是采用条件查询 ,按id来查询某一条关联关系的几率很低,所以此问题也不存在! 如果某个值对象确实需要按id查询一条关联关系,同时又因为数据量大使用 了sql执行批量删除。当满足此两个条件时,为了保证按id 的查询得到正确的结果,可以使用手动清楚二级缓存中此对象的数据的方法!!(此种情况出现的可能性较小) 1.5. 建议1、建议不要使用sql直接执行数据持久化对象的数据的更新，但是可以执行 批量删除。（系统中需要批量更新的地方也较少） 2、如果必须使用sql执行数据的更新，必须清空此对象的缓存数据。调用SessionFactory.evict(class)SessionFactory.evict(class,id)等方法。 3、在批量删除数据量不大的时候可以直接采用hibernate的批量删除，这样就不存在绕开hibernate执行sql产生的缓存数据一致性的问题。 4、不推荐采用hibernate的批量删除方法来删除大批量的记录数据。原因是hibernate的批量删除会执行1条查询语句外加 满足条件的n条删除语句。而不是一次执行一条条件删除语句！！当待删除的数据很多时会有很大的性能瓶颈！！！如果批量删除数据量较大,比如超过50条,可以采用JDBC直接删除。这样作的好处是只执行一条sql删除语句,性能会有很大的改善。同时，缓存数据同步的问题,可以采用 hibernate清除二级缓存中的相关数据的方法。调用 SessionFactory.evict(class) ；SessionFactory.evict(class,id)等方法。 所以说，对于一般的应用系统开发而言（不涉及到集群，分布式数据同步问题等），因为只在中间关联表执行批量删除时调用了sql执行，同时中间关联表一般是执行条件查询不太可能执行按id查询。所以，此时可以直接执行sql删除，甚至不需要调用缓存的清除方法。这样做不会导致以后配置了二级缓存引起数据有效性的问题。 退一步说，即使以后真的调用了按id查询中间表对象的方法，也可以通过调用清除缓存的方法来解决。 4、具体的配置方法根据我了解的很多hibernate的使用者在调用其相应方法时都迷信的相信“hibernate会自行为我们处理性能的问题”，或者“hibernate会自动为我们的所有操作调用缓存”,实际的情况是hibernate虽然为我们提供了很好的缓存机制和扩展缓存框架的支持，但是必须经过正确的调用其才有可能发挥作用！！所以造成很多使用hibernate的系统的性能问题，实际上并不是hibernate不行或者不好，而是因为使用者没有正确的了解其使用方法造成的。相反，如果配置得当hibernate的性能表现会让你有相当“惊喜的”发现。下面我讲解具体的配置方法. ibernate提供了二级缓存的接口：net.sf.hibernate.cache.Provider,同时提供了一个默认的 实现net.sf.hibernate.cache.HashtableCacheProvider，也可以配置 其他的实现 比如ehcache,jbosscache等。具体的配置位置位于hibernate.cfg.xml文件中truenet.sf.hibernate.cache.HashtableCacheProvider很多的hibernate使用者在 配置到 这一步 就以为 完事了，注意：其实光这样配，根本 就没有使用hibernate的二级缓存。同时因为他们在使用hibernate时大多时候是马上关闭session，所以，一级缓存也没有起到任何作用。结果就是没有使用任何缓存，所有的hibernate操作都是直接操作的数据库！！性能可以想见。正确的办法是除了以上的配置外还应该配置每一个vo对象的具体缓存策略，在影射文件中配置。例如：关键就是这个，其有几个选择read-only,read-write,transactional,等然后在执行查询时 注意了 ，如果是条件查询，或者返回所有结果的查询，此时session.find()方法 不会获取缓存中的数据。只有调用query.iterate()方法时才会调缓存的数据。同时 get 和 load方法 是都会查询缓存中的数据 .对于不同的缓存框架具体的配置方法会有不同，但是大体是以上的配置（另外，对于支持事务型，以及支持集群的环境的配置我会争取在后续的文章中中 发表出来） 3. 总结总之是根据不同的业务情况和项目情况对hibernate进行有效的配置和正确的使用，扬长避短。不存在适合于任何情况的一个“万能”的方案。以上结论及建议均建立在自己在对 Hibernate 2.1.2中的测试结果以及以前的项目经验的基础上。如有谬处，请打家提出指正:)!最后，祝大家 新年快乐！！在新的一年里 取得人生的进步！！！ (另，如有转贴请注明原文链接，谢谢：）) Trackback: http://tb.blog.csdn.net/TrackBack.aspx?PostId=586361