自己有一个多线程并发的问题一直没能很好地解决,需求是:
对一批数据逐一的进行处理,而在单线程执行过程时效率太低,每5-10分钟才能处理一条数据,这期间大部分时间耗在了等待服务器响应请求上,于是乎想到了使用多线程并发处理,这样的话如果开30个线程,那么10分钟至少能处理30条数据,效率大大的提高。
在没有使用java 线程池的情况下我是这么做的
-------------------------------多线程并发实现---------------------------------
package threadPool;
public class Task extends Thread{
public int num = 0;//每个线程处理数据的个数
public void setNum(int num){
this.num = num;
}
public void process(){}
public void run(){
for(int i=0; i<num; i++ ){
process();
}
}
public static void main(String args[]){
int threadNum = 30;
int taskNum = 300;//需要处理任务的数量
for(int i =0; i<30; i++){
Task task = new Task();
task.setNum(taskNum/threadNum);
task.start();
}
}
}
这样实现会出现一个问题,就是在运行后期会出现某个线程已经把分配的任务处理完,而某些线程可能还有多个未处理完,而此时线程数量是小于最初设定好30个线程的。影响后面执行的效率。
当学习了java线程池后,豁然开朗,这个问题也迎刃而解:
先了解下java线程池的几个重要的类和接口:
1、ExecutorService:java线程池的接口,它实现了Executor接口。
2、ThreadPoolExecutor:ExecutorService接口的实现类。
3、Executors:获取线程的工厂类,其中定义了许多获取ThreadPoolExecutor对象的方法。
Executors工厂方法可获取的对象:
1、newSingleThreadExecutor:创建一个单线程的线程池。这个线程池只有一个线程在工作,也就是相当于单线程串行执行所有任务。如果这个唯一的线程因为异常结束,那么会有一个新的线程来替代它。此线程池保证所有任务的执行顺序按照任务的提交顺序执行。
2、newFixedThreadPool:创建固定大小的线程池。每次提交一个任务就创建一个线程,直到线程达到线程池的最大大小。线程池的大小一旦达到最大值就会保持不变,如果某个线程因为执行异常而结束,那么线程池会补充一个新线程。
3、newCachedThreadPool:创建一个可缓存的线程池。如果线程池的大小超过了处理任务所需要的线程,那么就会回收部分空闲(60秒不执行任务)的线程,当任务数增加时,此线程池又可以智能的添加新线程来处理任务。此线程池不会对线程池大小做限制,线程池大小完全依赖于操作系统(或者说JVM)能够创建的最大线程大小。
4、newScheduledThreadPool:创建一个大小无限的线程池。此线程池支持定时以及周期性执行任务的需求。
5、newSingleThreadExecutor:创建一个单线程的线程池。此线程池支持定时以及周期性执行任务的需求。
使用Executors.newFixedThreadPool(threadNum)方法可以实现对一批数据的多线程处理,同时可以合理的分配任务。假如处理300条数据,则当某一个线程处理完成后,即可自动的从未处理的数据里面拿出一条数据进行处理,无需对每一个线程进行任务分配。
----------------------------------下面是java线程池实现--------------------------
class TaskThreadPool extends Thread{
public void process(){}
public void run(){
process();
}
public static void main(String args[]){
int threadNum = 30;
ExecutorService pool = Executors.newFixedThreadPool(threadNum);
int taskNum = 300;//需要处理任务的数量
for(int i =0; i<300; i++){
Task task = new Task();
pool.execute(task);
}
}
}