提取出某日访问百度次数最多的那个IP（Java实现）

思路参考july博客http://blog.csdn.net/v_july_v/article/details/7382693

1、海量日志数据，提取出某日访问百度次数最多的那个IP。

因为内存容量有限。所以需对大的文件进行切割。在分割文件时应使相同的IP保存到同一个文件中。可以采用取模操作。

注意：相同的IP必须存储到相同的文件中

因为每个IP（相当于字符串）对应了一个hashcode，相同的IP的hashcode肯定相同，通过hashcode对某个数取模，比如100.，这样原文件分割成100个文件。

根据取模的结果存储到相应的文件中。相同的IP会存储到同一个文件中。分割后的文件大小大约为原来的1/n(若对n取模），若对100取模大约为原文件的1/100。如果分割

后的文件中可能有部分文件内存中还装载（load）不下，可以对该文件继续分割直至内存可以装下为止。（比如对该文件继续对2求模）

对于分割后的文件，求每个文件上出现次数最多的IP。此时可以用hashmap存储每个IP出现的次数。key存储为IP字符串，value为该字符串出现的次数。每访问文件中的一条记录（IP），若该IP在hashmap中已存在，相应的value增加1。否则向hashmap中插入（put）一条新的记录。

统计该hashmap上拥有最大value的项

最后比较所有文件上访问最多的IP便求出了访问次数最多的IP

import java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.Random;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.PrintWriter;
import java.io.BufferedReader;
import java.io.FileReader;
import java.util.HashMap;
public class MassiveIP {
	//generate the massive numbers of IPs
	public void generateIP(String fileName){
		PrintWriter out =null;
		try {
			
			out=new PrintWriter(fileName);
			String s;
			Random r=new Random();
			
			for(int i=0;i<100000000;i++){
				s="159.227.";
				s+=r.nextInt(256)+"."+r.nextInt(256);
				out.println(s);
			}
				
			
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		finally{
			if (out != null)
				out.close( );
		}
		
	}
	//split the file to make it fit into the memory
	public void FileSplit(String fileName){
		BufferedReader reader = null;
		try {
			reader = new BufferedReader(new FileReader (fileName));
		} catch (FileNotFoundException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		PrintWriter[] out=new PrintWriter[100];
		for(int i=0;i<100;i++)
			try {
				//specify split file name
				out[i]=new PrintWriter(fileName+i);
			} catch (FileNotFoundException e) {
				// TODO Auto-generated catch block
				e.printStackTrace();
			}
	    String IP = null;
	    try {
			while((IP =reader.readLine())!= null ) {
				IP=reader.readLine();
				int fileNum=IP.hashCode()%100;
				fileNum=(fileNum>=0?fileNum:fileNum+100);
			//	System.out.println(fileNum);
				out[fileNum].println(IP);
				
	    	}
			for(int i=0;i<100;i++)
				out[i].close();
			   
			//}
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		try {
			reader.close();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		
		
	}
	//find IP with the largest number of occurrence
	public Map.Entry<String,Integer>  statitics(String fileName){
		BufferedReader reader = null;
		try {
			reader = new BufferedReader(new FileReader (fileName));
		} catch (FileNotFoundException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		HashMap<String,Integer> map=new HashMap<String,Integer>();
		String IP = null;
		try {
			while((IP =reader.readLine())!= null){
				//to judge whether the IP is already
				//existed in the HashMap
				if(map.containsKey(IP)){
					map.put(IP, map.get(IP)+1);
				}
				else
					map.put(IP,1);
			}
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		//Entry in HashMap with the maximum value 
		//which means the IP with the largest occurrence
		Map.Entry<String,Integer>  maxEntry=null;
		for (Map.Entry<String,Integer> entry : map.entrySet()){
		    if (maxEntry == null || entry.getValue()>maxEntry.getValue()) {
		        maxEntry = entry;
		    }
		}
		try {
			reader.close();
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		return maxEntry;
	}
	public static void main(String[] args){
		MassiveIP m=new MassiveIP();
		String FileName="D://Data//test.txt";
		m.generateIP(FileName);
		m.FileSplit(FileName);
		List<Map.Entry<String,Integer>>l
			=new ArrayList<Map.Entry<String,Integer>>();
		for(int i=0;i<100;i++)
			l.add(m.statitics(FileName+i));
		Map.Entry<String,Integer>maxEntry=l.get(0);
		for(int j=1;j<100;j++){
			if(l.get(j).getValue()>maxEntry.getValue())
				maxEntry=l.get(j);
		}
		System.out.println(maxEntry.getKey());
		System.out.println(maxEntry.getValue());
		
	}

}