多个文件合并,去除文件中的冗余信息


//将某一目录下的多个文件合并,并去除文件行中重复信息
package test;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.PrintStream;
import java.util.HashSet;
import java.util.Set;

public class ReadFileToNewFile {

	public void readAndWrite() throws IOException 
	
	{
		//利用Set去除冗余信息
		Set<String> setString = new HashSet<String>();

		String dirPath ="D:\\s\\";
		File file = new File(dirPath);
		File[] listfile = file.listFiles();
		for(int i =0 ;i<listfile.length;i++)
		{
			File f = new File(dirPath+listfile[i].getName());
			FileInputStream fis = new FileInputStream(f);
			InputStreamReader isr = new InputStreamReader(fis);
			BufferedReader br = new BufferedReader(isr);
			String str= null;
			

			
			while((str=br.readLine())!=null)
			{
				setString.add(str);
				
			}
			isr.close();
			
		}
		File f3 = new File("src/count.txt");
		FileOutputStream fos = new FileOutputStream(f3,true);
		OutputStreamWriter osw = new OutputStreamWriter(fos);
		BufferedWriter bw = new BufferedWriter(osw);
		PrintStream ps = new PrintStream(fos);
		for(String str:setString)
		{
			ps.println(str);
		}
	}
	public static void main(String[] args) {
		// TODO Auto-generated method stub
   ReadFileToNewFile readFileToNewFile = new ReadFileToNewFile();
   try {
	readFileToNewFile.readAndWrite();
} catch (IOException e) {
	// TODO Auto-generated catch block
	e.printStackTrace();
}

	}

}


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值