htmlparser解析html时的编码问题

htmlparser是个解析html文件的一个很不错的库。它能够过滤几乎所有的html元素，而只提供给我们纯文本。但是要用它来解析html，需要好好的搞一个搞编码问题。

htmlparser的默认编码类型是iso,所以我们要根据文件内容的不同来手动设置一个所需要的编码。

 

Parser myParser = new Parser(file.getAbsolutePath());
myParser.setEncoding("unicode");

通常html里都会有这样一句话<meta http-equiv='Content-Type' content='text/html;charset= gbk' />

用来表示该html的编码类型是什么，但当我们用普通方法来解析这个文件时

 public void get(String path){
        File f = new File(path);
        try {
            InputStreamReader isr = new FileReader(f);
            System.out.println(isr.getEncoding());
            char[] c = new char[128];
            while(isr.read(c)>0){
                String str = String.valueOf(c);
               // System.out.println(new String(str.getBytes(),"utf-8"));
            }
            InputStream is = new FileInputStream(f);
            byte[] b = new byte[1024];
            while(is.read(b)>0){
                //String.
                String str = new String(b,"unicode");
                System.out.println(str);
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
}

 这句话没有意义，无论这句话所申明的编码类型是什么，我们要想解析这个文件，仍然只能用这个文件的编码类型来解析。

但当我们用到htmlparser时，这句话就有意义了。

Parser myParser;
        try {
            myParser = new Parser(path);
            System.out.println(myParser.getEncoding());
            myParser.setEncoding("unicode");
            HtmlPage htmlpage = new HtmlPage(myParser);
            System.out.println(myParser.getEncoding());
            myParser.visitAllNodesWith(htmlpage);
            // 通过htmlparser 获取body内容
            String body = htmlpage.getBody().toHtml();
            System.out.println(body);

        } catch (ParserException e) {
            e.printStackTrace();
        }

  这个代码运行时会报一个错org.htmlparser.util.EncodingChangeException: character mismatch (new: ? [0xfe] != old:  [0x20 ]) for encoding change from unicode to gbk at character offset 0

也就是说，htmlparser在解析html时，既要用到文件的编码，也要用到<meta http-equiv='Content-Type' content='text/html;charset= gbk' />这句中的编码类型，而且它们必须一致。

当然，如果把<meta http-equiv='Content-Type' content='text/html;charset= gbk' />这句删掉，那就没有任何问题了，但为了规范化

我们仍要加上这句，并强制这句中所写的编码类型和该html文件的编码类型一致。