Lucene.net 搜索引擎技术(Analysis包/token详解)

在一个朋友的介绍下开始接触lucene，在网上看了大量的资料，觉得搜索引擎的门槛太高，几乎放弃了对他的了解和学习。对于中文的搜索关键是如何创建中文分词！
由于Lucene.Net.Analysis.Cn支持中文分词，我们做一个简单的token事例。
using System;
using System.Collections;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Web;
using System.Web.SessionState;
using System.Web.UI;
using System.Web.UI.WebControls;
using System.Web.UI.HtmlControls;
using Lucene;
using Lucene.Net;
using Lucene.Net.Analysis;
using Lucene.Net.Analysis.Cn;

namespace websearch
{
 /// <summary>
 /// Cn_token 的摘要说明。
 /// </summary>
 public class Cn_token : System.Web.UI.Page
 {
  private void Page_Load(object sender, System.EventArgs e)
  {
   // 在此处放置用户代码以初始化页面
   String text ="我爱天大,但我更爱中国";
   ChineseAnalyzer analyzer = new ChineseAnalyzer();
   TokenStream ts = analyzer.TokenStream("dummy",new System.IO.StringReader(text));
   Lucene.Net.Analysis.Token token;
   try
   {
    int n=0;
    while ( (token = ts.Next()) != null)
    {
     Response.Write((n++)+"->"+token.TermText()+ " " + token.StartOffset() + " "
      + token.EndOffset() + " "+token.Type()+"<br>");
    }
   }
   catch
   {
    Response.Write("wrong");
   }
  }

  #region Web 窗体设计器生成的代码
  override protected void OnInit(EventArgs e)
  {
   //
   // CODEGEN: 该调用是 ASP.NET Web 窗体设计器所必需的。
   //
   InitializeComponent();
   base.OnInit(e);
  }
  
  /// <summary>
  /// 设计器支持所需的方法 - 不要使用代码编辑器修改
  /// 此方法的内容。
  /// </summary>
  private void InitializeComponent()
  {   
   this.Load += new System.EventHandler(this.Page_Load);
  }
  #endregion
 }
}

运行一下结果显示
0->我 0 1 word
1->爱 1 2 word
2->天 2 3 word
3->大 3 4 word
4->但 5 6 word
5->我 6 7 word
6->更 7 8 word
7->爱 8 9 word
8->中 9 10 word
9->国 10 11 word

其中逗号被自动过滤掉了

到此为止这个简单的但是功能强大的分词器就写完了,下面咱们可以尝试写一个功能更强大的分词器.

如何DIY一个功能更加强大Analyzer

譬如你有词典,然后你根据正向最大匹配法或者逆向最大匹配法写了一个分词方法,却想在Lucene中应用,很简单

你只要把他们包装成Lucene的TokenStream就好了.