Android切词工具——BreakIterator（1）

最新推荐文章于 2021-06-14 16:00:14 发布

00甘道夫00

最新推荐文章于 2021-06-14 16:00:14 发布

阅读量2k

点赞数

文章标签： android 中文切词切词 icu

本文链接：https://blog.csdn.net/zhanglianyu00/article/details/73274780

版权

本文介绍一下Android官方提供的切词工具BreakIterator。

1.关于切词

切词是一个常见的需求，对于中文更为重要，因为类似英文一样的以单词为中心的语言，以空格和标点符号为天然分隔符。但中文不一样，想要理解中文的准确含义，准确地切分词是第一步。例如，搜索的时候，如果输入是“看视频”，用户的意图显然是搜索视频，如果按照整句匹配，显然会欠召回。理想的情况应该是将“看视频”切成“看”和“视频”，并且识别出中心意图词是“视频”，进而主要搜索视频。当然，切词的准确性就很重要了，是一切的基础——如果切成“看视”和“频”，或者“看”“视”“频”，就适得其反了。

2.BreakIterator是个什么玩意？

Android官方SDK已经给出了切词工具BreakIterator，支持中文切词。目前Android SDK中同时存在两个BreakIterator：
java.text.BreakIterator
https://developer.android.com/reference/java/text/BreakIterator.html
android.icu.text.BreakIterator
https://developer.android.com/reference/android/icu/text/BreakIterator.html
前者API level 1，“根红苗正”。后者API level 24，从Android 7.0引入。其实二者同源。
二者用法基本相同，以前者为例，切一个句子，用法很简单友好：

 public static void main(String args[]) {
      if (args.length == 1) {
          String stringToExamine = args[0];
          //print each word in order
          BreakIterator boundary = BreakIterator.getWordInstance();
          boundary.setText(stringToExamine);
          printEachForward(boundary, stringToExamine);
      }
 }

     public static void printEachForward(BreakIterator boundary, String source) {
         int start = boundary.first();
         for (int end = boundary.next();
              end != BreakIterator.DONE;
              start = en