coreseek分词

coreseek中mmseg词库的导入方法

coreseek使用mmseg作为分词工具，默认的词库是有限的，我们需要为mmseg增加自定义词，用来丰富词库，实现更加精准的搜索服务。本文介绍如何自定义mmseg词，并通过脚本和mmseg命令导入词库。

准备一个词库

在导入之前，先准备好一个txt的词库文件，在这个文件中每个词占一行，保存为utf8编码格式，例如如下a.txt词库：

阿宝
阿爆
阿本
阿才
阿弟
阿弟仔
阿杜
阿朵

你也可以下载搜狗细胞词库，通过深蓝词库转换器转成以上的格式。

搜狗细胞词库下载地址：http://pinyin.sogou.com/dict/
深蓝词库转换器下载地址：imewlconverter_1_3_1

把搜狗细胞词库通过这个软件导出为txt文件，并且要把它转成utf8格式，默认是ANSI编码。

转成mmseg格式

写脚本，将以上txt的词库转换成mmseg格式的txt。

/*
* 把txt词库转换成mmseg词库
* 注意源文件必须是utf8编码
*/

$sourcefile = null;
$targetfile = null;

$options = getopt("s:o:");
if (!isset($options['s'])) {
    $sourcefile = "words.txt";
} else {
    $sourcefile = $options['s'];
}

if (!isset($options['o'])) {
    $targetfile = "mmseg-dict.txt";
} else {
    $targetfile = $options['o'];
}

convert_file($sourcefile, $targetfile);

function convert_file($sourcefile, $targetfile) {
    $rhandle = fopen($sourcefile, "r");
    $whandle = fopen($targetfile, "w");

    if ($rhandle) {
        while (($buffer = fgets($rhandle, 4096)) !== false) {
            $line = trim($buffer, "\r\n\t ");
            fwrite($whandle, "$line\t1\r\nx:1\r\n");
        }
        if (!feof($rhandle)) {
            echo "Error: unexpected fgets() fail\n";
        }
        fclose($rhandle);
        fclose($whandle);
    }
}

执行以上php脚本：

php words2mmseg.php -s a.txt -o b.txt

导出b.txt文件，它是mmseg词库要求的词式。

阿宝  1
x:1
阿爆  1
x:1
阿本  1
x:1
阿才  1
x:1
阿弟  1
x:1
阿弟仔 1
x:1
阿杜  1
x:1
阿朵  1
x:1

导入操作命令

通过如下命令，将txt文件转成mmseg运行所需的lib词典：

cd /usr/local/mmseg3/etc/
cp unigram.txt unigram.txt.bk
cp uni.lib uni.lib.bk
cat b.txt >> unigram.txt
/usr/local/mmseg3/bin/mmseg -u /usr/local/mmseg3/etc/unigram.txt
mv unigram.txt.uni uni.lib

导入完成后，通过如下命令检验导入效果：

echo "阿弟仔" > whatever.txt
/usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc/ whatever.txt