word2vec词向量模型裁剪简单demo

最新推荐文章于 2024-03-27 11:45:41 发布

风迷失的方向

最新推荐文章于 2024-03-27 11:45:41 发布

阅读量1.3k

点赞数

分类专栏： NLP

本文链接：https://blog.csdn.net/zhoujialin/article/details/47656931

版权

该代码段展示了如何加载word2vec模型，并对模型进行过滤，移除特定条件的词汇，如纯数字、长度过短或过长的单词，以及仅包含小写字母的单词。最终保存过滤后的模型。

摘要由CSDN通过智能技术生成

package com.alg.qid.segword;

import java.io.BufferedInputStream;
import java.io.BufferedOutputStream;
import java.io.BufferedReader;
import java.io.DataInputStream;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.io.OutputStreamWriter;
import java.io.PrintWriter;
import java.io.UnsupportedEncodingException;
import java.util.Collections;
import java.util.HashMap;
import java.util.Map;
import java.util.Map.Entry;
import java.util.logging.Logger;
import java.util.Set;

import com.alg.qid.word2vec.VectorModel;
import com.alg.qid.word2vec.WordNeuron;

public class Word2vecModelFilter {
	private static Logger logger = Logger.getLogger("Word2Vec");
	public static void main(String[] args) throws IOException {
		if (args.length < 1) {
			System.out.println("APPNa