仿牛客社区——3.1过滤敏感词

最新推荐文章于 2024-08-30 18:40:43 发布
最新推荐文章于 2024-08-30 18:40:43 发布
阅读量202 收藏 1
点赞数 1
分类专栏： 项目 文章标签： java spring boot 算法 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zssxcj/article/details/130176630
版权
该文章介绍了一种使用Java实现的敏感词过滤方法，利用Trie树数据结构来构建前缀树，读取敏感词文件进行初始化，然后通过遍历文本，查找并替换敏感词。在处理过程中，还能识别特殊字符避免误过滤。
摘要由CSDN通过智能技术生成

目录

使用前缀树算法进行敏感词过滤

定义前缀树数据结构

创建并初始化前缀树

敏感词文件

将敏感词添加到前缀树中

过滤敏感词

完整代码

测试算法

运行结果

使用前缀树算法进行敏感词过滤

前缀树特点：

1.根节点为空

2.除了根节点以外的每一个节点只包含一个字符

3.从根节点到某一个节点的路径上连接起来就是当前所对应的字符串

4.每个结点包含的字符不同，如果相同则要合并

定义前缀树数据结构

//定义前缀树数据结构
	private class TireNode{
		//定义关键词的结束标识：true--->是；false--->不是
		private boolean isKeywordEnd=false;

		//定义子节点：key--->子结点的值；value：表示当前子节点类型
		private Map<Character,TireNode> subNodes=new HashMap<>();

		public boolean isKeywordEnd() {
			return isKeywordEnd;
		}

		public void setKeywordEnd(boolean keywordEnd) {
			isKeywordEnd = keywordEnd;
		}
		//添加子节点
		public void addSubNode(Character c,TireNode node){
			subNodes.put(c,node);
		}

		//获取子节点
		public TireNode getSubNode(Character c){
			return subNodes.get(c);
		}
	}

创建并初始化前缀树

//创建前缀树
	private TireNode rootNode=new TireNode();

	//初始化前缀树
	@PostConstruct //当类初始化调用构造参数时调用此方法
	public void init(){
		//获取敏感词字符
		try(
				InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive.txt");
				BufferedReader reader=new BufferedReader(new InputStreamReader(is));//用缓冲流读取文件（先将字节流转换成字符流
				){
			//通过reader读取敏感词
			String keyword;
			while((keyword=reader.readLine())!=null){
				//将敏感词加入前缀树中
				this.addKeyword(keyword);
			}
		}catch (IOException e){
			logger.error("获取敏感词失败："+e.getMessage());
		}

	}

敏感词文件

将敏感词添加到前缀树中

//将敏感词添加到前缀树中
	private void addKeyword(String keyword){
		//定义指针指向当前前缀树节点
		TireNode tempNode=rootNode;
		for(int i=0;i<keyword.length();i++){
			char c=keyword.charAt(i);
			TireNode subNode=tempNode.getSubNode(c);//判断当敏感词是否在前缀树中
			if(subNode==null){//当前敏感词不在前缀树中
				subNode=new TireNode();//初始化子节点
				tempNode.addSubNode(c,subNode);//挂载子节点
			}
			tempNode=subNode;//指针移动到子节点，进入下一级循环
			if(i==keyword.length()-1){
				//声明敏感词结束标识
				tempNode.setKeywordEnd(true);
			}

		}
	}

过滤敏感词

/**
	 * 过滤敏感词
	 * @param text 待过滤的文本
	 * @return  过滤后的文本
	 */
	public String filter(String text){
		if(StringUtils.isBlank(text)){
			return null;
		}
		//定义三个指针
		//指针1：指向rootNode
		TireNode tempNode=rootNode;
		//指针2：敏感词起始位置
		int begin=0;
		//指针3：敏感词终止位置
		int position=0;
		//定义过滤后的文本
		StringBuilder sb=new StringBuilder();
		while(position<text.length()){
			char c=text.charAt(position);
			//判断是否要跳过特殊字符
			if(isSymbol(c)){//是特殊字符
				//首先判断特殊字符出现的位置，如果特殊字符出现在敏感字前的话不进行过滤
				//若特殊字符出现在敏感词中间的话，要进行过滤

				if(tempNode==rootNode){//特殊字符出现在敏感字前,话不进行过滤
					sb.append(c);
					begin++;
				}

				position++; //若特殊字符出现在敏感词中间的话，要进行过滤
				continue;//继续获取下一个字符

			}
			tempNode=tempNode.getSubNode(c);
			if(tempNode==null){//不是敏感词
				sb.append(text.charAt(begin));
				position=++begin;
				tempNode=rootNode;//重新回到根节点
			}else if(tempNode.isKeywordEnd()){ //是敏感词并且在结尾
				//将begin~position位置的字符替换为***
				sb.append(REPLACEMENT);
				begin=++position;
				tempNode=rootNode;//重新回到根节点
			}else{
				position++;  //是敏感词但不是结尾：begin不移动，position继续后移
			}
		}
		//将末尾不是敏感词的文本也加入到sb中
		sb.append(text.substring(begin));
		return sb.toString();
	}
	//判断是否是特殊字符
	private boolean isSymbol(Character c){
		// 0x2E80~0x9FFF 是东亚文字范围
		return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
	}

完整代码

package com.light.community.util;

import org.apache.commons.lang3.CharUtils;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.Map;

/**
 * @author light
 * @Description
 * 前缀树特点：
 *
 * 1.根节点为空
 *
 * 2.除了根节点以外的每一个节点只包含一个字符
 *
 * 3.从根节点到某一个节点的路径上连接起来就是当前所对应的字符串
 *
 * 4.每个结点包含的字符不同，如果相同则要合并
 *
 * @create 2023-04-15 22:52
 */

@Component
public class SensitiveFilter {

	private static final Logger logger= LoggerFactory.getLogger(SensitiveFilter.class);

	//替换符
	private static final String  REPLACEMENT="***";

	//定义前缀树数据结构
	private class TireNode{
		//定义关键词的结束标识：true--->是；false--->不是
		private boolean isKeywordEnd=false;

		//定义子节点：key--->子结点的值；value：表示当前子节点类型
		private Map<Character,TireNode> subNodes=new HashMap<>();

		public boolean isKeywordEnd() {
			return isKeywordEnd;
		}

		public void setKeywordEnd(boolean keywordEnd) {
			isKeywordEnd = keywordEnd;
		}
		//添加子节点
		public void addSubNode(Character c,TireNode node){
			subNodes.put(c,node);
		}

		//获取子节点
		public TireNode getSubNode(Character c){
			return subNodes.get(c);
		}
	}

	//创建前缀树
	private TireNode rootNode=new TireNode();

	//初始化前缀树
	@PostConstruct //当类初始化调用构造参数时调用此方法
	public void init(){
		//获取敏感词字符
		try(
				InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive.txt");
				BufferedReader reader=new BufferedReader(new InputStreamReader(is));//用缓冲流读取文件（先将字节流转换成字符流
				){
			//通过reader读取敏感词
			String keyword;
			while((keyword=reader.readLine())!=null){
				//将敏感词加入前缀树中
				this.addKeyword(keyword);
			}
		}catch (IOException e){
			logger.error("获取敏感词失败："+e.getMessage());
		}

	}

	//将敏感词添加到前缀树中
	private void addKeyword(String keyword){
		//定义指针指向当前前缀树节点
		TireNode tempNode=rootNode;
		for(int i=0;i<keyword.length();i++){
			char c=keyword.charAt(i);
			TireNode subNode=tempNode.getSubNode(c);//判断当敏感词是否在前缀树中
			if(subNode==null){//当前敏感词不在前缀树中
				subNode=new TireNode();//初始化子节点
				tempNode.addSubNode(c,subNode);//挂载子节点
			}
			tempNode=subNode;//指针移动到子节点，进入下一级循环
			if(i==keyword.length()-1){
				//声明敏感词结束标识
				tempNode.setKeywordEnd(true);
			}

		}
	}

	/**
	 * 过滤敏感词
	 * @param text 待过滤的文本
	 * @return  过滤后的文本
	 */
	public String filter(String text){
		if(StringUtils.isBlank(text)){
			return null;
		}
		//定义三个指针
		//指针1：指向rootNode
		TireNode tempNode=rootNode;
		//指针2：敏感词起始位置
		int begin=0;
		//指针3：敏感词终止位置
		int position=0;
		//定义过滤后的文本
		StringBuilder sb=new StringBuilder();
		while(position<text.length()){
			char c=text.charAt(position);
			//判断是否要跳过特殊字符
			if(isSymbol(c)){//是特殊字符
				//首先判断特殊字符出现的位置，如果特殊字符出现在敏感字前的话不进行过滤
				//若特殊字符出现在敏感词中间的话，要进行过滤

				if(tempNode==rootNode){//特殊字符出现在敏感字前,话不进行过滤
					sb.append(c);
					begin++;
				}

				position++; //若特殊字符出现在敏感词中间的话，要进行过滤
				continue;//继续获取下一个字符

			}
			tempNode=tempNode.getSubNode(c);
			if(tempNode==null){//不是敏感词
				sb.append(text.charAt(begin));
				position=++begin;
				tempNode=rootNode;//重新回到根节点
			}else if(tempNode.isKeywordEnd()){ //是敏感词并且在结尾
				//将begin~position位置的字符替换为***
				sb.append(REPLACEMENT);
				begin=++position;
				tempNode=rootNode;//重新回到根节点
			}else{
				position++;  //是敏感词但不是结尾：begin不移动，position继续后移
			}
		}
		//将末尾不是敏感词的文本也加入到sb中
		sb.append(text.substring(begin));
		return sb.toString();
	}
	//判断是否是特殊字符
	private boolean isSymbol(Character c){
		// 0x2E80~0x9FFF 是东亚文字范围
		return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
	}


}

测试算法

package com.light.community;

import com.light.community.util.SensitiveFilter;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.ContextConfiguration;
import org.springframework.test.context.junit4.SpringRunner;

/**
 * @author light
 * @Description
 * @create 2023-04-16 12:12
 */
@RunWith(SpringRunner.class)
@SpringBootTest
@ContextConfiguration(classes=CommunityApplication.class)//希望启用此配置类
public class TestSensitiveFilter {
	@Autowired
	private SensitiveFilter sensitiveFilter;
	@Test
	public void testSensitive(){
		String text="这里可以玩耍，可以开派对哈哈哈！";
		text=sensitiveFilter.filter(text);
		System.out.println(text);
		text="这里可以☆玩☆耍☆，可以☆开☆派☆对☆，哈哈哈！";
		text=sensitiveFilter.filter(text);
		System.out.println(text);
	}
}

运行结果

 

 

要向着光
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
牛客刷题——Python入门总结
学Python的小白！
11-21 811
Python的学习还是要多以练习为主，想要练习python的同学，推荐可以去牛客网看看，他们现在的IT题库内容很丰富，属于国内做的很好的了，而且是课程+刷题+面经+求职+讨论区分享，一站式求职学习网站，最最最重要的里面的资源全部免费!
【仿牛客网笔记】 Spring Boot进阶，开发社区核心功能-过滤敏感词
xue_hua_c的博客
11-02 508
进行下一个节点的操作，即指向当前节点的子节点，进入下一轮，当循环到最后一个要打一个标记。第三步：关键的方法，编写实现过滤敏感词的方法，返回String，即处理替换掉的结果，参数是一个文本。首先定义好敏感词， 假设用户输入的内容 为xwabfabcff,利用算法看看有没有敏感词，这个算法就是前缀树，前缀树的根节点是没有任何字符的，出了根节点的每个节点都包含一个节点，根节点到某一个节点的路径上连接起来就是当前节点的字符串，每个节点的子节点是不同，如果是相同的话就合并。第二步：根据敏感词，初始化前缀树。
仿牛客社区项目3.1——过滤敏感词（前缀树）
Doreen_FF的博客
06-17 757
根节点空，其他节点只包含一个字符。 从根节点到某节点，连起来的每个路径，就是当前节点的字符串 子节点不能和该节点相同 敏感词：到最末节点的是敏感词 敏感词构成一个前缀树 3个指针：2指针一直往前走，3指针往返 StringBuilder：记录非敏感词 1、定义前缀树 前缀树数据结构，util包下SensitiveFilter.java @Component public class SensitiveFilter { // 前缀树内部类 private class TrieNode .
2022-2-15学习仿牛客项目-第1节 过滤敏感词
weixin_37682172的博客
02-15 196
论坛项目-3-过滤敏感词
qq_42208662的博客
07-26 539
敏感词过滤
SpringBoot论坛项目-过滤敏感词
wakakaG的博客
04-23 1132
原理 将敏感词存入前缀树中，使用前缀树来过滤待处理的字符串。 代码实现如下 package com.gyc.community.util; import com.sun.org.apache.bcel.internal.generic.FSUB; import org.apache.commons.lang3.CharUtils; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.ster
3.1 牛客网项目——过滤敏感词
qq_32863265的博客
06-13 333
1. 定义和初始化前缀树 根节点没有字符 除了根节点每个节点都只有一个字符 每个节点所有的子节点的字符都不相同 字符串的每个字符作为TrieNode节点，TrieNode节点主要有两部分组成： 是否为单词 节点所有的子节点，用map来保存，key是字符，value是子节点 //前缀树 private class TrieNode { //关键词结束的标识 private boolean isKeywordEnd = false; //子节点（key是下级字符，value是下.
基于SpringBoot的仿牛客论坛源码.zip
05-21
Spring Email： ——导入jar包。 ——邮箱参数配置。 ——使用JavaMailSender发送邮件。 模板引擎： ——使用Thymeleaf发送HTML邮件。 注册功能使用邮箱验证。 访问注册页面： ——点击顶部区域内的链接，打开注册...
Java仿牛客系统源码.zip
06-06
《深入剖析Java仿牛客系统源码》 Java仿牛客系统源码是一个基于Java开发的在线编程训练和招聘平台的实现，它旨在提供类似牛客网的功能，帮助程序员进行技能提升、实战演练以及求职准备。这个源码库通常包含了完整的...
仿牛客论坛项目第5天｜开发社区核心功能
ziyego的博客
08-16 141
敏感词过滤器：定义前缀树；根据敏感词，初始化前缀树；编写过滤敏感词的方法。
Java项目【仿牛客网3-4】
qq_41996549的博客
05-25 278
目的：开发一个能够过滤敏感词的工具开发复用的工具【评论、发帖子都需要使用】为简便处理定义一个敏感词文件，resources目录下新建一个sensitive-words.txt文件因为不会被外界访问，所以在util包下的SensitiveFilter类中定义了内部类 根据敏感词初始化前缀树 过滤敏感词方法 依然是在这个类中定义方法 二、发布帖子 AJAX示例实践1.导入Fastjson 处理JSON相关的操作 2.在CommunityUtil类中写几个封装成Json的方法 3.在AlphaCont
论坛敏感字过滤的方法
stan451219097的专栏
05-04 443
对于java servlet而言论坛敏感语言的过滤可以用自己的过滤器实现： 就是用别的字来替代敏感字就行了,实现方法如下，如果有更好的方法，希望各位路过的 大神能指点指点 首先继承HttpServletRequestWrapper类，重写父类方法， 对于其中的 public String getParameter和 public String getParameterValue进行重写...
网站敏感词过滤的实现（附敏感词库）
热门推荐
shuyou612的专栏
07-10 14万+
现在基本上所有的网站都需要设置敏感词过滤，似乎已经成了一个网站的标配，如果你的网站没有，或者你没有做相应的处理，那么小心相关部门请你喝茶哦。 最近在调研Java web网站的敏感词过滤的实现，网上找了相关资料，经过我的验证，把我的调研结果写出来，供大家参考。 一、敏感词过滤工具类 把敏感词词库内容加载到ArrayList集合中，通过双层循环，查找与敏感词列表相匹配的字符串，如果找到以*号...
Java基础（6）- Java代码笔记3
最新发布
weixin_47062560的博客
08-30 617
数据类型[][] 数组名 = new 数据类型[m][n]数据类型 数组名[][] = new 数据类型[m][n]数据类型[] 数组名[] = new 数据类型[m][n]m：代表二维数组长度n：代表二维数组中每个一维数组的长度。
[C++规范] 访问类成员变量的方式：直接访问还是通过成员函数访问？
Loewen丶的小窝
08-26 9697
在面向对象编程（OOP）中，通过成员函数（如`ME_HardwareTypeEnum Type() const;` 和 `int Id() const;`）来访问类的私有或受保护成员（如`m_hardwareType` 和 `m_id`），而不是直接通过公共成员访问，是一种更好的做法。
仿牛客社区有哪些异步操作
04-27
仿牛客社区可能涉及到的异步操作包括： 1. 异步加载数据：例如在用户浏览不同页面时，异步加载该页面的数据，减少页面加载时间。 2. 异步提交数据：例如在用户发表评论或文章时，异步提交数据，不需要刷新整个页面。 3. 异步验证数据：例如在用户注册时，异步验证用户名或邮箱是否已经被注册过。 4. 异步搜索：例如在用户进行搜索时，异步获取搜索结果，实现搜索框下拉提示。 5. 异步通知：例如在用户有新消息时，通过异步请求获取最新消息并提示用户。 以上仅是一些可能涉及到的异步操作，具体实现还需根据需求进行具体分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值