仿牛客社区——3.1过滤敏感词

最新推荐文章于 2025-01-23 01:34:11 发布
最新推荐文章于 2025-01-23 01:34:11 发布
阅读量231 收藏 1
点赞数 1
分类专栏： 项目 文章标签： java spring boot 算法 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zssxcj/article/details/130176630
版权
该文章介绍了一种使用Java实现的敏感词过滤方法，利用Trie树数据结构来构建前缀树，读取敏感词文件进行初始化，然后通过遍历文本，查找并替换敏感词。在处理过程中，还能识别特殊字符避免误过滤。
摘要由CSDN通过智能技术生成

目录

使用前缀树算法进行敏感词过滤

定义前缀树数据结构

创建并初始化前缀树

敏感词文件

将敏感词添加到前缀树中

过滤敏感词

完整代码

测试算法

运行结果

使用前缀树算法进行敏感词过滤

前缀树特点：

1.根节点为空

2.除了根节点以外的每一个节点只包含一个字符

3.从根节点到某一个节点的路径上连接起来就是当前所对应的字符串

4.每个结点包含的字符不同，如果相同则要合并

定义前缀树数据结构

//定义前缀树数据结构
	private class TireNode{
		//定义关键词的结束标识：true--->是；false--->不是
		private boolean isKeywordEnd=false;

		//定义子节点：key--->子结点的值；value：表示当前子节点类型
		private Map<Character,TireNode> subNodes=new HashMap<>();

		public boolean isKeywordEnd() {
			return isKeywordEnd;
		}

		public void setKeywordEnd(boolean keywordEnd) {
			isKeywordEnd = keywordEnd;
		}
		//添加子节点
		public void addSubNode(Character c,TireNode node){
			subNodes.put(c,node);
		}

		//获取子节点
		public TireNode getSubNode(Character c){
			return subNodes.get(c);
		}
	}

创建并初始化前缀树

//创建前缀树
	private TireNode rootNode=new TireNode();

	//初始化前缀树
	@PostConstruct //当类初始化调用构造参数时调用此方法
	public void init(){
		//获取敏感词字符
		try(
				InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive.txt");
				BufferedReader reader=new BufferedReader(new InputStreamReader(is));//用缓冲流读取文件（先将字节流转换成字符流
				){
			//通过reader读取敏感词
			String keyword;
			while((keyword=reader.readLine())!=null){
				//将敏感词加入前缀树中
				this.addKeyword(keyword);
			}
		}catch (IOException e){
			logger.error("获取敏感词失败："+e.getMessage());
		}

	}

敏感词文件

将敏感词添加到前缀树中

//将敏感词添加到前缀树中
	private void addKeyword(String keyword){
		//定义指针指向当前前缀树节点
		TireNode tempNode=rootNode;
		for(int i=0;i<keyword.length();i++){
			char c=keyword.charAt(i);
			TireNode subNode=tempNode.getSubNode(c);//判断当敏感词是否在前缀树中
			if(subNode==null){//当前敏感词不在前缀树中
				subNode=new TireNode();//初始化子节点
				tempNode.addSubNode(c,subNode);//挂载子节点
			}
			tempNode=subNode;//指针移动到子节点，进入下一级循环
			if(i==keyword.length()-1){
				//声明敏感词结束标识
				tempNode.setKeywordEnd(true);
			}

		}
	}

过滤敏感词

/**
	 * 过滤敏感词
	 * @param text 待过滤的文本
	 * @return  过滤后的文本
	 */
	public String filter(String text){
		if(StringUtils.isBlank(text)){
			return null;
		}
		//定义三个指针
		//指针1：指向rootNode
		TireNode tempNode=rootNode;
		//指针2：敏感词起始位置
		int begin=0;
		//指针3：敏感词终止位置
		int position=0;
		//定义过滤后的文本
		StringBuilder sb=new StringBuilder();
		while(position<text.length()){
			char c=text.charAt(position);
			//判断是否要跳过特殊字符
			if(isSymbol(c)){//是特殊字符
				//首先判断特殊字符出现的位置，如果特殊字符出现在敏感字前的话不进行过滤
				//若特殊字符出现在敏感词中间的话，要进行过滤

				if(tempNode==rootNode){//特殊字符出现在敏感字前,话不进行过滤
					sb.append(c);
					begin++;
				}

				position++; //若特殊字符出现在敏感词中间的话，要进行过滤
				continue;//继续获取下一个字符

			}
			tempNode=tempNode.getSubNode(c);
			if(tempNode==null){//不是敏感词
				sb.append(text.charAt(begin));
				position=++begin;
				tempNode=rootNode;//重新回到根节点
			}else if(tempNode.isKeywordEnd()){ //是敏感词并且在结尾
				//将begin~position位置的字符替换为***
				sb.append(REPLACEMENT);
				begin=++position;
				tempNode=rootNode;//重新回到根节点
			}else{
				position++;  //是敏感词但不是结尾：begin不移动，position继续后移
			}
		}
		//将末尾不是敏感词的文本也加入到sb中
		sb.append(text.substring(begin));
		return sb.toString();
	}
	//判断是否是特殊字符
	private boolean isSymbol(Character c){
		// 0x2E80~0x9FFF 是东亚文字范围
		return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
	}

完整代码

package com.light.community.util;

import org.apache.commons.lang3.CharUtils;
import org.apache.commons.lang3.StringUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;

import javax.annotation.PostConstruct;
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.util.HashMap;
import java.util.Map;

/**
 * @author light
 * @Description
 * 前缀树特点：
 *
 * 1.根节点为空
 *
 * 2.除了根节点以外的每一个节点只包含一个字符
 *
 * 3.从根节点到某一个节点的路径上连接起来就是当前所对应的字符串
 *
 * 4.每个结点包含的字符不同，如果相同则要合并
 *
 * @create 2023-04-15 22:52
 */

@Component
public class SensitiveFilter {

	private static final Logger logger= LoggerFactory.getLogger(SensitiveFilter.class);

	//替换符
	private static final String  REPLACEMENT="***";

	//定义前缀树数据结构
	private class TireNode{
		//定义关键词的结束标识：true--->是；false--->不是
		private boolean isKeywordEnd=false;

		//定义子节点：key--->子结点的值；value：表示当前子节点类型
		private Map<Character,TireNode> subNodes=new HashMap<>();

		public boolean isKeywordEnd() {
			return isKeywordEnd;
		}

		public void setKeywordEnd(boolean keywordEnd) {
			isKeywordEnd = keywordEnd;
		}
		//添加子节点
		public void addSubNode(Character c,TireNode node){
			subNodes.put(c,node);
		}

		//获取子节点
		public TireNode getSubNode(Character c){
			return subNodes.get(c);
		}
	}

	//创建前缀树
	private TireNode rootNode=new TireNode();

	//初始化前缀树
	@PostConstruct //当类初始化调用构造参数时调用此方法
	public void init(){
		//获取敏感词字符
		try(
				InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive.txt");
				BufferedReader reader=new BufferedReader(new InputStreamReader(is));//用缓冲流读取文件（先将字节流转换成字符流
				){
			//通过reader读取敏感词
			String keyword;
			while((keyword=reader.readLine())!=null){
				//将敏感词加入前缀树中
				this.addKeyword(keyword);
			}
		}catch (IOException e){
			logger.error("获取敏感词失败："+e.getMessage());
		}

	}

	//将敏感词添加到前缀树中
	private void addKeyword(String keyword){
		//定义指针指向当前前缀树节点
		TireNode tempNode=rootNode;
		for(int i=0;i<keyword.length();i++){
			char c=keyword.charAt(i);
			TireNode subNode=tempNode.getSubNode(c);//判断当敏感词是否在前缀树中
			if(subNode==null){//当前敏感词不在前缀树中
				subNode=new TireNode();//初始化子节点
				tempNode.addSubNode(c,subNode);//挂载子节点
			}
			tempNode=subNode;//指针移动到子节点，进入下一级循环
			if(i==keyword.length()-1){
				//声明敏感词结束标识
				tempNode.setKeywordEnd(true);
			}

		}
	}

	/**
	 * 过滤敏感词
	 * @param text 待过滤的文本
	 * @return  过滤后的文本
	 */
	public String filter(String text){
		if(StringUtils.isBlank(text)){
			return null;
		}
		//定义三个指针
		//指针1：指向rootNode
		TireNode tempNode=rootNode;
		//指针2：敏感词起始位置
		int begin=0;
		//指针3：敏感词终止位置
		int position=0;
		//定义过滤后的文本
		StringBuilder sb=new StringBuilder();
		while(position<text.length()){
			char c=text.charAt(position);
			//判断是否要跳过特殊字符
			if(isSymbol(c)){//是特殊字符
				//首先判断特殊字符出现的位置，如果特殊字符出现在敏感字前的话不进行过滤
				//若特殊字符出现在敏感词中间的话，要进行过滤

				if(tempNode==rootNode){//特殊字符出现在敏感字前,话不进行过滤
					sb.append(c);
					begin++;
				}

				position++; //若特殊字符出现在敏感词中间的话，要进行过滤
				continue;//继续获取下一个字符

			}
			tempNode=tempNode.getSubNode(c);
			if(tempNode==null){//不是敏感词
				sb.append(text.charAt(begin));
				position=++begin;
				tempNode=rootNode;//重新回到根节点
			}else if(tempNode.isKeywordEnd()){ //是敏感词并且在结尾
				//将begin~position位置的字符替换为***
				sb.append(REPLACEMENT);
				begin=++position;
				tempNode=rootNode;//重新回到根节点
			}else{
				position++;  //是敏感词但不是结尾：begin不移动，position继续后移
			}
		}
		//将末尾不是敏感词的文本也加入到sb中
		sb.append(text.substring(begin));
		return sb.toString();
	}
	//判断是否是特殊字符
	private boolean isSymbol(Character c){
		// 0x2E80~0x9FFF 是东亚文字范围
		return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
	}


}

测试算法

package com.light.community;

import com.light.community.util.SensitiveFilter;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.ContextConfiguration;
import org.springframework.test.context.junit4.SpringRunner;

/**
 * @author light
 * @Description
 * @create 2023-04-16 12:12
 */
@RunWith(SpringRunner.class)
@SpringBootTest
@ContextConfiguration(classes=CommunityApplication.class)//希望启用此配置类
public class TestSensitiveFilter {
	@Autowired
	private SensitiveFilter sensitiveFilter;
	@Test
	public void testSensitive(){
		String text="这里可以玩耍，可以开派对哈哈哈！";
		text=sensitiveFilter.filter(text);
		System.out.println(text);
		text="这里可以☆玩☆耍☆，可以☆开☆派☆对☆，哈哈哈！";
		text=sensitiveFilter.filter(text);
		System.out.println(text);
	}
}

运行结果

 

 

牛客刷题——Python入门总结
Python全栈系列
11-21 934
Python的学习还是要多以练习为主，想要练习python的同学，推荐可以去牛客网看看，他们现在的IT题库内容很丰富，属于国内做的很好的了，而且是课程+刷题+面经+求职+讨论区分享，一站式求职学习网站，最最最重要的里面的资源全部免费!
【仿牛客网笔记】 Spring Boot进阶，开发社区核心功能-过滤敏感词
xue_hua_c的博客
11-02 549
进行下一个节点的操作，即指向当前节点的子节点，进入下一轮，当循环到最后一个要打一个标记。第三步：关键的方法，编写实现过滤敏感词的方法，返回String，即处理替换掉的结果，参数是一个文本。首先定义好敏感词， 假设用户输入的内容 为xwabfabcff,利用算法看看有没有敏感词，这个算法就是前缀树，前缀树的根节点是没有任何字符的，出了根节点的每个节点都包含一个节点，根节点到某一个节点的路径上连接起来就是当前节点的字符串，每个节点的子节点是不同，如果是相同的话就合并。第二步：根据敏感词，初始化前缀树。
仿牛客社区项目3.1——过滤敏感词（前缀树）
Doreen_FF的博客
06-17 819
根节点空，其他节点只包含一个字符。 从根节点到某节点，连起来的每个路径，就是当前节点的字符串 子节点不能和该节点相同 敏感词：到最末节点的是敏感词 敏感词构成一个前缀树 3个指针：2指针一直往前走，3指针往返 StringBuilder：记录非敏感词 1、定义前缀树 前缀树数据结构，util包下SensitiveFilter.java @Component public class SensitiveFilter { // 前缀树内部类 private class TrieNode .
2022-2-15学习仿牛客项目-第1节 过滤敏感词
weixin_37682172的博客
02-15 212
论坛项目-3-过滤敏感词
qq_42208662的博客
07-26 586
敏感词过滤
SpringBoot论坛项目-过滤敏感词
wakakaG的博客
04-23 1180
原理 将敏感词存入前缀树中，使用前缀树来过滤待处理的字符串。 代码实现如下 package com.gyc.community.util; import com.sun.org.apache.bcel.internal.generic.FSUB; import org.apache.commons.lang3.CharUtils; import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.ster
3.1 牛客网项目——过滤敏感词
qq_32863265的博客
06-13 381
1. 定义和初始化前缀树 根节点没有字符 除了根节点每个节点都只有一个字符 每个节点所有的子节点的字符都不相同 字符串的每个字符作为TrieNode节点，TrieNode节点主要有两部分组成： 是否为单词 节点所有的子节点，用map来保存，key是字符，value是子节点 //前缀树 private class TrieNode { //关键词结束的标识 private boolean isKeywordEnd = false; //子节点（key是下级字符，value是下.
基于SpringBoot的仿牛客论坛源码.zip
05-21
Spring Email： ——导入jar包。 ——邮箱参数配置。 ——使用JavaMailSender发送邮件。 模板引擎： ——使用Thymeleaf发送HTML邮件。 注册功能使用邮箱验证。 访问注册页面： ——点击顶部区域内的链接，打开注册...
基于Spring Boot的仿牛客社区网站.zip
09-05
基于Spring Boot的仿牛客社区网站 项目概述 该项目是一个仿牛客社区网站，使用Spring Boot作为后端框架，结合MySQL、Redis、Kafka、Elasticsearch和Thymeleaf等技术栈，实现了社区网站的基本功能。主要功能包括...
仿牛客论坛项目第5天｜开发社区核心功能
ziyego的博客
08-16 164
敏感词过滤器：定义前缀树；根据敏感词，初始化前缀树；编写过滤敏感词的方法。
Java项目【仿牛客网3-4】
qq_41996549的博客
05-25 313
目的：开发一个能够过滤敏感词的工具开发复用的工具【评论、发帖子都需要使用】为简便处理定义一个敏感词文件，resources目录下新建一个sensitive-words.txt文件因为不会被外界访问，所以在util包下的SensitiveFilter类中定义了内部类 根据敏感词初始化前缀树 过滤敏感词方法 依然是在这个类中定义方法 二、发布帖子 AJAX示例实践1.导入Fastjson 处理JSON相关的操作 2.在CommunityUtil类中写几个封装成Json的方法 3.在AlphaCont
论坛敏感字过滤的方法
stan451219097的专栏
05-04 457
对于java servlet而言论坛敏感语言的过滤可以用自己的过滤器实现： 就是用别的字来替代敏感字就行了,实现方法如下，如果有更好的方法，希望各位路过的 大神能指点指点 首先继承HttpServletRequestWrapper类，重写父类方法， 对于其中的 public String getParameter和 public String getParameterValue进行重写...
网站敏感词过滤的实现（附敏感词库）
热门推荐
shuyou612的专栏
07-10 14万+
现在基本上所有的网站都需要设置敏感词过滤，似乎已经成了一个网站的标配，如果你的网站没有，或者你没有做相应的处理，那么小心相关部门请你喝茶哦。 最近在调研Java web网站的敏感词过滤的实现，网上找了相关资料，经过我的验证，把我的调研结果写出来，供大家参考。 一、敏感词过滤工具类 把敏感词词库内容加载到ArrayList集合中，通过双层循环，查找与敏感词列表相匹配的字符串，如果找到以*号...
ARM64平台Flutter环境搭建
shb8845369的专栏
01-23 1005
Flutter ARM64 环境搭建，适用于麒麟系统等国产平台
Spring MVC主题国际化实践指南
最新发布
2501_90323865的博客
01-23 274
在现代Web开发中，国际化（i18n）是一个不可或缺的功能，它允许应用程序根据用户的语言偏好显示不同的内容。Spring MVC的国际化功能允许开发者根据用户的语言环境（Locale）加载不同的资源文件，从而实现多语言支持。通过本文的示例，我们展示了如何在Spring MVC中结合国际化和主题功能，实现多语言和多主题的应用程序。法语环境（fr-FR）：使用Postman工具，设置Accept-Language头为fr-FR，页面背景变为深蓝色，内容框为白色边框，显示消息“salut”。
仿牛客社区有哪些异步操作
04-27
仿牛客社区可能涉及到的异步操作包括： 1. 异步加载数据：例如在用户浏览不同页面时，异步加载该页面的数据，减少页面加载时间。 2. 异步提交数据：例如在用户发表评论或文章时，异步提交数据，不需要刷新整个页面...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值