JAVA 查找并移除字符串中的Emoji

最新推荐文章于 2024-04-24 22:52:03 发布
最新推荐文章于 2024-04-24 22:52:03 发布
阅读量652 收藏 10
点赞数 25
文章标签： java 开发语言 android
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zzz777qqq/article/details/136693101
版权

一、基础知识

  1. Emoji 实际上是 UTF-8 (Unicode) 字符集上的特殊字符，多数基本 Emoji 都被分配到 Unicode 编码表 1 号平面的 U+1F300–1F6FF 和 U+1F900–1FAFF 两个区域，由2个字符组成。

  2. 肤色修饰：大多数与人相关的 Emoji 默认是黄色的，所以后来引入了五个新码点作为修饰符：U+1F3FB、U+1F3FC、U+1F3FD、U+1F3FE、U+1F3FF。肤色修饰符追加到现有的 Emoji 后形成新的样式： U+1F44B(👋 ) + U+1F3FD= 👋🏽

  3. 符号变体或组合：一个普通的字后连接一个或多个变体、组合标识(字符)，组合形成的 Emoji ： U+25C0+U+FE0F= ◀️ U+27A1+U+FE0F= ➡️ 1+U+FE0F+U+20E3= 1️⃣

  4. 国旗：每个国旗由2个地区标识符组合而成，地区标识符的对应码点范围为U+1F1E6~U+1F1FF，等同于2个指定范围的普通 Emoji 字符组成。 U+1F1E8+U+1F1F3= 🇨🇳

  5. 零宽度连接符（ZWJ）：多个基础 Emoji 通过零宽度连接符（U+200D）形成的复杂 Emoji： 👩+U+200D+🌾= 👩‍🌾 👩+U+200D+❤️‍+U+200D+👩= 👩‍❤️‍👩 👨+U+200D+❤️‍+U+200D+💋+U+200D+👨= 👨‍❤️‍💋‍👨

  6. 序列：一个基础 Emoji 加上多个标签字符 (U+E0020~ U+E007F )并以 Tag Cancel(U+E007)结尾，组合形成一个复杂 Emoji： U+1F3F4(🏴) +U+E0067+U+E0062+U+E0065+U+E006E+U+E0067+U+E007F= 🏴󠁧󠁢󠁥󠁮󠁧󠁿

  7. 特殊符号： 特殊符号只有1个字符，有些符号在某些环境下会被当做Emoj处理：⏯、⏫、⏹;

Unicode 只是约定了码点到 emoji 的映射关系，并没有约定 Emoji 图形，每个 Emoji 字体文件可以按照自己的想法设计 Emoji。

二、解决方案

  1. 除了一些特殊符号形式的 Emoji，其他Emoji至少有2个字符，所以先根据第二个字符类型判断是否为Emoji，使用Character.UnicodeBlock.of和Character.getType方法判定每个字符的类型。
  2. 通过第二个字符类型判断当前2个字符为 Emoji 后： 1）判断是否有后续修饰 2）判断处理国旗类型；判断处理肤色修饰；判断处理 Emoji 序列标签；判断处理零宽度连接符；判断处理连续变体、组合标识；按照普通 Emoji 处理；
  3. 处理单字符的特殊符号，这一类型内有的属于 Emoji，有的不是，目前全部简单的按照普通 Emoji 处理；

三、完整代码

package com.zpf.tool;

import java.util.List;

public class EmojiUtil {

    public static boolean isEmojiNationalFlag(int codePoint) {
        return codePoint >= 127462 && codePoint <= 127487;
    }

    // String str = new String(new int[]{0x1F44B, 0x1F3FD}, 0, 2);
    public static boolean isEmojiSkinColor(int codePoint) {
        return codePoint >= 127995 && codePoint <= 127999;
    }

    // String str = new String(new int[]{0x1F3F4, 0xE0067, 0xE0062, 0xE0065, 0xE006E, 0xE0067, 0xE007F}, 0, 7);
    public static boolean isEmojiTagEnd(int codePoint) {
        return codePoint == 917631;
    }

    public static boolean isEmojiTagSpec(int codePoint) {
        return codePoint >= 917536 && codePoint <= 917630;
    }

    public static boolean isEmojiDecorateBlock(Character.UnicodeBlock block) {
        if (block == null) {
            return false;
        }
        return block.equals(Character.UnicodeBlock.VARIATION_SELECTORS)
                || block.equals(Character.UnicodeBlock.VARIATION_SELECTORS_SUPPLEMENT)
                || block.equals(Character.UnicodeBlock.COMBINING_HALF_MARKS)
                || block.equals(Character.UnicodeBlock.COMBINING_MARKS_FOR_SYMBOLS)
                || block.equals(Character.UnicodeBlock.COMBINING_DIACRITICAL_MARKS)
                || block.equals(Character.UnicodeBlock.COMBINING_DIACRITICAL_MARKS_SUPPLEMENT);
    }

    public static void pickAllEmoji(CharSequence data, StringBuilder removeResult, List<String> emojiList) {
        if (removeResult == null && emojiList == null) {
            return;
        }
        if (removeResult != null) {
            removeResult.delete(0, removeResult.length());
        }
        if (emojiList != null) {
            emojiList.clear();
        }
        if (data == null || data.length() == 0) {
            return;
        }
        StringBuilder emojiBuilder = new StringBuilder();
        int i = 0;
        int j;
        Character.UnicodeBlock block;
        while (i < data.length()) {
            if (i + 1 < data.length()) {
                block = Character.UnicodeBlock.of(data.charAt(i + 1));
                if (isEmojiDecorateBlock(block) || Character.UnicodeBlock.LOW_SURROGATES.equals(block)) {
                    if (i + 2 >= data.length()) {
                        emojiBuilder.append(data, i, i + 2);
                        break;
                    }
                    j = handleNationalFlag(data, i, emojiBuilder, emojiList);
                    if (i != j) {
                        i = j;
                        continue;
                    }
                    j = handleHumanSkin(data, i, emojiBuilder, emojiList);
                    if (i != j) {
                        i = j;
                        continue;
                    }
                    j = handleTagSequence(data, i, emojiBuilder, emojiList);
                    if (i != j) {
                        i = j;
                        continue;
                    }
                    emojiBuilder.append(data, i, i + 2);
                    i = handleNextChar(data, i + 2, emojiBuilder, emojiList);
                    continue;
                }
            }
            recordEmoji(emojiBuilder, emojiList);
            int type = Character.getType(data.charAt(i));
            if (type == (int) Character.OTHER_SYMBOL) {//特殊符号一律按照Emoji处理
                if (emojiList != null) {
                    emojiList.add(String.valueOf(data.charAt(i)));
                }
            } else if (removeResult != null) {
                removeResult.append(data.charAt(i));
            }
            i++;
        }
        recordEmoji(emojiBuilder, emojiList);
    }

    private static int handleNextChar(CharSequence data, int i, StringBuilder emojiBuilder, List<String> emojiList) {
        if (i >= data.length()) {
            return i;
        }
        char nextChar = data.charAt(i);
        if (nextChar == '\u200D') {//零宽度连接符
            emojiBuilder.append(nextChar);
            return i + 1;
        }
        int j = i;
        Character.UnicodeBlock block;
        while (j < data.length()) {
            nextChar = data.charAt(j);
            block = Character.UnicodeBlock.of(nextChar);
            if (isEmojiDecorateBlock(block)) {
                emojiBuilder.append(nextChar);
                j++;
            } else {
                break;
            }
        }
        if (i != j) {
            recordEmoji(emojiBuilder, emojiList);
        }
        return j;
    }

    private static int handleNationalFlag(CharSequence data, int i, StringBuilder emojiBuilder, List<String> emojiList) {
        int codePoint = Character.codePointAt(data, i);
        if (isEmojiNationalFlag(codePoint)) {//处理国旗类型
            recordEmoji(emojiBuilder, emojiList);//提交未处理
            if (i + 3 < data.length()) {
                codePoint = Character.codePointAt(data, i + 2);
                if (isEmojiNationalFlag(codePoint)) {
                    emojiBuilder.append(data, i, i + 4);
                    recordEmoji(emojiBuilder, emojiList);
                    i = i + 4;
                }
            }
            i = i + 2;
        }
        return i;
    }

    private static int handleHumanSkin(CharSequence data, int i, StringBuilder emojiBuilder, List<String> emojiList) {
        if (i + 3 >= data.length()) {
            return i;
        }
        int codePoint = Character.codePointAt(data, i + 2);
        if (isEmojiSkinColor(codePoint)) {//肤色修饰
            emojiBuilder.append(data, i, i + 4);
            recordEmoji(emojiBuilder, emojiList);
            i = i + 4;
        }
        return i;
    }

    private static int handleTagSequence(CharSequence data, int i, StringBuilder emojiBuilder, List<String> emojiList) {
        if (i + 3 >= data.length()) {
            return i;
        }
        int codePoint = Character.codePointAt(data, i + 2);
        if (isEmojiTagSpec(codePoint)) {
            emojiBuilder.append(data, i, i + 4);
            i = i + 4;
            while (i < data.length()) {
                codePoint = Character.codePointAt(data, i);
                if (isEmojiTagSpec(codePoint)) {
                    emojiBuilder.append(data, i, i + 2);
                    i = i + 2;
                } else if (isEmojiTagEnd(codePoint)) {
                    emojiBuilder.append(data, i, i + 2);
                    recordEmoji(emojiBuilder, emojiList);
                    i = i + 2;
                    break;
                } else { //error
                    break;
                }
            }
            emojiBuilder.delete(0, emojiBuilder.length());
        } else if (isEmojiTagEnd(codePoint)) {
            emojiBuilder.append(data, i, i + 4);
            recordEmoji(emojiBuilder, emojiList);
            i = i + 4;
        }
        return i;
    }

    private static void recordEmoji(StringBuilder builder, List<String> emojiList) {
        if (builder != null && builder.length() > 0) {
            if (emojiList != null) {
                emojiList.add(builder.toString());
            }
            builder.delete(0, builder.length());
        }
    }

}

最后

如果想要成为架构师或想突破20~30K薪资范畴，那就不要局限在编码，业务，要会选型、扩展，提升编程思维。此外，良好的职业规划也很重要，学习的习惯很重要，但是最重要的还是要能持之以恒，任何不能坚持落实的计划都是空谈。

如果你没有方向，这里给大家分享一套由阿里高级架构师编写的《Android八大模块进阶笔记》，帮大家将杂乱、零散、碎片化的知识进行体系化的整理，让大家系统而高效地掌握Android开发的各个知识点。
img
相对于我们平时看的碎片化内容，这份笔记的知识点更系统化，更容易理解和记忆，是严格按照知识体系编排的。

欢迎大家一键三连支持，若需要文中资料，直接扫描文末CSDN官方认证微信卡片免费领取↓↓↓（文末还有ChatGPT机器人小福利哦，大家千万不要错过）

PS:群里还设有ChatGPT机器人，可以解答大家在工作上或者是技术上的问题
图片

小陈乱敲代码
关注
  • 25
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
EmojiReader：一个简单的工具，可以识别字符串中的表情符号。 （JavaScript和Java）
02-05
表情符号阅读器 一个能在字符串中识别出Emoji的简单工具（支持JavaScript / Java） 特性 支持Unicode12规范， 基于EBNF状态机的Emoji判断，比正则表达式更易维护 准确判断包含Emoji的轴向长度 准确切割字符串不会断开Emoji 长度判断 表情符号 字符串长度 EmojiReader.getTextLength :female_sign: 1个 1个 :slightly_smiling_face: 2 1个 ‍:male_sign: 5 1个 :rainbow_flag: 6 1个 :family_man_woman_boy_boy: 11 1个 在字符串中，一个Emoji由一个或多个Unicode码点（CodePoint）组成，一个码点可能由多个字符组成（或编码点是否大于0
29.精讲JavaScript字符串，常见的基础方法以及特殊字符、emoji内部表示方式
魏大大
05-23 1170
文章目录JavaScript字符串详解前言写法特殊字符.length访问字符、charAt()、for..of字符串不可变.toLowerCase()、.toUpperCase().indexOf()、.lastIndexOf() 查找子串按位取反技巧（不推荐，但要会）.includes()、.startsWith()、.endsWith().substr()、.substring()、.slice().codePointAt()、String.fromCodePoint().localeCompare(.
corejava11（3.6 字符串）
nbda1121440的专栏
05-14 374
3.6 字符串 从概念上讲，Java字符串是Unicode字符的序列。例如，字符串“Java\u2122”由五个Unicode字符J、A、V、A和μ组成。Java没有内置的字符串类型。相反，标准Java库包含一个预定义类，称为字符串。每个带引号的字符串都是String类的实例： String e = ""; // an empty string String greeting = "Hello";...
Java处理替换特殊emoji表情包问题
maggrect的博客
11-12 2700
https://blog.csdn.net/weixin_30198949/article/details/113439190
C# .net 去除/过滤Emoji表情分享
aaliyuan的博客
02-28 6577
C# .net 去除/过滤Emoji表情分享 Emoji去除 字符串存Mysql 因为项目需要，所以需要去除Emoji表情，但是网上文章很多，使用的都不够顺畅 正则等等好多方式，比较多的是JAVA的，根据编码过滤 在自己的项目里面测试这个有点麻烦，不断的重启等 给新手推荐一个网址，可以在线测试一些简单的代码，无需再调试了 链接: 菜鸟教程 下面的截图都来自菜鸟教程截图 一开始我是使用的&lt...
java实现表情过滤
qq_37741426的博客
01-17 1315
表情过滤
java过滤字符串中的emoji表情
09-16 7290
http://doombyte.com/blog/2013/03/20/filter-emoji-emotion-in-string/
Java字符串去除表情
anmang6285的博客
04-17 2081
源码 public static String removeNonBmpUnicodes(String s) { return null == s ? null : s.replaceAll("[^\\u0000-\\uFFFF]", ""); } 测试用例 @Test public void testRemoveNonBmpUnicode...
判断字符串中是否包含emoji表情
03-31
判断字符串是否包含emoji表情
java-emoji-converter：Emoji转换工具，可以使用各种类型的客户端生成的Emoji字符串转换转换成另一种格式
02-04
Java Emoji Converter（Emoji表情转换工具） Emoji转换工具，适合各种规格客户端生成的Emoji字符串转换成另外一种格式。 一种在每种类型之间转换表情符号字符串的工具，例如软银行表情符号，unicode表情符号，别名...
EmojiReader一个能在字符串中识别出Emoji的简单工具
08-08
EmojiReader 一个能在字符串中识别出 Emoji 的简单工具
过滤字符串中包含表情字符
07-03
过滤一个字符串中包含有表情的字符，例如一个用户昵称中包含的表情
emoji-strip：在Node.js和浏览器中从字符串中剥离表情符号
02-05
表情符号条使用从Node.js和浏览器中的字符串中剥离表情符号。例子var emojiemoji = 'thumbs-up:thumbs_up: for staying strong:flexed_biceps: without emoji please:folded_hands:'console . log ( emojiStrip ( ...
mybatisPlus使用MetaObjectHandler对字段进行更新
m0_56356631的博客
04-23 471
都是符合我们的预期的。
string模拟实现
m0_73969414的博客
04-23 1556
c++中string的模拟实现，面试必会知识点
实现自定义注解、实现自定义幂等性注解
qq_44721738的博客
04-23 724
添加 Spring AOP 依赖。创建自定义注解。创建一个新的 Java 注解类，通过@interface关键字来定义，并可以添加元注解以及属性。@Target(ElementType.METHOD) //表示作用于方法上@Retention(RetentionPolicy.RUNTIME) // 表示这个注解在运行时是可见的，这样 AOP 代理才能在运行时读取到这个注解编写 AOP 拦截（自定义注解）的逻辑代码。@Aspect@Component// 方法执行前的处理。
PageHelper实现分页查询
m0_63849044的博客
04-24 956
这行代码是在使用 MyBatis Generator (MBG) 或类似的 MyBatis 工具生成的代码来构建查询条件。（可能是MyBatis的Mapper接口）来执行基于前面定义的查询条件的查询，并获取结果列表。实例之后会被用来设置各种查询条件，如字段的等于、不等于、大于、小于、模糊查询等。实体类生成的辅助类，它通常包含了一些静态内部类和方法，用于构建查询条件。在MyBatis中，这样的对象通常用于构建查询条件。对象，可能用于作为查询条件）。的一个内部类，用于定义查询的具体条件。
Lambda表达式特点
最新发布
weixin_57763462的博客
04-24 643
**API 设计**：Lambda 表达式鼓励使用函数式接口的设计模式，这改变了 Java 库的设计，例如 `java.util.function` 包下的一系列函数式接口。- **函数式编程**：Lambda 表达式引入了函数式编程的理念，使得 Java 更接近于函数式编程语言，如 Scala 和 Clojure。- **并发编程**：Lambda 表达式与 Java 8 新增的 Stream API 结合使用，可以简化并发编程，特别是与集合的操作相关。
MySQL 字符串删除表情符_字符串中Emoji表情处理
05-24
MySQL本身并不支持处理Emoji表情。但是可以通过使用正则表达式来删除字符串中的Emoji表情符号。 下面是一个示例查询，可以删除字符串中的Emoji表情符号： ``` SELECT CAST(CONVERT(content USING utf8mb4) AS CHAR(255)) AS content_without_emoji FROM your_table WHERE id = 1; ``` 这条查询将使用utf8mb4编码将content字段转换为字符类型，然后使用CAST函数将其转换为CHAR类型。这将删除所有的Emoji表情符号，因为MySQL不能处理utf8mb4编码中的Emoji表情符号。 如果你想在MySQL中进行更高级的表情符号处理，建议使用第三方库，如emoji-java或emoji4j。这些库提供了专门的函数和方法来处理字符串中的Emoji表情符号。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值