中文文本纠错(Chinese Spell Checking, CSC)任务各个论文的评价指标

已于 2024-10-22 09:38:07 修改
阅读量3.2k 收藏 31
点赞数 8
分类专栏： 收费专栏 文章标签： 人工智能 深度学习 中文文本纠错
于 2023-02-18 14:09:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/129079461
版权

免费链接： Blogger(需翻Q)

文章目录

本文说明

本文汇总了中文文本纠错(Chinese Spell Checking)任务在各个开源项目中的评价指标，他们虽然写法不同，但大部分本质是相同的，但也有少部分论文的评价指标存在问题或其他论文不一致，本文对他们的指标代码进行了分析，并说明了其中的问题。

评价指标总结（结论）

中文文本纠错通常使用精准率(Precision)、召回率(Recall)和F1-Score作为评价指标，有如下四种：

  • Character-level Detection Metrics：少数论文使用了。意思是：按字为维度统计，能检测出错字的情况；就目前来看，大部分论文的该指标统计方式相同。
  • Character-level Correction Metrics：少数论文使用了。意思是：按字为维度统计，能正确纠正字的情况；目前找到有三篇论文使用了该指标，但多多少少都
了解本专栏 订阅专栏 解锁全文 超级会员免费看
【论文笔记】SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking
iioSnail的博客
11-29 1619
论文提出了一种token-level的自蒸馏对比学习(self-distillation contrastive learning)方法。作者并没有直接使用BERT的输出作为token embedding，而是使用点乘的方式融合了BERT的输出和word embeddings。
【论文解读】（CSC任务的音标和字形信息到底用了多少？）Investigating Glyph-Phonetic Information for Chinese Spell Checking
iioSnail的博客
12-05 1187
许多中文拼写检查(Chiniese Spell Checking, CSC)模型都使用了“字形信息+拼音信息”(glyph-phonetic)来进行预测，但是**“这些glyph-phonetic信息到底被用了多少”是不清楚的**，所以作者提出了两个新的方法来验证，同时也可以提升模型的泛化能力。Q1：现有的中文预训练模型（Chinese pre-trained models）编码了glyph-phonetic信息了吗？
中文文本纠错
北落师门XY的博客
01-06 4412
常见错误原因及类型 语音识别（ASR AutomaticSpeechRecognition）：谐音（眼镜->眼睛）、混淆音（流浪->牛郎） 形近字：OCR｜五笔｜手写｜拼音（伍拾元->伍抬元，高粱->高梁） 拼音全拼：shanghai->上海 拼音缩写：sh->上海 字词顺序颠倒 字词补全 语法错误 一般流程 错误识别 生成纠正候选（召回率的保证） 评价纠正候选（排序选择最可能的候选，当比原句优秀时才做纠错） pycorrector 安装：pip
lstm 文本纠错_AI LIVE | 文本纠错技术探索和实践
weixin_39875832的博客
11-20 983
· 小PAI导读 ·「AI LIVE」是平安人寿AI团队打造的AI专业知识分享和学习专栏，将通过直播、沙龙等形式，分享平安寿险AI技术及创新成果，推动实现与AI领域同行共成长。本期「AI LIVE」将回顾我们在“AI研习社”直播间进行的主题为「文本纠错技术探索和实践」的技术分享，由平安人寿AI团队高级算法工程师陈乐清老师主讲。为了让大家能够快速get本期直播干货，小PAI特别整理了这篇直播内容文字...
中文拼写纠错_FASPell: FASPell 是一个 简繁体中文拼写检查工具（Chinese Spell Check/中文拼写检错/中文拼写纠错/中文拼写检查），它可以轻松完成对任何一种中文文本的拼...
weixin_39805255的博客
12-18 759
FASPell该仓库(根据GNU通用公共许可证v3.0许可)包含构建当前最佳(到2019年初)中文拼写检查器所需的所有数据和代码，可以以此复现我们的同名论文中的全部实验：FASPell: A Fast, Adaptable, Simple, Powerful Chinese Spell CheckerBased On DAE-Decoder Paradigm LINK此论文发表于 the Pro...
中文文本纠错论文
jiangchao98的博客
04-11 3035
PLOME: Pre-training with Misspelled Knowledge for Chinese Spelling Correction 论文地址：https://aclanthology.org/2021.acl-long.233.pdf 仓库地址：https://github.com/liushulinle/PLOME 使用困惑集中相似单词遮盖选择的单词 通过使用拼音来预测单词 使用GRU网络根据字符的语音和笔划对这些知识进行建模 中文错误（近音字、近形字） 使用拼音以及笔
中文文本纠错论文解读——Adaptable Filtering using Hierarchical Embeddings for Chinese Spell Check
lichaobxd的博客
09-15 490
原始论文：https://arxiv.org/abs/2008.12281 1.纠错整体结果 本文的纠错结构比较简单，如下图，利用bert对一个包含错误句子中的每一个词进行预测，然后利用过滤器对结果进行过滤，由于“五”和“一”不存在任何音似或形似的地方，所以“一”的位置不进行修改，这就是本文纠错的思路，非常简单吧 2.Head Filt 过滤器 本文的亮点就在与过滤器上，本文的过滤器实际上就是一个混淆集，只不过与之前的固定混淆集不同，本文的混淆集能够通过相...
基于ERNIE的中文文本纠错
m0_63642362的博客
11-01 2171
pycorrector 文本纠错开源工具 文本纠错开源工具 pycorrector 点击进入GitHub项目主页 pycorrector，主要用于音似、形似错字纠正，可用于输入法、OCR、ASR的文本错误纠正，兼容Kenlm语言模型纠错，和深度模型纠错，包括：Seq2Seq，Bert，MacBert，Electra，Ernie等。 pycorrector 项目当前在GitHub上star数2165，fork数565，watch数70。社区代码贡献者10位，项目引用数14个。 今天来看下如何利用ERNI
【论文泛读100】利用多模式信息有助于中文拼写检查
scu-liu的博客
05-27 632
贴一下汇总贴：论文阅读记录 论文链接：《Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking》 一、摘要 中文拼写检查（CSC）旨在检测和纠正用户生成的中文文本的错误字符。大多数中文拼写错误在语义，语音或图形上均被误用。先前的尝试注意到了这种现象，并尝试将相似性用于此任务。但是，这些方法使用启发式方法或手工制作的混淆集来预测正确的字符。在本文中，我们直接利用汉字的多模式信息，提出了一种中文拼
中文文本纠错之入门篇
zenRRan的博客
05-22 1180
每天给你送来NLP技术干货！来自：NLP日志提纲1简介2检测任务3纠正任务4总结参考文献1 简介在很多中文NLP相关的落地场景都会涉及到文本纠错的相关技术，例如跟各种形式机器人的语音或者文字对话，或者用手机扫描相关的PDF或者图片，或者跟人聊天时用输入法打字等等，无论是通过ASR识别的语音信息，通过OCR识别得到的图片信息，还是用户真实通过输入法的文字，都有可能出...
proofreadv1:中文文本自动纠错
05-09
中文文本自动纠错 原因：在做智能家居的声控启动的时候发现，声音命令转化为文字的时候有时候会有问题，例如天气预报 翻译成天汽预报，就想到了搜索引擎中的纠错功能,但是由于个人水平有限制，所以第一版本还不是很详细 开发语言 python 如何使用 python main.py 系统原理： 围绕着如何找出这段文字中是否有错误的字？ 找到了很多语料集，进行分词统计词频 将待分析的文字的每一个字拆开放到一个数组中 计算每一个字是否在词频字典中有，如果有说明这个字是对的 二元语言模型与字典分词相结合的方法，命令Ui=WiWi+1(就是字符i和字符i+1结合起来的字符串在词频字典中的词频),假设一个字i不对，则 Ui=WiWi+1 ,Ui-1=Wi-1Wi Ui 和Ui-1都是0，说明这个词没有这种分词的存在，说明这次词是不对的 目录结构 ├── checkproof.py ├── chineseproo
jcorrector 中文文本纠错工具
qq_20182781的博客
07-26 789
当然，针对不同业务场景，这些问题并不一定全部存在，比如输入法中需要处理前四种，搜索引擎需要处理所有类型，语音识别后文本纠错只需要处理前两种， 其中'形似字错误'主要针对五笔或者笔画手写输入等。音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。jcorrector依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型句子概率值特征纠正错别字。1.利用n-gram语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型句子概率值特征纠正错别字。
中文文本纠错算法实现
datayx的文章
07-02 6030
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx文本纠错又称为拼写错误或者拼写检查，由于纯文本往往来源于手打或者OCR识别，很可能存...
中文文本纠错_论文Spelling Error Correction with Soft-Masked BERT(ACL_2020)学习笔记与模型复现
qq_35128926的博客
07-01 7045
中文文本纠错_论文Spelling Error Correction with Soft-Masked BERT(ACL_2020)学习笔记与模型复现 最近在ACL 2020上看到一篇论文《Spelling Error Correction with Soft-Masked BERT》,论文的主题为中文文本纠错中的**Chinese spelling error correction (CSC)**任务，论文作者为来自字节跳动AI Lab与复旦大学的研究人员。 《Spelling Error Correct
详细说说中文文本纠错的进展
weixin_35749440的博客
01-05 412
中文文本纠错是自然语言处理领域的一个重要研究课题，在过去的几十年中，研究人员们一直在努力开发出有效的纠错方法。 目前，中文文本纠错主要有两种方法：基于规则的方法和基于模型的方法。 基于规则的方法是利用计算机程序自动检测并更正文本中的错误，这种方法的优点是稳定性高，缺点是涵盖面有限，无法处理复杂的语言现象。 基于模型的方法则是利用人工标注的数据训练出一个模型，然后使用该模型来预测并更正文本中的错误。...
pip install自己的代码_PyCorrector文本纠错工具实践和代码详解
weixin_39892311的博客
10-30 2327
PyCorrector文本纠错工具代码详解1. 简介 中文文本纠错工具。音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。python3.6开发。pycorrector依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。1.1 在线Demohttps://www.borntowin.cn/product/corrector1.2 Q...
中文文本纠错任务简介
zenRRan的博客
07-26 2065
每天给你送来NLP技术干货！来自：ChallengeHub最近在梳理中文文本纠错任务，文本根据搜集到的文章整理成的任务简介，在此先感谢大佬们分享的高质量资料。1任务简介中文文本纠错是针对中文文本拼写错误进行检测与纠正的一项工作，中文的文本纠错，应用场景很多，诸如输入法纠错、输入预测、ASR 后纠错等等，例如：写作辅助：在内容写作平台上内嵌纠错模块，可在作者写作时自动检查并...
语法型中文文本纠错方案探索
qq_44497995的博客
07-13 979
现在NLP的文本纠错还是以纠正拼写错误为主，本文章会对比几个具备语法纠错能力的中文模型，探索其在实际应用中的效果会如何。参与比对的模型或服务：Hanlp2.0文本纠错功能 百度智能云高级纠错功能（其实还测过ModelScope-Large模型,能力和百度智能云持平）ChatGPT3.5模型蓝色为原文有错误的位置或模型进行修改的位置红色为模型进行修改的内容，若是写的删除则是要删掉前面的蓝色文字
Chinese Spell Checking Based on Noisy Channel Model
朝闻道
01-28 124
https://www.aclweb.org/anthology/W14-6832.pdf​www.aclweb.org/anthology/W14-6832.pdf
python文本纠错
最新发布
04-03
### Python 文本自动纠错方法与库推荐 在 Python 中实现文本自动纠错可以通过多种方式完成，既可以利用现有的第三方库，也可以通过编写自定义算法来解决特定场景下的问题。以下是几种常用的技术方案以及相关库的介绍。 #### 使用 `TextBlob` 库 `TextBlob` 是一个简单易用的自然语言处理 (NLP) 工具包，支持许多 NLP 功能，其中包括拼写纠正。它基于 NLTK 和 Pattern 构建，能够快速检测并更正简单的拼写错误[^1]。 ```python from textblob import TextBlob text = "Ths is an exmple of txt with speling errors." corrected_text = str(TextBlob(text).correct()) print(corrected_text) ``` #### 利用 `pyspellchecker` 进行拼写检查 `pyspellchecker` 提供了一种高效的方式来进行单词级别的拼写检查和建议替代项。该库专注于性能优化，在大规模数据集上表现良好[^4]。 ```python from spellchecker import SpellChecker spell = SpellChecker() misspelled_word = "recieve" correction = spell.correction(misspelled_word) if correction != misspelled_word: print(f"'{misspelled_word}' -> '{correction}'") else: print("No corrections needed.") ``` #### 自定义模型结合机器学习框架 对于更加复杂的语境理解型错误（如语法结构问题），可以考虑构建自己的深度学习模型或者调用预训练的语言模型服务，比如 Hugging Face Transformers 或者 Google BERT 模型。这种方法虽然复杂度较高，但能显著提升准确性[^2]。 #### GUI界面提示用户修改错误单词实例 如果希望开发带有图形化交互的应用程序，则可参考如下代码片段展示如何向用户提供反馈信息[^3]: ```python import tkinter as tk from tkinter import messagebox def notify_user(): error_word = "example_wrong_spelling" messagebox.showinfo('Notice', f'The word "{error_word}" may be spelled incorrectly.') root = tk.Tk() button = tk.Button(root, text="Check Spelling", command=notify_user) button.pack() root.mainloop() ``` 上述提到的各种技术和工具各有优劣，开发者应根据实际应用场景选择最合适的解决方案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值