中文拼写纠错(CSC)任务各个数据集汇总与简介

已于 2024-10-22 09:31:31 修改
阅读量3.3k 收藏 37
点赞数 23
分类专栏： 收费专栏 文章标签： 中文拼写纠错 自然语言处理
于 2023-12-04 09:36:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/134776033
版权
本文分析了多个中文拼写纠错数据集，包括CSCD-IME的新闻源人工标注、Wang271K的形音近似构造、SIGHAN的外国人学中文样本，以及ECSpell和LEMON等多领域数据集，展示了它们的特征和适用性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

免费链接： Blogger(需翻Q)

文章目录

各数据集句子统计情况

Wang271K CSCD-IME(All) CSCD-IME(Train) CSCD-IME(Dev) CSCD-IME(Test) CSCD-IME(造的)
句子数量 271329 40000 30000 5000 5000 2,029,942
正确句子数量 320 21594 16211 2686 2697 265,316
错误句子数量 271009 18406 13789 2314 2303 1,764,626
最大句子长度 140 127 127 127 123 127</
了解本专栏 订阅专栏 解锁全文 超级会员免费看
中文文本纠错（CSC）任务Benchmark数据集SIGHAN介绍与预处理
iioSnail的博客
09-29 7549
SIGNHAN是台湾学者（所以里面都是繁体字）公开的用于中文文本纠错（CSC）百度网盘链接pwd=f9sd上述链接是官方提供的数据源文件，里面有许多错误，如果不想自己修改和预处理，可以直接跳到"第5章 预处理好的数据集"，直接使用。数据集句子数量句子平均长度错字数量SIGHAN13(训练集)70041.8343SIGHAN13(测试集)100074.31224SIGHAN14(训练集)343749.65122SIGHAN14(测试集)106250.0771。
贝叶斯拼写纠错数据集
05-03
机器学习课程中的一个案例 贝叶斯拼写纠错 数据集 big.txt
中文拼写纠错(CSC, Chinese Spelling Correct)一：综述、概述、简介、时间线
大漠帝国的博客
12-30 2953
CSC, 中文经典拼写纠错模型汇总(综述/概述)，分类：引入拼音字形信息，检测错误和纠错一体化融合，prompt对齐预训练，训练+微调方式的调整，前处理+后处理， 基于大模型。ReLM, C-LLM, MacBERT4CSC, MaskCorrect, BERT-MFT, ECOPO, SoftMask-BERT, Bi-DCSpell, ChineseBERT, SpellBERT, SCOPE, DCN, FASPell, Hybrid(Wang271k), CSCD-IME(+NS), MCSCSet
开源最强中文纠错大模型，超越华为17个点！
qq_43765734的博客
02-25 1067
是一个强大的中文拼写和语法纠错工具，开箱即用，后面会不断的跟进前沿的纠错方法和数据，不断更新开源模型。
中文文本纠错相关经典论文、数据集、系统等资源分享
lqfarmer的博客
10-17 1672
中文文本纠错又分为中文拼写纠错（Chinese Spelling Check, CSC）和语法纠错（Grammatical Error Correction, GEC）。中文拼写纠错任务对中文文本中的拼写纠错（别字、别词）进行检测和纠正。语法纠错任务纠正文本中不同类型的错误，包括拼写、标点、语法等类型错误。 本资源整理了中文文本纠错相关经典论文、数据集、系统等资源，需要自取。 资源整理自网络，源地址：https://github.com/destwang/CTCResou...
中文文本纠错数据集.zip
07-27
https://blog.csdn.net/kobeyu652453/article/details/106905191 该篇博文所用词库。如何用请参考博文
【论文向】NAACL2022 汉语纠错多源、多参考数据集MuCGEC
阿芒Aris的博客
05-23 2337
NAACL2022 汉语纠错多源、多参考数据集MuCGEC
北语发布 | 汉语学习者文本多维标注数据集YACLC V1.0 -- 文本纠错方向
zenRRan的博客
01-06 596
我组杨尔弘教授于2021年12月30日出席北京智源人工智能研究院自然语言处理前沿技术开放日活动，并汇报了汉语学习者文本多维标注数据集建设的最新成果。智能辅助语言学习是跨自然语言理解与生成两...
文献阅读笔记-CSC-数据集-A Hybrid Approach to Automatic Corpus Generation for Chinese Spelling Check
weixin_43481320的博客
01-27 2198
A Hybrid Approach to Automatic Corpus Generation for Chinese Spelling Check 文献阅读笔记 一、做了什么和怎么做的（很简单） 初读的理解： 这篇论文做的事情，就是给CSC任务提供数据，做了一个该任务下的数据生成。 做法：大量无标注数据，根据 形近似和音近似 两个方面来替换其中的一部分字符。 形近：把一个字转化为图片，把图片模糊一部分，用OCR对她进行扫描，选出识别错误的，去进行替换。 音近：收集普通话演讲语料和演讲，用ASR对演讲进行
中文文本纠错
最新发布
技术引领业务创新
04-09 3万+
当然，针对不同业务场景，这些问题并不一定全部存在，比如拼音输入法、语音识别校对关注音似错误；五笔输入法、OCR校对关注形似错误， 搜索引擎/问答query纠错关注所有错误类型。依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。3.可以考虑在query改写的时候把纠错给做了。glm4 ds-r1（Q2）只需运行一次，后续会从本地缓存读取，不用重复下载。使用的天津A100环境，GPU显存80G。4.资源（下周）用在线不考虑资源。在加载模型的一瞬间会。
text error correction文本纠错数据集
10-16
SIGHAN+Wang271K中文纠错数据集(27万条)，是通过原始SIGHAN13、14、15年数据集和Wang271K数据集格式转化后得到，json格式，带错误字符位置信息，SIGHAN为test.json， macbert4csc模型训练可以直接用该数据集复现paper准召结果，详见pycorrector/macbert/README.md。 NLPCC 2018 GEC官方数据集NLPCC2018-GEC， 训练集trainingdata[解压后114.5MB]，该数据格式是原始文本，未做切词处理。 汉语水平考试（HSK）和lang8原始平行语料[HSK+Lang8]百度网盘（密码n31j），该数据集已经切词，可用作数据扩增。 NLPCC 2018 + HSK + CGED16、17、18的数据，经过以字切分，繁体转简体，打乱数据顺序的预处理后，生成用于纠错的熟语料(nlpcc2018+hsk) ，百度网盘（密码:m6fg） [130万对句子，215MB] https://github.com/shibing624/pycorrector
Chinese-abbreviation-dataset:这是一个中文缩略语料库，包括否定完整形式
08-05
中文缩写语料库 这是论文《A Chinese Dataset with Negative Full Forms for General Abbreviation Prediction》 发布的数据集。 缩写是跨语言的普遍现象，尤其是在汉语中。 在大多数情况下，如果一个表达式可以缩写，那么它的缩写比其完全扩展的形式使用得更频繁，因为人们倾向于以最简洁的方式传达信息。 对于各种语言处理任务，缩写是提高性能的障碍，因为缩写的文本形式不能表达有用的信息，除非将其扩展为完整形式。 缩写预测意味着将完全展开的形式与其缩写相关联。 然而，由于缩写语料库的不足，这样的任务在当前的研究中受到限制，特别是考虑到一般的缩写预测还应该包括那些没有有效缩写的完整形式表达，即否定完整形式（NFFs）。 包含用于一般缩写预测的否定完整形式的语料库数量很少。 为了促进该领域的研究，我们构建了一个通用中文缩写预测数据集，
csc500-dataset-downloader:从东北大学图书馆下载数据集的工具
03-14
描述 这是实用程序脚本的集合，可以轻松地从东北大学的图书馆（Al Shawabka等人的数据集所在的位置）下载批量文件。 动机 NEU图书馆的数据存储库服务速度很慢，并且容易出错。 我有多个下载停顿，排队太多的文件导致压缩下载中的文件被遗漏，并且压缩过程需要很长时间。 我发现只编写脚本来抓取网站并手动下载每个文件会更容易。 作品及其目的 collection_finder.py 在NEU页面上查找所有集合 download_finder.py 在NEU页面上查找所有下载 get_downloads.bash 将collection_finder.py和download_finder.py捆绑在一起，以获得给定实验的所有下载链接。 steves_downloader.py 使用Selenium和无头镀Chrome来实际下载链接。 请注意，这可能太过苛刻了，但这是我想出的，并且可以正常
文本纠错序言
Starry的个人学习分享
08-03 451
文本纠错序言
文本纠错
qq_34438672的博客
06-22 604
https://github.com/fushengwuyu/chinese_spelling_correction
中文拼写纠错医疗领域数据集 MCSCSet: A Specialist-annotated Dataset for Medical-domain Chinese Spelling Correction
iioSnail的博客
11-28 897
该论文提出了一个医疗领域的CSC数据集。数据集大小：200K 个样本（医学专家人工标记）数据集来源：腾讯医典（https://baike.qq.com/）的查询日志作者还提供了一个benchmark模型作为baseline用户后续比较现有的CSC模型都是通用的(Open-Domain)，并不适用于特定领域（Specific Domain）。
拼写纠错（Spelling Correct）技术方案总结
Lmoermo的博客
09-03 1979
1 纠错基础知识 1.1 常见错误类型 1.2 纠错组成模块 2 深度学习技术 2.1 FASPell（爱奇艺） 2.1.1 技术方案 2.1.1.1 背景 2.1.1.2 模型结构 2.1.1.3 训练过程 2.1.2 优点和缺点 2.2 SpellGCN （阿里） 2.2.1 技术方案 2.2.1.1 背景 2.2.1.2 模型结构 2.2.1.3 训练过程 2.2
PC-FractalDB：基于分形几何的点云预训练数据集与高性能模型
"本文介绍了一种新型的3D点云数据集构建方法——PC-FractalDB，该数据集基于分形几何原理，用于解决3D场景理解和对象检测中的挑战。作者提出，通过学习自然3D结构的分形特性，可以更有效地训练预训练模型。实验结果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值