中文文本纠错（CSC）任务Benchmark数据集SIGHAN介绍与预处理

已于 2024-10-22 09:46:51 修改
阅读量7.5k 收藏 42
点赞数 18
分类专栏： 收费专栏 文章标签： 深度学习 NLP
于 2022-09-29 17:24:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaohongfei_358/article/details/127093838
版权

免费链接： Blogger(需翻Q)

文章目录

1. SIGHAN数据集简介

SIGNHAN是台湾学者（所以里面都是繁体字）公开的用于 中文文本纠错（CSC） 任务的数据集，其目前包含三个版本：

SIGHAN Bake-off 2013: http://ir.itc.ntnu.edu.tw/lre/sighan7csc.html
SIGHAN Bake-off 2014: http://ir.itc.ntnu.edu.tw/lre/clp14csc.html
SIGHAN Bake-off 2015: http://ir.itc.ntnu.edu.tw/lre/sighan8csc.ht

了解本专栏 订阅专栏 解锁全文 超级会员免费看
中文拼写纠错(CSC)任务各个数据集汇总与简介
iioSnail的博客
12-04 3380
论文地址论文代码用于生成违数据集对预测结果进行评价作者知乎数据集年份：2022-11CSCD-IME全称：Chinese Spelling Correction Dataset for errors generated by pinyin IME数据集只关注“拼音输入法”导致的错误数据来源：经过认证的新闻媒体机构在微博上发布的博文（例如人民日报）训练集：3w，验证集5k，测试集3k。均为人工标注模拟“拼音输入法”导致的错误，构建了200w个违数据集。
中文文本纠错(Chinese Spell Checking, CSC)任务各个论文的评价指标
iioSnail的博客
02-18 3311
本文汇总了中文文本纠错(Chinese Spell Checking)任务在各个开源项目中的评价指标，他们虽然写法不同，但大部分本质是相同的，但也有少部分论文的评价指标存在问题或其他论文不一致，本文对他们的指标代码进行了分析，并说明了其中的问题。
中文文本纠错数据集.zip
07-27
https://blog.csdn.net/kobeyu652453/article/details/106905191 该篇博文所用词库。如何用请参考博文
开源最强中文纠错大模型，超越华为17个点！
qq_43765734的博客
02-25 1067
是一个强大的中文拼写和语法纠错工具，开箱即用，后面会不断的跟进前沿的纠错方法和数据，不断更新开源模型。
中文文本纠错相关经典论文、数据集、系统等资源分享
lqfarmer的博客
10-17 1672
中文文本纠错又分为中文拼写纠错（Chinese Spelling Check, CSC）和语法纠错（Grammatical Error Correction, GEC）。中文拼写纠错任务对中文文本中的拼写纠错（别字、别词）进行检测和纠正。语法纠错任务纠正文本中不同类型的错误，包括拼写、标点、语法等类型错误。 本资源整理了中文文本纠错相关经典论文、数据集、系统等资源，需要自取。 资源整理自网络，源地址：https://github.com/destwang/CTCResou...
北语发布 | 汉语学习者文本多维标注数据集YACLC V1.0 -- 文本纠错方向
zenRRan的博客
01-06 596
我组杨尔弘教授于2021年12月30日出席北京智源人工智能研究院自然语言处理前沿技术开放日活动，并汇报了汉语学习者文本多维标注数据集建设的最新成果。智能辅助语言学习是跨自然语言理解与生成两...
SIGHAN国际汉语分词数据集backoff2005
05-08
2nd International Chinese Word Segmentation Bakeoff - Data Release Release 1, 2005-11-18 * Introduction This directory contains the training, test, and gold-standard data used in the 2nd International Chinese Word Segmentation Bakeoff. Also included is the script used to score the results submitted by the bakeoff participants and the simple segmenter used to generate the baseline and topline data.
text error correction文本纠错数据集
10-16
SIGHAN+Wang271K中文纠错数据集(27万条)，是通过原始SIGHAN13、14、15年数据集和Wang271K数据集格式转化后得到，json格式，带错误字符位置信息，SIGHAN为test.json， macbert4csc模型训练可以直接用该数据集复现...
SIGHAN中文纠错数据集及转换后格式.zip
10-19
《SIGHAN中文纠错数据集及其转换格式详解》 SIGHAN（Simplified Chinese, Grammar Error Correction and Hanyu Pinyin）中文纠错数据集是针对汉语语法错误检测和拼音标注的一项重要资源，由新加坡国立大学的计算...
【论文向】NAACL2022 汉语纠错多源、多参考数据集MuCGEC
阿芒Aris的博客
05-23 2337
NAACL2022 汉语纠错多源、多参考数据集MuCGEC
sighan-bakeoff
08-16
著名的Sighan Bakeoff语料。包含了训练集、测试集及测试集的（黄金）标准切分，同时也包括了一个用于评分的脚本和一个可以作为基线测试的简单中文分词器。
文本纠错序言
Starry的个人学习分享
08-03 451
文本纠错序言
中文文本纠错
最新发布
技术引领业务创新
04-09 3万+
当然，针对不同业务场景，这些问题并不一定全部存在，比如拼音输入法、语音识别校对关注音似错误；五笔输入法、OCR校对关注形似错误， 搜索引擎/问答query纠错关注所有错误类型。依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。3.可以考虑在query改写的时候把纠错给做了。glm4 ds-r1（Q2）只需运行一次，后续会从本地缓存读取，不用重复下载。使用的天津A100环境，GPU显存80G。4.资源（下周）用在线不考虑资源。在加载模型的一瞬间会。
文本纠错
qq_34438672的博客
06-22 604
https://github.com/fushengwuyu/chinese_spelling_correction
文本预处理 |（4）文本纠错
qq_40276310的博客
11-23 1237
一般有两种文本纠错的类型： 1.Non-word拼写错误 首先看一下Non-word的拼写错误，这种错误表示此词汇本身在字典中不存在，比如把“要求”误写为“药求”，把“correction”误拼写为“corrction”。寻找这种错误很简单，例如分完词以后找到哪个词在词典中不存在，那么这个词就可能是错误拼出来的的词。 操作步骤 • 找到候选词 • 接着基于特定算法找出与错拼词关联最高的一个或多个单词作为纠正选项 如何确定候选项呢？ • 英文：编辑距离 • 中文：拼写相近、字形相近 如何找出最关联项
中文文本数据集
akenseren的博客
05-21 1093
1. 中文任务基准测评
中文拼写纠错_请问，中文文本纠错如何做？
weixin_39699070的博客
12-18 277
感谢 @顾颜兮 提到的一个比赛。这个是另外一个比赛，https://sites.google.com/view/nlptea2018，简称CGED吧。从数据上看，两个比赛都是非母语环境。CGED的比赛我测试了2017年的SOTA，距离实际使用还有很远的距离。比赛比的是相对优势而非绝对优势。首先关键在于定义要识别的错误类型。CGED的比赛定义了四种错误类型，多词，少词，错词和词序不当。我们自己做的应...
PC-FractalDB：基于分形几何的点云预训练数据集与高性能模型
"本文介绍了一种新型的3D点云数据集构建方法——PC-FractalDB，该数据集基于分形几何原理，用于解决3D场景理解和对象检测中的挑战。作者提出，通过学习自然3D结构的分形特性，可以更有效地训练预训练模型。实验结果...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iioSnail

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值