机器学习
文章平均质量分 85
iioSnail
求职:Java,工作地:上海,有意请私信
展开
-
数字人项目 ER-NeRF 的使用和部署详细教程
ER-NeRF(官方链接)是一个(对嘴型)项目。即:给一段某人说话的视频,再给定一段音频,经过该模型后处理后,可将原视频的嘴型与音频保持一致。可以做到实时响应。即模型比较小,处理速度快。需要对“要对嘴型的视频”进行训练。也就是每段视频对应一个模型生成出的头部不够稳定。原创 2024-04-11 14:25:29 · 810 阅读 · 0 评论 -
【论文解读】(CSC任务的音标和字形信息到底用了多少?)Investigating Glyph-Phonetic Information for Chinese Spell Checking
许多中文拼写检查(Chiniese Spell Checking, CSC)模型都使用了“字形信息+拼音信息”(glyph-phonetic)来进行预测,但是**“这些glyph-phonetic信息到底被用了多少”是不清楚的**,所以作者提出了两个新的方法来验证,同时也可以提升模型的泛化能力。Q1:现有的中文预训练模型(Chinese pre-trained models)编码了glyph-phonetic信息了吗?原创 2023-12-05 13:40:18 · 972 阅读 · 0 评论 -
中文拼写纠错(CSC)任务各个数据集汇总与简介
论文地址论文代码用于生成违数据集对预测结果进行评价作者知乎数据集年份:2022-11CSCD-IME全称:Chinese Spelling Correction Dataset for errors generated by pinyin IME数据集只关注“拼音输入法”导致的错误数据来源:经过认证的新闻媒体机构在微博上发布的博文(例如人民日报)训练集:3w,验证集5k,测试集3k。均为人工标注模拟“拼音输入法”导致的错误,构建了200w个违数据集。原创 2023-12-04 09:36:51 · 1577 阅读 · 0 评论 -
【论文笔记】SDCL: Self-Distillation Contrastive Learning for Chinese Spell Checking
论文提出了一种token-level的自蒸馏对比学习(self-distillation contrastive learning)方法。作者并没有直接使用BERT的输出作为token embedding,而是使用点乘的方式融合了BERT的输出和word embeddings。原创 2023-11-29 12:11:59 · 1351 阅读 · 0 评论 -
中文拼写纠错医疗领域数据集 MCSCSet: A Specialist-annotated Dataset for Medical-domain Chinese Spelling Correction
该论文提出了一个医疗领域的CSC数据集。数据集大小:200K 个样本(医学专家人工标记)数据集来源:腾讯医典(https://baike.qq.com/)的查询日志作者还提供了一个benchmark模型作为baseline用户后续比较现有的CSC模型都是通用的(Open-Domain),并不适用于特定领域(Specific Domain)。原创 2023-11-28 16:56:33 · 495 阅读 · 0 评论 -
【论文源码解读】(中文拼写检查, CSC)SCOPE:Improving Chinese Spelling Check by Character Pronunciation Prediction
作者提出了CPP辅助任务,可以让Encoder模型学会对汉语拼音进行编码。作者提供了一个 预训练好的SCOPE模型,后续的CSC任务可以用这个做迁移学习作者提出了CIC(约束矫正方法),可以用在预测阶段。原创 2023-11-27 10:54:21 · 982 阅读 · 0 评论 -
详解使用sklearn实现一元线性回归和多元线性回归
简单的线性回归就是使用一根直线去拟合一种趋势。例如:我们有一批房屋面积与房价的数据。X = [100, 110, 120, 130, 140] # 房屋面积(m^2)y = [100 * 1, 110 * 1.05, 120 * 1.1, 130 * 0.95, 140 * 0.9] # 房价(万元)plt.show()此时,我们通过观察图像,可以假设房屋面积与房价是呈一种线性关系的。房价a∗房屋面积b房价=a * 房屋面积 + b房价a∗房屋面积b。但我们并不知道aaa和。原创 2023-10-18 11:18:16 · 3560 阅读 · 1 评论 -
【论文解读】(如何微调BERT?) How to Fine-Tune BERT for Text Classification?
用BERT做具体任务时效果不够好?这篇论文教你如何微调BERT原创 2023-04-30 22:46:43 · 5002 阅读 · 7 评论 -
模型泛化技巧“随机权重平均(Stochastic Weight Averaging, SWA)”介绍与Pytorch Lightning的SWA实现讲解
SWA,全程为“Stochastic Weight Averaging”(随机权重平均)。它是一种深度学习中提高模型泛化能力的一种常用技巧。其思路为:**对于模型的权重,不直接使用最后的权重,而是将之前的权重做个平均**。该方法适用于深度学习,不限领域、不限Optimzer,可以和多种技巧同时使用。原创 2023-04-08 22:35:56 · 1687 阅读 · 0 评论 -
图解通俗理解对比学习(Contrastive Learning)中的温度系数(temperature)
对比学习可以让相似的样本在空间中距离近一点,让不相似的样本距离远一点。这样就可以让特征分布在空间中更加均匀。但其中有个温度系数,大家虽然都见过,但可能一直都不明白这个系数的作用和取值,本文将会用最通俗的语言、图示加实验来进行解释,保证人人都能看懂原创 2023-03-12 09:40:02 · 3084 阅读 · 0 评论 -
FocalLoss原理通俗解释及其二分类和多分类场景下的原理与实现
FocalLoss原理通俗解释及其二分类和多分类场景下的原理与实现原创 2023-02-20 17:20:51 · 4905 阅读 · 18 评论 -
中文文本纠错(Chinese Spell Checking, CSC)任务各个论文的评价指标
本文汇总了中文文本纠错(Chinese Spell Checking)任务在各个开源项目中的评价指标,他们虽然写法不同,但大部分本质是相同的,但也有少部分论文的评价指标存在问题或其他论文不一致,本文对他们的指标代码进行了分析,并说明了其中的问题。原创 2023-02-18 14:09:06 · 2002 阅读 · 1 评论 -
Google Colab运行完后如何自动断开连接?
如果你用Colab时老是让它在哪空闲,Google就会记住你,然后是不是就给你弹出人机验证,而且你的colab就特别容易断连。原创 2023-01-11 22:01:49 · 1042 阅读 · 0 评论 -
【论文笔记】MacBert:Revisiting Pre-trained Models for Chinese Natural Language Processing
作者提出了一个中文Bert,起名为MacBert。该模型采用的mask策略(作者提出的)是MLMasc作者用MacBert在8个NLP任务上进行了测试,大部分都能达到SOTA提出了新的MacBert模型,其缓和了pre-training阶段和fine-tuning阶段的gap。采用的方式是“mask字时,采用相似的字进行mask”原创 2023-01-11 14:00:00 · 930 阅读 · 1 评论 -
【论文解读】(拼音+字形+字三种信息的中文BERT)ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information
目前中文BERT的做法和英文BERT一样,都是使用MLM任务和NSP任务进行训练的。但是,中文和英文不同,中文的拼音和字形也能为句子和词的语义提供信息。目前传统的做法忽略了这两个重要信息。所以作者就针对这一点,对BERT进行了改进,增加了这两种信息。原创 2022-11-28 15:50:25 · 1142 阅读 · 2 评论 -
Bert的pooler_output是什么?
在学习bert的时候,我们知道bert是输出每个token的embeding。但在使用hugging face的bert模型时,发现除了还多了一个输出。许多人可能以为是[CLS]token的embedding,但使用比较后,发现又不是,然后就很奇怪。原创 2022-11-21 13:45:01 · 9657 阅读 · 12 评论 -
【论文笔记】(对比学习经典论文MoCo) Momentum Contrast for Unsupervised Visual Representation Learning
本文是参考大神bryanyzhu对MoCo论文的解读视频,并按照他的解读结合论文进行笔记总结。方便后续查阅。论文地址论文代码(官方)视频解读视频目录:00:00 ~ 01:40 介绍作者01:40 ~ 07:33 对比学习介绍07:33 ~ 09:12 标题和作者介绍09:12 ~ 12:03 摘要12:03 ~ 13:23 导论: NLP和CV信号空间的区别。13:23 ~ 17:08 导论: 将前人对比学习工作归纳成查询字典的任务。原创 2022-11-19 16:47:24 · 911 阅读 · 0 评论 -
Pytorch加载模型后optimizer.step()报RuntimeError: output with shape...错误
存储模型参数后,重新加载接着训练,结果optimizer.step()报错。原创 2022-10-28 13:45:03 · 1287 阅读 · 0 评论 -
中文文本纠错(CSC)任务Benchmark数据集SIGHAN介绍与预处理
SIGNHAN是台湾学者(所以里面都是繁体字)公开的用于中文文本纠错(CSC)百度网盘链接pwd=f9sd上述链接是官方提供的数据源文件,里面有许多错误,如果不想自己修改和预处理,可以直接跳到"第5章 预处理好的数据集",直接使用。数据集句子数量句子平均长度错字数量SIGHAN13(训练集)70041.8343SIGHAN13(测试集)100074.31224SIGHAN14(训练集)343749.65122SIGHAN14(测试集)106250.0771。原创 2022-09-29 17:24:32 · 5344 阅读 · 4 评论 -
【论文复现】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction论文复现
本文为MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction论文的Pytorch实现。论文大致内容:作者基于Transformer和BERT设计了一个多任务的网络来进行CSC(Chinese Spell Checking)任务(中文拼写纠错)。多任务分别是找出哪个字是错的和对错字进行纠正。原创 2022-09-25 11:12:04 · 1880 阅读 · 4 评论 -
【论文笔记】MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction
作者基于Transformer和BERT设计了一个多任务的网络来进行CSC(Chinese Spell Checking)任务(中文拼写纠错)。多任务分别是找出哪个字是错的和对错字进行纠正。原创 2022-09-22 15:24:22 · 922 阅读 · 5 评论 -
【论文阅读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT全称BEncoderRTransformers,其是一个基于Transformer模型、使用无监督方式训练的预训练模型。只要简单的在BERT下游接个输出层进行特定的任务,可能就直接是SOTA(state-of-the-art)模型了,就这么牛。BERT的训练使用的是“masked laguage model”(MLM)预训练任务,具体为随机掩盖住输入中的部分词,目标就是根据上下文来预测这些被盖住的词是什么。例如:输入:我正在学习深度[MASK],目前学到了BERT一节,有点[MASK]。原创 2022-09-16 16:04:04 · 1299 阅读 · 0 评论 -
BERT源码实现与解读(Pytorch)
使用nn.Transformer构建BERT模型,并使用样例样本使用MLM任务和NSP任务训练BERT原创 2022-09-16 16:01:39 · 2482 阅读 · 2 评论 -
【论文阅读】Spelling Error Correction with Soft-Masked BERT
使用Soft-Masked BERT完成中文拼写纠错(Chinses Spell Checking, CSC)任务,并且该方法也适用于其他语言。Soft-Masked BERT = 双向GRU(Bi-GRU) + BERT其中Bi-GRU负责预测哪个地方有错误,BERT负责对错误进行修正。原创 2022-09-05 15:50:18 · 883 阅读 · 0 评论 -
【论文阅读】Contextual Similarity is More Valuable ...: Curriculum Learning for Chinese Spell Checking
使用课程学习(curriculum learning)完成中文拼写纠错(Chinese Spell Checking)任务原创 2022-09-03 11:26:26 · 348 阅读 · 0 评论 -
【论文阅读】ReaLiSe:Read, Listen, and See: Leveraging Multimodal Information Helps Chinese Spell Checking
多模态中文拼写检查原创 2022-09-02 16:41:09 · 768 阅读 · 1 评论 -
Pytorch入门实战(8):小样本学习实现图片分类(Few-shot Learning, Meta Learning)
本文会使用Omniglot数据集训练一个孪生网络(相似网络),其可以用来判断两个图片的相似程度,通过该方式来实现小样本学习。本文使用Omniglot的训练集来训练神经网络,使用其验证集来构造Support Set。本文会从验证集的每个类别中拿出5个样本作为Support Set,一共挑选10个类别,即为10-way 5-shot的小样本学习。原创 2022-08-21 18:35:00 · 7892 阅读 · 1 评论 -
Pytorch入门实战(7):基于BERT实现文本隐喻二分类(Kaggle入门题目)
Bert入门实战,文本二分类问题原创 2022-08-19 16:10:48 · 2879 阅读 · 0 评论 -
【强化学习】 OpenAI Gym入门:基础组件(Getting Started With OpenAI Gym: The Basic Building Blocks)
【强化学习】 OpenAI Gym入门:基础组件(Getting Started With OpenAI Gym: The Basic Building Blocks)原创 2022-08-17 17:35:40 · 5153 阅读 · 1 评论 -
Hugging Face快速入门(重点讲解模型(Transformers)和数据集部分(Datasets))
1. Hugging Face是什么,提供了哪些内容2. Hugging Face模型的使用(Transformer类库)3. Hugging Face数据集的使用(Datasets类库)原创 2022-08-08 11:29:23 · 43919 阅读 · 13 评论 -
如何批量下载hugging face模型和数据集文件
如何批量下载hugging face模型和数据集文件原创 2022-08-08 10:44:33 · 26434 阅读 · 9 评论 -
Pytorch入门实战(5):基于nn.Transformer实现机器翻译(英译汉)
本文将使用Pytorch提供的nn.Transformer实现英文到中文的机器翻译任务。对nn.Transformer的讲解,可以参考我的另一篇博文Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解,建议先学习该文的CopyTask任务,然后再来看该篇就容易多了。......原创 2022-08-05 12:30:25 · 14289 阅读 · 55 评论 -
万字逐行解析与实现Transformer,并进行德译英实战(三)
Transformer各模块的逐行代码实现Transformer逐行代码的详细注释Transformer的训练和推理利用Transformer进行德译中实战原创 2022-07-31 14:51:28 · 1829 阅读 · 9 评论 -
万字逐行解析与实现Transformer,并进行德译英实战(一)
1. Transformer各模块的逐行代码实现2. Transformer逐行代码的详细注释3. Transformer的训练和推理4. 利用Transformer进行德译中实战原创 2022-07-31 14:44:45 · 3653 阅读 · 10 评论 -
Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
1. Transformer的训练过程讲解2. Transformer的推理过程讲解3. Transformer的入参和出参讲解4. nn.Transformer的各个参数讲解5. nn.Transformer的mask机制详解6. 实战:使用nn.Transformer训练一个copy任务。原创 2022-07-28 12:24:18 · 67411 阅读 · 52 评论 -
Tips and tricks for Neural Networks 深度学习训练神经网络的技巧总结(不定期更新)
Tips and tricks for Neural Networks 深度学习训练神经网络的技巧总结原创 2022-07-22 11:32:34 · 1558 阅读 · 2 评论 -
MultiHead-Attention和Masked-Attention的机制和原理
二. MultiHead Attention2.1 MultiHead Attention理论讲解2.2. Pytorch实现MultiHead Attention三. Masked Attention3.1 为什么要使用Mask掩码3.2 如何进行mask掩码3.3 为什么是负无穷而不是0原创 2022-07-18 19:13:26 · 17034 阅读 · 9 评论 -
pytorch 自定义损失函数、优化器(Optimizer)和学习率策略(Scheduler)
梯度下降回顾Pytorch 实现梯度下降与参数更新自定义损失函数自定义优化器自定义学习率策略使用 `LambdaLR` 实现简单的学习率策略通过继承 `_LRScheduler` 实现自定义的学习率策略通过手动更新Optimizer中的学习率来自定义学习策略......原创 2022-07-14 22:35:18 · 7063 阅读 · 1 评论 -
李宏毅2021春季spring作业数据集汇总(百度网盘链接)
视频地址: https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php作业Github: https://github.com/ga642381/ML2021-Spring数据集汇总:原创 2022-07-12 14:17:34 · 1104 阅读 · 0 评论 -
Pytorch入门实战(6):基于GAN生成简单的动漫人物头像
Pytorch入门实战(6):基于GAN生成简单的动漫人物头像原创 2022-07-08 13:33:08 · 5923 阅读 · 28 评论