iioSnail的博客

该论文提出了一个医疗领域的CSC数据集。数据集大小：200K 个样本（医学专家人工标记）数据集来源：腾讯医典（https://baike.qq.com/）的查询日志作者还提供了一个benchmark模型作为baseline用户后续比较现有的CSC模型都是通用的(Open-Domain)，并不适用于特定领域（Specific Domain）。

如果你用Colab时老是让它在哪空闲，Google就会记住你，然后是不是就给你弹出人机验证，而且你的colab就特别容易断连。

目前中文BERT的做法和英文BERT一样，都是使用MLM任务和NSP任务进行训练的。但是，中文和英文不同，中文的拼音和字形也能为句子和词的语义提供信息。目前传统的做法忽略了这两个重要信息。所以作者就针对这一点，对BERT进行了改进，增加了这两种信息。

本文是参考大神bryanyzhu对MoCo论文的解读视频，并按照他的解读结合论文进行笔记总结。方便后续查阅。论文地址论文代码(官方)视频解读视频目录：00:00 ~ 01:40 介绍作者01:40 ~ 07:33 对比学习介绍07:33 ~ 09:12 标题和作者介绍09:12 ~ 12:03 摘要12:03 ~ 13:23 导论: NLP和CV信号空间的区别。13:23 ~ 17:08 导论: 将前人对比学习工作归纳成查询字典的任务。

存储模型参数后，重新加载接着训练，结果optimizer.step()报错。

本文为MDCSpell: A Multi-task Detector-Corrector Framework for Chinese Spelling Correction论文的Pytorch实现。论文大致内容：作者基于Transformer和BERT设计了一个多任务的网络来进行CSC（Chinese Spell Checking）任务（中文拼写纠错）。多任务分别是找出哪个字是错的和对错字进行纠正。

作者基于Transformer和BERT设计了一个多任务的网络来进行CSC（Chinese Spell Checking）任务（中文拼写纠错）。多任务分别是找出哪个字是错的和对错字进行纠正。

BERT全称BEncoderRTransformers，其是一个基于Transformer模型、使用无监督方式训练的预训练模型。只要简单的在BERT下游接个输出层进行特定的任务，可能就直接是SOTA(state-of-the-art)模型了，就这么牛。BERT的训练使用的是“masked laguage model”(MLM)预训练任务，具体为随机掩盖住输入中的部分词，目标就是根据上下文来预测这些被盖住的词是什么。例如：输入：我正在学习深度[MASK]，目前学到了BERT一节，有点[MASK]。

使用Soft-Masked BERT完成中文拼写纠错(Chinses Spell Checking, CSC)任务，并且该方法也适用于其他语言。Soft-Masked BERT = 双向GRU(Bi-GRU) + BERT其中Bi-GRU负责预测哪个地方有错误，BERT负责对错误进行修正。

使用课程学习(curriculum learning)完成中文拼写纠错(Chinese Spell Checking)任务

多模态中文拼写检查

Transformer各模块的逐行代码实现Transformer逐行代码的详细注释Transformer的训练和推理利用Transformer进行德译中实战

1. Transformer各模块的逐行代码实现2. Transformer逐行代码的详细注释3. Transformer的训练和推理4. 利用Transformer进行德译中实战

Tips and tricks for Neural Networks 深度学习训练神经网络的技巧总结

视频地址: https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php作业Github: https://github.com/ga642381/ML2021-Spring数据集汇总：

前言相关链接1. Introduction1. 1 Basic Idea of GAN1.2 GAN as structured learning1.3 Generator可以自己学吗？VAE（Variational Auto-encoder）2. CGAN, Conditional Generation by GAN2.1 discriminator的架构改进2.2 Stack GAN2.3 Image-to-image2.4 Speech Enhancement（提升语音的质量）

为什么要在Google Colab中使用Google Drive装载Google Drive从Google Drive中下载文件写入文件到Google DriveGoogle Colab下载Google Drive共享文件

国内购买Google Colab会员。申请国际信用卡

论文地址：https://arxiv.org/abs/1804.08348文章目录Abstract1. Introduction2. 数据集（Facial Expression Databases）3. Deep Facial Expression Recognition3.1 预处理（Preprocessing）3.1.1 人脸对奇（Face alignment）3.1.2 数据增强（Data augmentation）3.1.3 面部矫正（Face normalization）3.2 Deep n.

基本概念Classification with localization：在图像识别的基础上，要把图像给“框”出来。landmark detection：在一张图片中找到一些你想要的点的坐标。例如，你想要人脸的64个特征点的坐标。目标检测（Object Detection）：给一个图片，找出这个图片中有哪些物体，并把物体的类别标出来。Classification with localization思路：如果假设一个图片里只有一个物体，那就可以在原来图像分类的CNN的基础上，让 yyy 多五个

CICIDS2017官网：https://www.unb.ca/cic/datasets/ids-2017.html官网数据地址：http://205.174.165.80/CICDataset/CIC-IDS-2017/百度网盘链接链接：https://pan.baidu.com/s/1pPO6GJ16vQsfrTaB502T1g?pwd=b6bx提取码：b6bx

文章目录Abstract1. Introduction2. Related Work2.1 Anomaly Detection techniques for CPS2.2 Few-Shot Learning in Industrial Applications3 Few-shot Learning Model with Siamese CNN in CPS3.1 Problem DefinitionAbstract本论文提出了一种小样本学习模型 FSL-SCNN(Few-Shot Learning mo

0. Abstract传统的入侵检测系统（intrusion detection system）都是使用监督学习，没法应对小样本情况，所以作者提出了一种基于meta-learning的模型，该模型可以分辨一对网络流量（network traffic）是不是同一种类型（正常流量或恶意攻击）。作者提出的模型叫FC-Net，主要有两部分：特征提取（feature extraction network）：用于获取网络流量的特征比较（comparison network）：用于比较两个流量是否为一种类型

视频链接视频：https://www.youtube.com/watch?v=4pUmZ8hXlHMPPT：http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2020/Optimization.pdf本次课程会用到的符号（Notation）θt\theta_tθt​：第 ttt 步时，模型的参数ΔL(θt)\Delta L(\theta_t)ΔL(θt​) 或 gtg_tgt​ ：模型参数为 θt\theta_tθt​ 时，对应的梯度，用于计算 θt+1

本文内容常见问题：听课时感觉听懂了，一些代码，发现啥都不懂，各个参数的数值应如何指定呢？本文会以Pytorch为例，讲解CNN过程中各个参数应如何计算卷积层的相关概念图片的channel：图片的通道数，例如，当图片是彩色时，通道数为3，分别是RGB。如果图片是黑白的，那么通道数为1。每个通道对应的图片矩阵称为Feature Map，如果是3个通道，即3个Feature Map。卷积的计算过程：见图片滤波器（Filter）和卷积核（convolving kernel）：在上图中，这

上一篇：06 卷积神经网络CNN-学习笔记-李宏毅深度学习2021年度本文内容Self-Attention及Multi-head Attention的相关概念视频(上)链接视频(下)链接PPT链接课堂笔记序列模型的种类：1. 输入是一个Vector，输出是Scalar或Class2. 输入是一组Vector (数量不一定固定) ，输出是Scalar 或 Class3. 输入一组Vector，输出一组Vector，输入Vector的个数与输出Vector的个数一致。例如词性标注（P

上一篇：05 Classification-学习笔记-李宏毅深度学习2021年度本节内容及相关链接CNN的相关概念视频链接PPT链接课堂作业课程笔记卷积神经网络（Convolutional Neural Network，CNN）是专门为图片识别设计的，当然也可以用在其他的任务上卷积层：将图片各区域依次与多个Filter进行内积（inner product）操作，最终获取一个新的图片Filter: 一个( h×w×channelsh\times w \times \text{chann

上篇：04 自动调整学习率（Learning Rate）-学习笔记-李宏毅深度学习2021年度本节内容及相关链接视频链接PPT链接作业PPT链接课程笔记

上篇：03 梯度（Gradient）很小怎么办（Local Minima与Saddle Point）-学习笔记-李宏毅深度学习2021年度本节内容及相关链接TODO视频链接PPT链接课堂笔记

上篇：02 机器学习任务攻略-学习笔记-李宏毅深度学习2021年度本节内容及相关链接当loss不够好，且梯度接近为0时，应该怎么办？local minima和saddle pointbatchmomentum视频链接PPT链接课堂笔记local minima(局部最小值)：在损失函数的迭代过程中，当前参数陷入了局部最小值，即当前gradient为0，且周围点的gradient都是向着loss增大的方向三维空间中，如图：二维空间中，如图：saddle point：当前参数

上篇 01 机器(深度)学习介绍-学习笔记-李宏毅深度学习2021年度本节内容及相关链接模型训练的一些指导意见视频链接PPT链接课程笔记训练数据集，符号表示：{(x1,y^1),(x2,y^2),…,(xN,y^N)}\left\{\left(x^{1}, \hat{y}^{1}\right),\left(x^{2}, \hat{y}^{2}\right), \ldots,\left(x^{N}, \hat{y}^{N}\right)\right\}{(x1,y^​1),(x2,y^​2),

前言为了巩固深度学习知识，学习和复习了2021年度的李宏毅老师的深度学习课程在之后的笔记中，我会将字体分为红色，黄色，和绿色，分别表示重点，次重点和了解本节内容及相关链接机器学习与深度学习介绍视频链接PPT链接课堂作业课程笔记机器学习 ≈ 找出一个函数 使其可以解决能够解决我们的问题机器学习经历三个步骤：定义包含未知参数的函数定义损失函数定义优化方法模型太简单，导致具有局限线性，称为Model Bias为什么需要非线性激活函数？简单理解为：因为所有的分段函数

之前一直不理解为什么要在神经网络中引入非线性的激活函数（虽然理解为什么只有线性不行，但不理解为什么有了非线性就行了，不知道有没有和我一样的小伙伴），最近重温“李宏毅”深度学习时，恍然大悟。参考视频：【機器學習2021】預測本頻道觀看人數 (下) - 深度學習基本概念簡介：大约看前10分钟就可以明白如果不方便看坐飞机的同学，可以看我下面的整理为什么神经网络只有线性不行众数周知：机器学习的过程为：先假设出一个函数 fff，然后通过训练样本学习出函数 fff 的参数。假设我们现在要使用神经网络模拟如图

本文内容本文基于李宏毅老师对 Self-Attention 的讲解，进行理解和补充，并结合Pytorch代码，最终目的是使得自己和各位读者更好的理解Self-Attention李宏毅Self-Attention链接: https://www.youtube.com/watch?v=hYdO9CscNesPPT链接见视频下方通过本文的阅读，你可以获得以下知识：什么是Self-Attention，为什么要用Self-Attention？Self-Attention是如何做的？Self-Atten

事件的关系与运算A−B=A−AB=AB‾B=A‾  ⟺  AB=∅  且A∪B=Ω(1)吸收律  若A⊂B,则A∪B=B,AB=A(2)交换律  A∪B=B∪A,AB=BA(3)结合律  (A∪B)∪C=A∪(B∪C),(AB)C=A(BC)(4)分配律  A(B∪C)=AB∪AC,A∪BC=(A∪B)(A∪C),A(B−C)=AB−AC(5)对偶律  A∪B‾=Aˉ∩Bˉ,A∩B‾=A

什么情况下使用Embeddingnn.Embedding的基本用法nn.Embedding的其他常用参数nn.Embedding的可学习性

Transforms的基本概念transforms是torchvision下的一个模块，主要帮助用户方便的对图像数据进行处理它要求数据是(C, H, W)的三维数组，其中字母含义为：C: Channel, 图片的通道，例如R、G、BH,W, Height, Weight，图片的宽高使用PIL读取一张图片在使用Transforms前，先读取一张图片，用于后续使用from PIL import Imageimage = Image.open("images/mary.jpg")image

文章目录nn.Module的基本用法nn.Module的其他常用方法参考资料nn.Module的基本用法nn.Module是所有神经网络的基类，所以你的神经网络类也应该要继承这个基类当使用时，主要需要实现其两个方法：__init__：初始化方法，可以用于定义神经网络的结构forward: 前向传播，用于定义神经网络的前向传播例如，一个最简单的使用（非神经网络）：import torchimport torch.nn as nnclass Model(nn.Module): d

nn.Linear的基本用法nn.Linear定义一个神经网络的线性层，方法签名如下：torch.nn.Linear(in_features, # 输入的神经元个数 out_features, # 输出神经元个数 bias=True # 是否包含偏置 )Linear其实就是执行了一个转换函数，即：y=xAT+by = xA^T + by=xAT+b其中ATA^TAT是模型要学习的参数，b是偏置from torch impor

subplot参数详解plt.subplot(nrows, ncols, index, **kwargs)前三个参数分别为行数、列数、索引数。在说明之前，先尝试理解下图：该图中包含三个子图：子图1：(2,2,1) ，将总图切分成两行两列，在第1个方框中绘制图像。子图2：(2,2,2)，将总图切分成两行两列，在第2个方框中绘制图像子图3：(2,1,2)，将总图切分成两行一列，在这样的切分下前提下，在第2个方框中绘制图像。不知您看了上面的实例，是否理解。在划分子图时，并不像传统的表格一样，先