课程笔记-李宏毅
文章平均质量分 91
2020春季李宏毅老师的【Deep Learning for Human Language Processing】课程笔记
七元权
不会喝酒的程序员不是好的诗人
展开
-
【课程笔记】李弘毅2020 Deep Learning for Human Language Processing
这是我在学习李弘毅老师的2020春季课程【Deep Learning for Human Language Processing】时做的课程笔记。原创 2020-05-04 19:25:58 · 2328 阅读 · 3 评论 -
Chapter7-13_Dialogue State Tracking (as Question Answering)
文章目录1 什么是Dialogue State Tracking2 数据集3 两个挑战4 经典模型本文为李弘毅老师【Dialogue State Tracking (as Question Answering)】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 7-12 Controllable Chatbot下篇 - 无总目录1 什么是Dialogue State TrackingDialo原创 2021-03-20 18:52:20 · 402 阅读 · 0 评论 -
Chapter7-12_Controllable Chatbot
文章目录1 Chatbot面临的问题2 控制Chatbot的输出2.1 直接Finetune2.2 输入添加控制特征2.3 只有独白3 展望本文为李弘毅老师【Controllable Chatbot】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 7-11 Deep Learning for Question Answering (2/2)下篇 - 待更新总目录1 Chatbot面临的问题什原创 2021-03-13 20:18:23 · 200 阅读 · 0 评论 -
Chapter7-11_Deep Learning for Question Answering (2/2)
文章目录1 Simple Question: Match & Extract2 Complex Question: Reasoning3 Dialogue QA本文为李弘毅老师【Deep Learning for Question Answering (2/2)】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 7-10 Deep Learning for Question Answerin原创 2021-02-21 19:54:01 · 252 阅读 · 0 评论 -
Chapter7-10_Deep Learning for Question Answering (1/2)
文章目录1 什么是Question Answering(QA)2 按答案分类2.1 答案是一个单词2.2 答案是多个选项2.3 答案是source中的一段话2.4 答案是生成的一段话3 按source分类3.1 source是网页3.2 source是图片或者视频3.3 source是语音3.4 source是视频本文为李弘毅老师【Deep Learning for Question Answering (1/2)】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自原创 2021-02-16 14:54:34 · 255 阅读 · 0 评论 -
Chapter7-9_Deep Learning for Dependency Parsing
文章目录1本文为李弘毅老师【Deep Learning for Dependency Parsing】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 7-8 Deep Learning for Constituency Parsing下篇 - 待更新总目录1...原创 2021-02-15 20:04:07 · 197 阅读 · 0 评论 -
Chapter7-8_Deep Learning for Constituency Parsing
文章目录1 什么是Constituency Parsing2 解决方案2.1 Chart-based Approach2.2 Transition-based Approach2.3 Grammer as Foreign Language本文为李弘毅老师【Deep Learning for Constituency Parsing】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 7-7 Deep L原创 2020-12-12 18:36:47 · 276 阅读 · 0 评论 -
Chapter7-7_Deep Learning for Coreference Resolution
文章目录1 什么是coreference resolution2 模型架构本文为李弘毅老师【Deep Learning for Coreference Resolution】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 7-6 Text Style Transfer下篇 - 待更新总目录1 什么是coreference resolutioncoreference resolution翻译过原创 2020-11-08 16:23:34 · 267 阅读 · 0 评论 -
Chapter7-6_Text Style Transfer
文章目录1 什么是Text Style Transfer2 Cycle GAN2.1 Gumbel-softmax2.2 Continuous Input for Discriminator2.3 Reinforcement Learning2.4 效果3 Star GAN4 Feature Disentangle5 Unsupervised Abstractive Summarization本文为李弘毅老师【Text Style Transfer】的课程笔记,课程视频youtube地址,点这里????(原创 2020-10-07 15:23:36 · 953 阅读 · 0 评论 -
Chapter7-5_Multilingual BERT
文章目录1 什么是Multilingual BERT2 Zero-shot Reading Comprehension本文为李弘毅老师【Multilingual BERT】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 7-4 來自獵人暗黑大陸的模型 GPT-3下篇 - 待更新总目录1 什么是Multilingual BERT世界上的语言有几千种,如果我们需要某个语言的BERT预训练模型,就原创 2020-09-19 17:16:55 · 1051 阅读 · 0 评论 -
Chapter7-4_來自獵人暗黑大陸的模型 GPT-3
文章目录1 为何来自暗黑大陆2 GPT-3的野心3 GPT-3的效果4 Beyond GPT-3本文为李弘毅老师【來自獵人暗黑大陸的模型 GPT-3】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 7-3 BERT and its family - ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more下篇 - 待更新总目录1原创 2020-08-30 17:01:31 · 1795 阅读 · 0 评论 -
Chapter7-3_BERT and its family - ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more
文章目录1 How to pre-train2 Predict next token3 Mask Input4 seq2seq的pre-train model5 ELECTRA6 Sentence Embedding本文为李弘毅老师【BERT and its family - ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT原创 2020-08-22 20:33:49 · 1985 阅读 · 0 评论 -
Chapter7-2_BERT and its family - Introduction and Fine-tune
文章目录1本文为李弘毅老师【BERT and its family - Introduction and Fine-tune】的课程笔记,这次课程由助教同学許博竣讲授,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 7-1 Overview of NLP Tasks下篇 - 待更新总目录1...原创 2020-08-15 16:01:52 · 441 阅读 · 0 评论 -
Chapter7-1_Overview of NLP Tasks
文章目录1 Introduction2 Part-of-Speech(POS) Tagging3 Word Segmentation4 Parsing5 Coreference Resolution6 Summarization7 Machine Translation8 Grammar Error Correction本文为李弘毅老师【Overview of NLP Tasks】的课程笔记,这次课程由助教同学許博竣讲授,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏原创 2020-07-05 11:05:55 · 452 阅读 · 0 评论 -
Chapter6_Vocoder
文章目录1 Introduction2 WaveNet2.1 WaveNet的架构2.2 Softmax Distribution2.3 Causal Convolution和Dilated Convolution2.4 Gated Activation Unit2.5 小结3 FFTNet4 WaveRNN4.1 Dual Softmax Layer4.2 Model Coarse4.3 Model Fine4.4 小结5 WaveGlow本文为李弘毅老师【Vocoder】的课程笔记,这次课程由助教同学原创 2020-06-26 16:45:07 · 586 阅读 · 0 评论 -
Chapter5_Speaker_Verification
文章目录1 Task Introduction2 模型架构3 模型介绍3.1 i-vector3.2 d-vector3.3 x-vector3.4 more4 End to End本文为李弘毅老师【Speaker Verification】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 4-2 More than Tacotron下篇 - 待更新总目录1 Task Introduction原创 2020-06-20 16:25:03 · 698 阅读 · 0 评论 -
Chapter4-2_Speech_Synthesis(More than Tacotron)
文章目录1 Mispronunciation2 More information for Encoder3 Attention本文为李弘毅老师【Speech Synthesis - More than Tacotron】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 4-1 Tacotron下篇 - 待更新总目录1 Mispronunciation当打分者在给Tacotron打分的时候,打分原创 2020-06-14 12:38:29 · 601 阅读 · 0 评论 -
Chapter4-1_Speech_Synthesis(Tacotron)
文章目录1 TTS before End-to-end2 Tacotron2.1 Encoder2.2 Attention2.3 Decoder2.4 Post processing3 How good is Tacotron?本文为李弘毅老师【Speech Synthesis - Tacotron】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 3-2 Deep Clustering, PIT下原创 2020-06-14 12:38:03 · 498 阅读 · 0 评论 -
Chapter3-2_Speech Separation(TasNet)
文章目录1 TasNet总体架构2 Encoder和Decoder3 Separator4 TasNet回顾5 More5.1 Unknown number of speakers5.2 Multiple microphones5.3 Visual information本文为李弘毅老师【Speech Separation - TasNet】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 3-1 D原创 2020-05-24 12:58:40 · 2614 阅读 · 7 评论 -
Chapter3-1_Speech Separation(Deep Clustering, PIT)
文章目录1 内容简述2 评价指标2.1 Signal-to-noise ratio (SNR)2.2 Scale invariant signal-to-distortion ratio (SI-SDR)2.3 其他的评价指标3 Permutation Issue4 Deep Clustering本文为李弘毅老师【Speech Separation - Deep Clustering, PIT】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,原创 2020-05-24 12:58:05 · 2546 阅读 · 0 评论 -
Chapter2-2_Voice Conversion(CycleGAN and StarGAN)
文章目录1 内容简述2 CycleGAN3 StarGAN本文为李弘毅老师【Voice Conversion - CycleGAN and StarGAN】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 2-1 Feature Disentangle下篇 - 待更新总目录1 内容简述上一篇主要讲了我们在没有多个说话人说同一句话这样的数据集的情况下,用feature disentangle来做原创 2020-05-16 16:26:28 · 653 阅读 · 0 评论 -
Chapter2-1_Voice Conversion(Feature Disentangle)
文章目录1 什么是Voice Conversion2 实际实现中的细节3 根据数据集分类4 Feature disentangle本文为李弘毅老师【Voice Conversion - Feature Disentangle】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。文章索引:上篇 - 1-7 Language Modeling下篇 - 待更新总目录1 什么是Voice ConversionVoice C原创 2020-05-16 16:25:52 · 1638 阅读 · 0 评论 -
搞懂Transformer
文章目录1 内容简述2 seq2seq的常用模块3 Self-attention4 Multi-head Self-attention5 Positional Encoding6 Transformer文为李弘毅老师【Transformer】的课程笔记,课程视频youtube地址,点这里????(需翻墙)下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。1 内容简述抛开Transf...原创 2020-05-04 19:30:15 · 2317 阅读 · 0 评论 -
搞懂RNN
文章目录1 什么是RNN2 LSTM本文为李弘毅老师【Recurrent Neural Network(Part I)】和【Recurrent Neural Network(Part II)】的课程笔记,课程视频来源于youtube(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。1 什么是RNN顾名思义,RNN就是一个不断循环的神经网络,只不过它在循环的过程当中...原创 2020-05-04 19:29:49 · 1056 阅读 · 0 评论 -
Chapter1-7_Speech_Recognition(Language Modeling)
文章目录1 为什么需要Language Model2 N-gram3 Continuous LM3 NN-based LM4 RNN-based LM5 合并LAS和LM5.1 shallow fusion5.2 deep fusion5.3 cold fusion本文为李弘毅老师【Speech Recognition - Language Modeling】的课程笔记,课程视频youtube地...原创 2020-05-04 19:29:14 · 892 阅读 · 0 评论 -
Chapter1-6_Speech_Recognition(RNN-T Training)
文章目录1 一个alignment概率的计算本文为李弘毅老师【Speech Recognition - RNN-T Training (optional)】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。1 一个alignment概率的计算不管是HMM,还是CTC,还是RNN-T,它们计算得到某一个alignmen...原创 2020-05-04 19:28:51 · 872 阅读 · 0 评论 -
Chapter1-5_Speech_Recognition(Alignment of HMM, CTC and RNN-T)
文章目录1 为什么需要Alignment2 内容简述3 穷举所有的alignment3.1 HMM的对齐3.2 CTC的对齐3.3 RNN-T的对齐4 小结本文为李弘毅老师【Speech Recognition - Alignment of HMM, CTC and RNN-T (optional)】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师...原创 2020-05-04 19:28:27 · 736 阅读 · 0 评论 -
Chapter1-4_Speech_Recognition(HMM)
文章目录本文为李弘毅老师【Speech Recognition - HMM (optional)】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。...原创 2020-05-04 19:28:03 · 813 阅读 · 0 评论 -
Chapter1-3_Speech_Recognition(CTC, RNN-T and more)
文章目录1 CTC2 RNN-T本文为李弘毅老师【Speech Recognition - CTC, RNN-T and more】的课程笔记,课程视频youtube地址,点这里????(需翻墙)。下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。1 CTCCTC源于论文Connectionist Temporal Classification: Labelling Unsegme...原创 2020-05-04 19:27:37 · 1521 阅读 · 0 评论 -
Chapter1-2_Speech_Recognition(LAS)
文章目录1 内容简述2 模型详述2.1 Listen课程视频youtube地址,点这里????下文中用到的图片均来自于李宏毅老师的PPT,若有侵权,必定删除。1 内容简述本文要讲的模型是2015年出自William Chan的Listen, Attend and Spell,论文地址点这里????这是一个标准的seq2seq with attention的模型,listen就是一个encoder,s...原创 2020-05-04 19:27:07 · 953 阅读 · 5 评论 -
Chapter1-1_Speech_Recognition(Overview)
文章目录1 古人看语音辨识2 什么是语音辨识2.1 输出部分 - Token2.2 输入部分 - 声音信号特征3 数据集4 模型课程视频youtube地址,点这里????1 古人看语音辨识50年前的人们是如何看待语音辨识的?有一位比较有权威的人物认为语音辨识就像是把水变成汽油,从海底捞金,治愈癌症或者登上月球。该观点也让那个时代的许多人放弃了进行语音辨识方向的相关研究。而如今,已经无需置疑语音...原创 2020-05-04 19:26:40 · 699 阅读 · 0 评论