zhr1030635594的博客

11-GAN基本思想（方法）初始化一个生成器G判别器D，每一次迭代，step1（先固定G，训练D）：G生成一组图片，再从数据库采样真实图片，用这两组对D进行训练，目标是使D对真实图片的评分高，而对G生成的图片的评分低step2（固定D，训练G）：G+D构成大网络，G产生图片，D对其识别评分，以此对G进行训练，使得输出数值越大越好结构学习 Structured learning传统机器学习可以表示为函数，即X与Y关系（如回归、分类），忽略成分之间的关系结构学习具有挑战性，机器需要有大局意识和规划

6-CNN-3（理解卷积过程）计算卷积后特征图尺寸（步长1原图大小32，核5，则(32-5)/步长+1=28CNN层次序卷积层->ReLu层->池化层（下采样，压缩数据和参数数量）->全连接层边界0填充不丢弃原图信息，保持特征图与原图大小一致。核大小3 5 7 分别填充宽度1 2 3计算卷积核参数数量如核大小5，则5×5×3+1 （3通道，1个偏置）池化层7-CNN-case studyLeNet-5采用平均池化；Alexnet创新点采用ReLU激活函数；dr

3. Neural Network Basics& Back Propagation16.从线性分类到两层神经网络linear f=Wx2-layer NN f=W2max(0,W1x)3-layer NN f=W3max(0,W2max(0,W1x))17.常见的激活函数注：更多隐藏单元的数目代表着更大的容量18. 神经网络的一般步骤？模型初始化前向传播计算loss计算梯度反向传播权重更新迭代直到收敛4. Improve DNN -1为什么需要激活函数

1. 机器学习与深度学习的区别？机器学习：需要人工干预才能成功，使用大量的人类知识来开发有效的算法。深度学习：无需人工执行任何功能创建活动，它定义了自己的最佳功能传统的机器学习需要定义一些手工特征，从而有目的的去提取目标信息， 非常依赖任务的特异性以及设计特征的专家经验。而深度学习可以从大数据中先学习简单的特征，并从其逐渐学习到更为复杂抽象的深层特征，不依赖人工的特征工程，这也是深度学习在大数据时代受欢迎的一大原因。2. Image Classification2. 图像分类有哪些困难和挑战？

我们有了两张图片，分别是content图和style图风格迁移本质上是找到一个新的图片，使得风格上趋近于风格图，内容上趋近于内容图而“趋近”在深度学习中体现在loss函数中，所以我们要设定两个losscontent loss度量生成图像的内容和内容图像的内容之间的内容损失style loss度量生成图像的风格和风格图像的风格之间的风格损失不断地更新合成图的信息，得到最终synthetic image观察CNN模型，我们可以看出，对于Content Image来说，浅层卷积..

一层网络实际上是一个线性函数，即权重W与输入x相乘（偏置项包含其中）当我们增加一层，变为两层神经网络这里的max是将第一层负数结果置为0用权重W2乘第一层结果当我们扩展到三层即更多层，也是类似那么我们不使用max可以吗？我们看到，如果没有max，W1 W2 可以合成一个大的W3，最后还是一个线性分类，没有实质性改变所以，这里的max是不可去掉的，而这里的max，被称作激活函数激活函数：我们看到激活函数有很多种，也可以自己定义，我们上面使用的max...

卷积层 Convolutional layer卷积运算的目的是提取输入的不同特征类似于CV中的滤波，通过滑动窗口来得到特征图像非线性激活层 Reluf(x)=max(0,x)非线性激活层即保留大于0的值，即保留特征比较好的值，将特征小于0的值舍去池化层 pooling池化（Pooling）：也称为欠采样或下采样。主要用于特征降维，压缩数据和参数的数量，减小过拟合，同时提高模型的容错性一般是 卷积层 -> relu -> 池化层...

论文Effective Approaches to Attention-based Neural Machine Translation这篇论文主要介绍了神经网络翻译中的attention机制的集中改进方式，包括global / localattention以及 input-feeding机制，最后通过实验进行比较本篇博文还将拓展神经网络翻译、注意力机制、soft / hard attention等内容目录论文Effective Approaches to Attention-base...

整理于2020年一月，山东大学ppt1倒排索引p5 and查询：字典里找出两个postings -> 合并合并算法，同时浏览两个表，时间与doc数成正比，关键：按序号排序布尔查询p12 查询优化：多个and，从最小集合开始合并(A or B) and (C or D)：估计每个or的文档频率和，按大小排序先处理频率小的，短短合并，再与长字典数据结构哈希表...