关注
分享
张宏伦
上海交通大学电子系博士研究生，自然语言处理、计算机视觉、深度学习、机器学习
展开
-
深度有趣 | 30 快速图像风格迁移
简介使用TensorFlow实现快速图像风格迁移（Fast Neural Style Transfer）原理在之前介绍的图像风格迁移中，我们根据内容图片和风格图片优化输入图片，使得内容损失函数和风格损失函数尽可能小和DeepDream一样，属于网络参数不变，根据损失函数调整输入数据，因此每生成一张图片都相当于训练一个模型，需要很长时间训练模型需要很长时间，而使用训练好的模型进行推断则很快...原创 2018-09-21 20:12:58 · 7037 阅读 · 12 评论 -
深度有趣 | 29 方言种类分类
简介结合上节课的内容，使用WaveNet进行语音分类原理对于每一个MFCC特征都输出一个概率分布，然后结合CTC算法即可实现语音识别相比之下，语音分类要简单很多，因为对于整个MFCC特征序列只需要输出一个分类结果即可语音分类和语音识别的区别，可以类比一下文本分类和序列标注的区别具体实现时，只需要稍微修改一下网络结构即可数据使用科大讯飞方言种类识别AI挑战赛提供的数据，http://...原创 2018-09-21 20:11:42 · 1777 阅读 · 4 评论 -
深度有趣 | 27 服饰关键点定位
简介介绍如何使用CPM（Convolutional Pose Machines）实现服饰关键点定位原理关键点定位是一类常见而有用的任务，某种意义上可以理解为一种特征工程人脸关键点定位，可用于人脸识别、表情识别人体骨骼关键点定位，可用于姿态估计手部关键点定位，可用于手势识别输入是一张图片，输出是每个关键点的x、y坐标，一般会归一化到0～1区间中，所以可以理解为回归问题但是直接对坐...原创 2018-09-21 20:08:52 · 3234 阅读 · 9 评论 -
深度有趣 | 26 Seq2Seq机器翻译
简介介绍如何使用Sequence to Sequence Learning（Seq2Seq）实现神经机器翻译（Neural Machine Translation，NMT）原理之前我们通过序列标注模型实现了中文分词，序列标注属于Seq2Seq的一种这次我们使用Seq2Seq实现NMT，由于输入语句和输出语句都包含多个词并且数量不一定相同，所以对应上图中的第四种情况最简单的做法是，先将整...原创 2018-09-21 20:07:27 · 759 阅读 · 1 评论 -
深度有趣 | 25 图像标题生成
简介介绍基于注意力机制的图像标题生成模型的原理和实现原理输入是一张图片，输出是一句对图片进行描述的文本，这就是图像标题生成基本思路是先通过预训练的图像分类模型，从某一个卷积层得到原始图片的表示，或者称为上下文contexts例如从VGG19的conv5_3拿到原始图片的表示，shape为14*14*512，即512张14*14的小图这样一来，可以理解为将原始图片分成14*14共196个...原创 2018-09-21 20:05:22 · 2634 阅读 · 1 评论 -
深度有趣 | 24 语句相似度计算
简介使用Keras实现Siamese Network并进行语句相似度的计算原理Siamese Network是指网络中包含两个或以上完全相同的子网络，多应用于语句相似度计算、人脸匹配、签名鉴别等任务上语句相似度计算：输入两句话，判断是否是一个意思人脸匹配：输入两张人脸，判断是否是同一个人签名鉴别：输入两个签名，判断是否是同一个人所写以语句相似度计算为例，两边的子网络从Embedd...原创 2018-09-21 20:02:59 · 884 阅读 · 1 评论 -
深度有趣 | 23 歌词古诗自动生成
简介使用RNN实现歌词和古诗的自动生成RNN多用于处理序列数据，通过学习数据上下文之间的关系，可以在给定若干个连续数据点的基础上，预测下一个可能的数据点以下是最基础的RNN公式，当然也可以使用LSTM（Long Short-Term Memory）或GRU（Gated Recurrent Unit）生成序列ht=tanh(Whhht−1+Wxhxt)+bhh_t=tanh(W_{hh}h...原创 2018-09-21 20:00:56 · 2584 阅读 · 0 评论 -
深度有趣 | 22 天马行空的DeepDream
简介介绍DeepDream的原理并用TensorFlow实现效果先来看一下DeepDream的效果，本来是这样一张图片经过DeepDream处理之后就有可能变成这样有点奇特和梦幻，也有点不明所以、精神污染原理大多时候我们是根据给定的数据和标签，去训练和调整网络的参数不过也有时候，我们是固定网络的参数，根据某个损失函数调整输入数据，例如在图像风格迁移里，根据内容损失函数和风格损失...原创 2018-09-21 19:57:56 · 1004 阅读 · 1 评论 -
深度有趣 | 21 从FlappyBird到DQN
简介介绍强化学习（Reinforcement Learning，RL）的概念，并用DQN训练一个会玩FlappyBird的模型FlappyBird这个游戏很多人都玩过，很虐，以下是一个用pygame重现的FlappyBird，https://github.com/sourabhv/FlapPyBird如果没有pygame则安装pip install pygame运行flappy.py...原创 2018-09-21 19:55:42 · 1322 阅读 · 0 评论 -
深度有趣 | 20 CycleGAN性别转换
简介介绍可用于实现多种非配对图像翻译任务的CycleGAN模型，并完成性别转换任务原理和pix2pix不同，CycleGAN不需要严格配对的图片，只需要两类（domain）即可，例如一个文件夹都是苹果图片，另一个文件夹都是橘子图片使用A和B两类图片，就可以实现A到B的翻译和B到A的翻译论文官方网站上提供了详细的例子和介绍，https://junyanz.github.io/CycleGA...原创 2018-09-20 10:22:53 · 3851 阅读 · 3 评论 -
深度有趣 | 19 pix2pix图像翻译
简介介绍基于CGAN的pix2pix模型，可用于实现多种配对图像翻译任务原理配对图像翻译包括很多应用场景，输入和输出都是图片且尺寸相同街道标注，街道实景楼房标注，楼房实景黑白图片，上色图片卫星地图，简易地图白天，夜晚边缘，实物pix2pix提供了一种通用的技术框架，用于完成各种配对图像翻译任务作者还提供了一个在线Demo，包括曾经火爆一时的edge2cat，https:...原创 2018-09-20 10:18:34 · 1092 阅读 · 1 评论 -
深度有趣 | 18 二次元头像生成
简介和CelebA类似，使用ACGAN生成二次元头像，并且用多个条件进行控制数据图片爬取自http://getchu.com/，是一个日本二次元游戏网站，包含大量游戏人物立绘，共爬取31,970张头像截取之前介绍的dlib可用于提取人脸，但不适用于二次元头像使用OpenCV从每张图片中截取头像部分，用到以下项目，https://github.com/nagadomi/lbpcasca...原创 2018-09-20 10:13:57 · 10320 阅读 · 7 评论 -
深度有趣 | 17 CGAN和ACGAN
简介介绍CGAN和ACGAN的原理，通过引入额外的Condition来控制生成的图片，并在DCGAN和WGAN的基础上进行实现CGAN原理样本x可以包含一些属性，或者说条件，记作y例如MNIST中每张图片对应的数字可以是0至9从一张图来了解CGAN（Conditional GAN）的思想生成器G从随机噪音z和条件y生成假样本，判别器D接受真假样本和条件y，判断样本是否为满足条件y的真...原创 2018-09-20 10:08:02 · 10401 阅读 · 7 评论 -
深度有趣 | 16 令人拍案叫绝的WGAN
简介在DCGAN的基础上，介绍WGAN的原理和实现，并在LFW和CelebA两个数据集上进一步实践问题GAN一直面临以下问题和挑战训练困难，需要精心设计模型结构，并小心协调G和D的训练程度G和D的损失函数无法指示训练过程，缺乏一个有意义的指标和生成图片的质量相关联模式崩坏（mode collapse），生成的图片虽然看起来像是真的，但是缺乏多样性原理相对于传统的GAN，WGAN...原创 2018-09-20 10:04:21 · 11294 阅读 · 3 评论 -
深度有趣 | 14 Dlib快速入门
简介Dlib由C++编写，提供了和机器学习、数值计算、图模型算法、图像处理等领域相关的一系列功能官方网站：http://dlib.net/Github项目：https://github.com/davisking/dlib安装安装Dlib之前需要先安装cmake，这里以源码方式安装，去官网根据系统下载相应的源码，https://cmake.org/download/Linux、M...原创 2018-09-20 09:59:21 · 495 阅读 · 0 评论 -
深度有趣 | 13 词向量的训练
简介使用TensorFlow实现中文词向量的训练，并完成一些简单的语义任务回顾在全栈课程中介绍过如何使用gensim训练中文词向量，即词嵌入（Word Embedding）http://study.163.com/course/courseLearn.htm?courseId=1003520028&lessonId=1004013764https://note.youdao.c...原创 2018-09-20 09:50:09 · 1546 阅读 · 1 评论 -
深度有趣 | 12 一起来动动手
简介用TensorFlow实现一个手部实时检测器和Inception-v3通过迁移学习实现定制的图片分类任务类似在上节课内容的基础上，添加手部标注数据，并使用预训练好的模型完成迁移学习数据手部检测数据来自于http://vision.soic.indiana.edu/projects/egohands/图片使用Google Class拍摄，egohands_data.zip是一个压缩...原创 2018-09-20 09:43:01 · 1259 阅读 · 0 评论 -
深度有趣 | 11 TensorFlow物体检测
简介TensorFlow提供了用于检测图片或视频中所包含物体的API，详情可参考以下链接https://github.com/tensorflow/models/tree/master/research/object_detection物体检测和图片分类不同图片分类是将图片分为某一类别，即从多个可能的分类中选择一个，即使可以按照概率输出最可能的多个分类，但理论上的正确答案只有一个物体检...原创 2018-09-20 09:40:29 · 886 阅读 · 0 评论 -
深度有趣 | 10 股票价格预测
简介股票价格预测是一件非常唬人的事情，但如果只基于历史数据进行预测，显然完全不靠谱股票价格是典型的时间序列数据（简称时序数据），会受到经济环境、政府政策、人为操作多种复杂因素的影响不像气象数据那样具备明显的时间和季节性模式，例如一天之内和一年之内的气温变化等尽管如此，以股票价格为例，介绍如何对时序数据进行预测，仍然值得一做以下使用TensorFlow和Keras，对S&P 500...原创 2018-09-19 22:16:16 · 2636 阅读 · 0 评论 -
深度有趣 | 09 Inception-v3图片分类
简介Inception-v3是由Google提出，用于实现ImageNet大规模视觉识别任务（ImageNet Large Visual Recognition Challenge）的一种神经网络Inception-v3反复使用了Inception Block，涉及大量的卷积和池化，而ImageNet包括1400多万张图片，类别数超过1000因此手动在ImageNet上训练Inceptio...原创 2018-09-19 22:11:34 · 1043 阅读 · 2 评论 -
深度有趣 | 08 DCGAN人脸图片生成
简介在人脸数据上训练DCGAN，并生成一些人脸图片数据使用两个数据集LFW：http://vis-www.cs.umass.edu/lfw/，Labeled Faces in the Wild，超过1.3W张图片，其中1680人拥有超过两张或以上图片CelebA：http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html，CelebFaces At...原创 2018-09-19 22:09:31 · 4503 阅读 · 2 评论 -
深度有趣 | 07 生成式对抗网络
简介除VAE之外，生成式对抗网络（Generative Adversarial Nets，GAN）也是一种非常流行的无监督生成式模型GAN中主要包括两个核心网络生成器（Generator）：记作G，通过对大量样本的学习，能够生成一些以假乱真的样本，和VAE类似判别器（Discriminator）：记作D，接受真实样本和G生成的样本，并进行判别和区分G和D相互博弈，通过学习，G的生成能力...原创 2018-09-19 22:07:44 · 624 阅读 · 0 评论 -
深度有趣 | 06 变分自编码器
简介变分自编码器（Variational Autoencoder，VAE）是生成式模型（Generative Model）的一种，另一种常见的生成式模型是生成式对抗网络（Generative Adversarial Network，GAN）这里我们介绍下VAE的原理，并用Keras实现原理我们经常会有这样的需求：根据很多个样本，学会生成新的样本以MNIST为例，在看过几千张手写数字图片之...原创 2018-09-19 22:05:49 · 1006 阅读 · 0 评论 -
深度有趣 | 05 自编码器图像去噪
简介自编码器（AutoEncoder）是深度学习中的一类无监督学习模型，由encoder和decoder两部分组成encoder将原始表示编码成隐层表示decoder将隐层表示解码成原始表示训练目标为最小化重构误差隐层特征维度一般低于原始特征维度，降维的同时学习更稠密更有意义的表示自编码器主要是一种思想，encoder和decoder可以由全连接层、CNN或RNN等模型实现以下使...原创 2018-09-19 22:03:51 · 1418 阅读 · 1 评论 -
深度有趣 | 04 图像风格迁移
简介图像风格迁移是指，将一幅内容图的内容，和一幅或多幅风格图的风格融合在一起，从而生成一些有意思的图片以下是将一些艺术作品的风格，迁移到一张内容图之后的效果我们使用TensorFlow和Keras分别来实现图像风格迁移，主要用到深度学习中的卷积神经网络，即CNN准备安装包pip install numpy scipy tensorflow keras再准备一些风格图片，和一张内容...原创 2018-09-19 21:58:58 · 1668 阅读 · 1 评论 -
深度有趣 | 03 高端又一般的词云
简介词云是一种数据呈现方式不会的时候，感觉很厉害、很高大上会用了之后，感觉到哪都看到别人在用掌握用Python实现词云的方法准备安装包pip install wordcloud matplotlib jieba PIL准备一些文本，英文或中文皆可一个简单的例子WordCloud()可选的参数font_path：可用于指定字体路径，包括otf和ttfwidth：词云的...原创 2018-09-19 21:57:21 · 1211 阅读 · 0 评论 -
深度有趣 | 02 准备工作
简介在个人电脑上，搭建编程所需的各项环境Anaconda一个涵盖了Python、pip以及常用Python包的软件，https://www.anaconda.com/download/，根据操作系统进行选择，并使用Python3对应的Anaconda版本Sublime Text一个简洁清爽而高颜值的编辑器，https://www.sublimetext.com/，下载并安装Sublime...原创 2018-09-19 21:55:34 · 451 阅读 · 0 评论 -
深度有趣 | 01 前言
为什么做这门课兴趣是最好的老师用Python做一些有意思的案例和应用，内容和领域不限，可以包括数据分析、自然语言理解、计算机视觉，等等等等一个将各种有趣项目整合在一起的大合集学了能干嘛并非专门为了某一项工作而学，而是从多个方面尝试一些自己没有做过的事情提高代码能力、保持终身学习好玩、好玩、好玩开发环境Python 3Sublime TextIPython Notebook...原创 2018-09-19 21:52:52 · 704 阅读 · 0 评论 -
开源 | 深度有趣 - 人工智能实战项目合集
呕心沥血了大半年，《深度有趣》人工智能实战项目合集，终于完工上线了！《全栈》课程（https://study.163.com/course/courseMain.htm?courseId=1003520028）获得好评之后，我一直打算再出一门课。大方向和人工智能相关，但具体内容做什么考虑了很久。理论部分已经有很多神级大佬的工作，例如吴恩达老师的深度学习微专业课（https://mooc.st...原创 2018-09-19 21:53:07 · 3159 阅读 · 3 评论