(11) ConvLSTM参数详解(Keras)

关注微信公众号《当交通遇上机器学习》,

后台回复“数据”即可获取高达175G的四个月的滴滴GPS数据和滴滴订单数据的获取方式,以及从数据处理(Oracle数据库)、模型构建(机器学习)、编程实现(python)到可视化(ArcGIS)等一系列视频教程。

后台回复“纽约”获取美国纽约10年的出租车轨迹数据以及7年的共享单车轨迹数据下载地址。

公众号以交通大数据为主线,专注于人工智能、机器学习、深度学习在道路交通和轨道交通领域内的科研前沿与应用,在交通大数据与机器学习的道路上越走越远!

 

ConvLSTM参数详解

1、最重要的输入尺寸和输出尺寸

以data_format='channels_last'为例:

输入尺寸:输入 5D 张量,尺寸为: (samples,time, rows, cols, channels)。即要提前将训练集和测试集reshape成如上形式的tensor张量,例如下图:

输出尺寸:如果 return_sequences,返回 5D 张量,尺寸为:(samples, timesteps, output_row, output_col, filters)。 否则,返回 4D 张量,尺寸为:(samples, output_row, output_col, filters)。(o_row 和 o_col 取决于 filter 和 padding 的尺寸)

注意:假如上一层是ConvLSTM2D layer,那么其输出为以上形式的4D张量或5D张量,当后面再接另外一个layer时,就要考虑该layer是否能接受4D张量或5D张量(即要考虑ConvLSTM2D的输出能否作为该layer的输入)

2、参数

ConvLSTM2D是一个LSTM网络,但它的输入变换和循环变换是通过卷积实现的如下图。其很多参数的理解上也可参考LSTM

25个参数,以下图为例对几个常用的参数进行解释,其他的请查阅Keras官网。

keras.layers.ConvLSTM2D(filters, kernel_size, strides=(1, 1), padding='valid', data_format=None, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, return_sequences=False, stateful=False, dropout=0.0, recurrent_dropout=0.0)

 

  • filters: 卷积核的数目(也就是下图中的两个filter W0和W1,也可以理解为输出的维度即两个绿色的框,filter0对应上面的绿色框,filter1对应下面的绿色的框)
  • kernel_size卷积核大小,上图中filterW0的宽和高(单个整数或由两个整数构成的list/tuple,卷积核的宽度和长度。如为单个整数1,则表示kernel_size=(1×1)。)
  • strides=(1, 1)为卷积的步长,即卷积核向右和向下一次移动几格,对应图中最左列蓝色3×3网格向右和向下移动的步长。(单个整数或由两个整数构成的list/tuple,为卷积的步长。如为单个整数,则表示在各个空间维度的相同步长。)
  • padding补0策略,为“valid”或 “same” 。要对所有的像素点进行处理就用same,same也是通用的,很少有用valid的。( “valid”代表只进行有效的卷积,即对边界数据不处理。“same”代表保留边界处的卷积结果,通常会导致输出shape与输入shape相同。)
  • data_format: 即红绿蓝三个通道(channel)是在前面还是在后面, channels_last (默认) (width, height, channel)或 channels_first (channel, width, height) 之一, 输入中维度的顺序。
  • activation激活函数,即下图中的RELU层,为预定义的激活函数名,如果不指定该参数,将不会使用任何激活函数(即使用线性激活函数:a(x)=x)
  • recurrent_activation: 用于循环时间步的激活函数

(recurrent_activation 是针对于 input/forget/output 三个gate的激活函数. activation 是针对于 cell state 和 hidden state的激活函数. 下面所有参数带recurrent和不带recurrent的区别和此处相同)

  • use_bias: 布尔值,是否使用偏置项
  • return_sequences: 布尔值。是返回输出序列中的最后一个输出,还是全部序列。为true的话下图中1到5全部输出,为false的话下图中只输出红框中的5。

  • stateful: 布尔值 (默认 False)。 如果为 True,则批次中索引 i 处的每个样品的最后状态 将用作下一批次中索引 i 样品的初始状态。对stateful的理解请看下图。Stateful为true时,训练和测试时的batch size必须得相同,且样本数目必须得能被batch size整除。

  • dropout: 在 0 和 1 之间的浮点数。 单元的丢弃比例,用于输入的线性转换,防止过拟合。
  • recurrent_dropout: 在 0 和 1 之间的浮点数。 单元的丢弃比例,用于循环层状态的线性转换。

 

addition_rnn.py 执行序列学习以执行两个数字(作为字符串)的添加。 antirectifier.py 演示如何为Keras编写自定义图层。 babi_memnn.py 在bAbI数据集上训练一个内存网络以进行阅读理解。 babi_rnn.py 在bAbI数据集上训练一个双支循环网络,以便阅读理解。 cifar10_cnn.py 在CIFAR10小图像数据集上训练一个简单的深CNN。 conv_filter_visualization.py 通过输入空间中的渐变上升可视化VGG16的过滤器。 conv_lstm.py 演示使用卷积LSTM网络。 deep_dream.py 深深的梦想在克拉斯。 image_ocr.py 训练一个卷积堆叠,后跟一个循环堆栈和一个CTC logloss函数来执行光学字符识别(OCR)。 imdb_bidirectional_lstm.py 在IMDB情绪分类任务上训练双向LSTM。 imdb_cnn.py 演示使用Convolution1D进行文本分类。 imdb_cnn_lstm.py 在IMDB情绪分类任务上训练一个卷积堆栈,后跟一个循环堆栈网络。 imdb_fasttext.py 在IMDB情绪分类任务上训练一个FastText模型。 imdb_lstm.py 在IMDB情绪分类任务上训练一个LSTMlstm_benchmark.py 比较IMDB情绪分类任务上不同的LSTM实现。 lstm_text_generation.py 生成尼采文字的文字。 mnist_acgan.py 在MNIST数据集上实现AC-GAN(辅助分类器GAN) mnist_cnn.py 在MNIST数据集上训练一个简单的convnet。 mnist_hierarchical_rnn.py 训练一个分级RNN(HRNN)来分类MNIST数字。 mnist_irnn.py Le等人在“以简单的方式初始化整流线性单元的反复网络”中再现具有逐像素连续MNIST的IRNN实验。 mnist_mlp.py 在MNIST数据集上训练一个简单的深层多层感知器。 mnist_net2net.py 在“Net2Net:通过知识转移加速学习”中再现带有MNIST的Net2Net实验。 mnist_siamese_graph.py 从MNIST数据集中的一对数字上训练暹罗多层感知器。 mnist_sklearn_wrapper.py 演示如何使用sklearn包装器。 mnist_swwae.py 列出了一个堆栈,其中AutoEncoder在MNIST数据集上的剩余块上构建。 mnist_transfer_cnn.py 转移学习玩具的例子。 neural_doodle.py 神经涂鸦。 neural_style_transfer.py 神经样式转移。 pretrained_word_embeddings.py 将预训练的词嵌入(GloVe embeddings)加载到冻结的Keras嵌入层中,并使用它在20个新闻组数据集上训练文本分类模型。 reuters_mlp.py 在路透社newswire主题分类任务上训练并评估一个简单的MLP。 stateful_lstm.py 演示如何使用有状态的RNN有效地建模长序列。 variational_autoencoder.py 演示如何构建变体自动编码器。 variational_autoencoder_deconv.py 演示如何使用反褶积层使用Keras构建变体自动编码器。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

当交通遇上机器学习

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值