第一次读 Neural Architecture Search (NAS )的论文读起来磕磕绊绊,有些东西不知道什么含义,大概总结一下。
Abstract
大规模图像分类问题上神经架构搜索(Neural Architecture Search,NAS)确定的神经网络框架的表现超越了人类设计的网络。本论文将研究用于图像密集预测任务语义分割的 NAS。一般而言,对于一般的 NAS 结构都是对 cell 进行搜索,而本文不仅对单独的 cell 进行搜索,还对神经网络的结构进行了搜索。
主要工作 :
- 将 NAS 用于语义分割任务上
- 出了 cell level 是搜索出来的,network level 也是搜索出来的
- 将在离散的搜索空间转换到连续的搜索空间中,使得整个过程可以用 gradient descent 求解
这里的 cell 指的应该是网络的基本单元,里面包含有更小的 block . cell 应该就是类似于 residual block 通过不断堆叠得到 resnet 。
而 network level 应该指的是 feature maps 空间分辨率的变化,
既然要搜索,首先要给出搜索空间。
先给出 cell level 的搜搜空间
文章中定义的 cell 为全卷积单元, 并且内部包含 block. 每一个 block 是一个 two-branch architecture,每一个 block 包含 5 个 参数 (I1, I2, O1, O2, C)
Ii1是对应第一个 branch 同理 I2, I的选择有多种,为了维持一个 DAG (有向无环图) I 的输入可以上一个 cell 或者上上个 cell 的输出&#