深度神经网络压缩
深度神经网络压缩相关
一个努力吃胖的小瘦子
Hi,你好!我是一个努力吃胖的小瘦子,欢迎来到我的CSDN!更多内容请关注我的个人主页:https://zhaoyibo61.github.io/
展开
-
Windows10为什么无法将文件命名为aux,com1,com2,prn,con,nul等?
这个问题是我最近在跑一个深度学习项目时遇到的,当时还以为是源码有问题,最后Google查到是因为操作系统保留字的原因,特此记录一下。在Windows系统中,以Win10为例,有时会发现将一些文件进行重命名的时候会出现“指定的设备名无效”的情况,如果你有此类问题,看看是否使用了 aux,com1,com2,prn,con,nul 这些名称!1. 原因因为这些关键词是 Windows 操作系统定义的设备名称,是保留关键字,不允许使用。发现不能使用的关键词有如下几个:2. 解决方法将该文件重命名即可解决原创 2020-06-17 22:12:16 · 4309 阅读 · 3 评论 -
深度神经网络模型训练时GPU显存不足怎么办?
前言最近跑的模型都比较大,尤其是Bert, 这真的是难为我 1080ti 了, 在Bert的Example中,官方提供了一些 Trick 来帮助我们加速训练,很良心, 但感觉还不够,于是花费一些时间整理出一个 Trick 集合,来帮助我们在显存不足的时候来嘿嘿嘿。本文分为两大部分,第一部分引入一个主题:如何估计模型所需显存, 第二个主题:GPU显存不足时的各种 Trick 。监控 GPU监...转载 2020-04-03 22:10:56 · 9944 阅读 · 9 评论 -
TensorLy-神经网络张量库
TensorLy-神经网络张量库1.简介TensorLy是一个Python库,旨在使张量学习变得简单易用。 它允许轻松执行张量分解,张量学习和张量代数。 其后端系统允许使用NumPy,MXNet,PyTorch,TensorFlow或CuPy无缝执行计算,并在CPU或GPU上大规模运行方法。2.相关链接Website:http://tensorly.orgSource-code:...原创 2020-03-31 19:54:50 · 790 阅读 · 0 评论 -
张量化网络论文汇总(2015年-2020年)
用张量分解的方法压缩神经网络模型这一方向还有哪些坑可以挖呢?这是我研究生以来一直研究的问题。看了很多论文,感觉大体可以分为两条line:(一)基于低秩近似的张量分解方法也就是对原有的模型参数做低秩张量分解,用分解后得到的因子替换原有的大张量。这一过程后通常还需要一个fine-tune的过程。其中的难点就是怎么从大的张量中保留最有价值的参数留下来,作为一个很好的初始参数值。(二)张量化网络用...转载 2020-03-31 18:32:29 · 414 阅读 · 0 评论