作者需要下载国外网站上的一个深度学习数据集,总大小超过300GB。使用Chrome浏览器能够下载但是速度极慢,且浏览器必须始终打开不能退出,一旦退出就需要重新开始。而将下载链接复制到迅雷进行下载时,总是只下载几十KB就提示下载完成。因此,作者找到了博客中推荐比较多的IDM(Internet Download Manager)下载器,最终数据集下载成功。
IDM下载器工作界面如下图:
PS:
1)作者在开机下载的过程中,主动把Win10的自动更新服务关闭并且禁用了,但是Win10依然在夜间自动进行了更新,导致下载停止了,十分恶心。后续开机下载过程中,无奈只能选择设定未来的某个日期进行更新防止突然自动更新重启。而IDM的好处就在于和迅雷等下载管理软件一样,支持断点续传,即使中途下载失败/停止,也可以重启后继续下载。
2)根据经验,下载国外数据集的网速在不同时段有较大差异(规律还不确定),但是只要能下载就有希望下载成功。以作者本次下载为例:晚上刚安装完IDM开始下载时,下载速度只有几十KB/s,而第二天早上开始下载速度就超过了10MB/s。