使用python urlretrieve下载文件

urlretrieve()方法直接将远程数据下载到本地。urlretrieve()是python urllib下的一个函数，python3已经将urlretrieve()移到urllib.request下了，使用时需要注意。

urlretrieve(url, filename=None, reporthook=None, data=None):

• url：下载链接地址
• filename：指定保存本地路径
• reporthook：回调函数，可以利用其来显示当前的下载进度。
• data：返回一个包含两个元素的(filename, headers) 元组，filename 表示保存到本地的路径，header表示服务器的响应头

下面以下载cifar-10数据集为例，理解urlretrieve的用法：

from urllib.request import urlretrieve
import os


def download(url, savepath='./'):
    """
    download file from internet
    :param url: path to download from
    :param savepath: path to save files
    :return: None
    """
    def reporthook(a, b, c):
        """
        显示下载进度
        :param a: 已经下载的数据块
        :param b: 数据块的大小
        :param c: 远程文件大小
        :return: None
        """
        print("\rdownloading: %5.1f%%" % (a * b * 100.0 / c), end="")
    filename = os.path.basename(url)
    # 判断文件是否存在，如果不存在则下载
    if not os.path.isfile(os.path.join(savepath, filename)):
        print('Downloading data from %s' % url)
        urlretrieve(url, os.path.join(savepath, filename), reporthook=reporthook)
        print('\nDownload finished!')
    else:
        print('File already exsits!')
    # 获取文件大小
    filesize = os.path.getsize(os.path.join(savepath, filename))
    # 文件大小默认以Bytes计， 转换为Mb
    print('File size = %.2f Mb' % (filesize/1024/1024))

if __name__ == '__main__':
    # 以下载cifar-10数据集为例
    url = "https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz"
    download(url, savepath='./')

当指定文件夹下不存在待下载文件时，执行下载：

Downloading data from https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz
downloading: 100.0%
Download finished!
File size = 162.60 Mb

当指定文件夹下已存在待下载文件同名文件，则不执行下载：

File already exsits!
File size = 162.60 Mb