【python实验报告】用urllib来爬取网站页面中的图片和视频

最新推荐文章于 2023-12-21 08:30:00 发布

蕲雁

最新推荐文章于 2023-12-21 08:30:00 发布

阅读量2.6k

点赞数 3

分类专栏： python 爬虫文章标签： python

本文链接：https://blog.csdn.net/zjanhoo/article/details/68954858

版权

本文介绍如何利用python的urllib库爬取网站上的图片和视频。通过实验，详细阐述了获取页面源码、匹配图片地址并下载到本地的步骤，同时也指出实验中可扩展和完善的方向，如异常处理和面向对象编程的应用。

摘要由CSDN通过智能技术生成

在python中，有很多方法都可以实现网站页面中的图片和视频的爬取，urllib是其中的一种。

爬取图片

一. 实验目的

熟悉用urllib爬取图片的用法

二. 实验环境

python3.6、urllib包、re包

三. 实验步骤

import urllib
import urllib.request
import re
import time

url = "http://tu.duowan.com/m/meinv"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36'} #模拟浏览器访问
#1.根据URL获取页面源码
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request)
html = response.read().decode('utf-8')

#2.通过正则表达式匹配出页面中符合要求的图片地址
pattern = re.compile(r'http://[\S]*\.jpg') #当前只匹配jpg格式的图片
lists = re.findall(pattern, html)

#3.根据图片地址下载图片到本地目录
print("图片下载开始！")
num = 1
for