Python的scopy框架的简单使用

首先通过终端安装scrapy爬虫框架:pip install scrapy
scrapy是一个多线程的爬虫框架，它的运行原理如下：

加粗样式
1，引入request模块，用来完成网络请求（如果没有requests模块，使用pip安装）
import requests,os
#完成网络数据请求
header={
‘user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ’
‘(KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36’
}
#构建get请求
if not os.path.exists(’./txt.html’):
reponse=requests.get(‘http://www.su74.com/’,headers=header)
with open(’./txt.html’,‘w’,encoding=‘UTF-8’) as f:
f.write(reponse.text)

“”"
requests返回的responses对象的属性
text–将网页源代码转化成字符串类型
content–将网页源代码转换成二进制数据类