基于python爬虫的几种方法

一  requests，json格式数据

#1.获取链接

url =

#2.获取响应

response = requests.get(url)

response = response.content.decode()

#3.提取数据

response = json.loads(response)         # json字符串→python字典

#4.保存数据

f.write(json.dumps(content))            # python字典→json字符串，字典不能写入文件

注：

1.可用user-agent-switcher将浏览器切换到手机模式，获取json格式数据

2.dict、str和json之间的转换：https://blog.csdn.net/li532331251/article/details/78203438

二  selenium