爬虫学习笔记1

一、安装python3、pip install分别安装request、BeautifulSoup4、lxml

二、requests库

1.requests的get和post方法

1.1get请求

#代码示例

import requests     #导入requests库

r=requests.get('https://www.baidu.com')    #get方式获取网页数据（像目标url地址发送get请求，返回一个response对象

print(r.text)    #获取网页源码（F12)

注：get请求可传递参数

eg:

p={'key1':'value1','key2':'value2'}

r=requests.get('https://www.baidu.com/get',params=p)   #向服务器发送的请求包含了两个参数key1和key2以及两个参数的值（https://www.baidu.com/get?key1=value1&key2=value2）

1.2post请求

无参数的post请求：r=requests.post('https:/www.baidu.com/post')

有参数的post请求：

p={'key1':'value1','key2':'value2'}

r=requests.post('https:/www.baidu.com/post',data=p)