request的用法

  1. Request的会话对象
    s = requests.session()
    Python2        S = requests.Session()
    所有一次会话的信息都保存在s中,只需要对s进行操作就可以了。 s.get(url) Requests通过会话信息来获取cookie信息
    Cookie的五要素:Name   value   domain   path  expires
    Cookie常用的一些属性:
    1. Domain  域
    2. Path       路径
    3. Expires  过期时间
    4. name    对应的key值
    5. value      key对应的value值
    cookie中的domain代表的是cookie所在的域,默认情况下就是请求的域名,例如请求http://www.server1.com/files/hello, 那么响应中的set-Cookie默认会使用www.server1.com作为cookie的domain,在浏览器中也是按照domain来组织cookie的。 我们可以在响应中设置cookie的domain为其他域,但是浏览器并不会去保存这些domain为其他域的cookie。
    cookie中的path能够进一步的控制cookie的访问,当path=/; 当前域的所有请求都可以访问到这个cookie。 如果path设为其他值,比如path=/test,那么只有/test下面的请求可以访问到这个cookie。
    使用已知cookie信息,如何访问网站: url = 'http://httpbin.org/cookies'
    r = requests.get(url, cookies={'key1': 'value1', 'key2': 'value2'})
    print(r.text)
    结果:
    {
      "cookies": {
        "key1": "value1",
        "key2": "value2"
      }
    }
    代理访问:
    采集时为避免被封IP,经常会使用代理。requests也有相应的proxies属性。
    import requests
    def save_cookie():
        s = requests.session()
        s.get('https://www.hao123.com/')
        print(s.cookies)
        print(s.cookies.keys())
        print(s.cookies.values())
        for i in s.cookies:
            print(i)
            print(i.name, i.value, i.domain, i.path, i.expires)
    if __name__ == '__main__':
        save_cookie()
        print(s.cookies.keys())
        print(s.cookies.values())
        for i in s.cookies:
            print(i)
            print(i.name, i.value, i.domain, i.path, i.expires)
    if __name__ == '__main__':
        save_cookie()
    import requests
    proxies = {
      "http": "http://182.108.5.246:8118",
      # "https": "http://112.117.184.219:9999",
    }
    r1 = requests.get("http://2017.ip138.com/ic.asp", proxies=proxies)
    r2 = requests.get("http://2017.ip138.com/ic.asp")
    print(r1.text)
    print(r2.text)输出
    [182.108.5.246]
    [106.38.115.34]
    如果代理需要账户和密码,则需这样:
    proxies = {
        "http": "http://user:pass@10.10.1.10:3128/",}
    requests的中文乱码问题:
    import requests
    param = {"key1": "hello", "key2": "world"}
    url = 'https://www.baidu.com/'
    r = requests.get(url=url)
    print(r.encoding)              #ISO-8859-1默认使用的是这个
    r.encoding = "utf-8"
    print(r.text)

    这样就可以正常显示了
    Requests给你提供的所有接口,在传输数据的时候,都可以以key:value的形式进行传输,相对来说比较好用。


  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值