爬虫
大牛壮壮
result_1 = 1.01**365 # 37.78343433288728
result_2 = 0.99**365 #0.025517964452291125
result_1/result_2 #1480.6601993481067
展开
-
使用cookie登陆人人网
from urllib import request, parse from http import cookiejar filename = 'cookie.txt' class Spider(object): headers = { 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' ...原创 2018-07-23 22:59:11 · 432 阅读 · 0 评论 -
协程gevent爬取西刺代理,建立代理池
废话不多说,放马过来: import json import linecache import random import urllib.request import gevent.monkey import chardet from lxml import etree gevent.monkey.patch_all() class Proxy(object): def __i...原创 2018-07-23 23:06:33 · 398 阅读 · 0 评论 -
一些爬虫实用小技巧--记录自己踩过的坑
一、request模块总结 1、HTTP请求方式requests实现 r = requests.put('http://www.baidu.com',data={key:value}) r = requests.get('http://www.baidu.com') r = requests.post('http://www.baidu.com') r = requests.delete('...原创 2018-07-24 09:00:35 · 880 阅读 · 0 评论