python爬虫1

学习使用requests模块进行爬虫

最简单的一句

import requests

html = requests.get(url)
print html.text

就可以得到源代码

有时候为了模仿浏览器行为进行对反扒进行反制，需要伪装头：

import requests

html = requests.get(url，headers = headers)
print html.text

在使用正则表达式提取需要的数据就可以了。