python爬虫速查

最近在看北京理工大学的Python嵩天教授的网络爬虫与信息提取课程，开个博客记录一下我认为重要的知识点。
课程主页：中国大学Mooc
课程的练习和测验都在python123上

本博客面向有一定基础或是学习过课程的人，用于查找方便，持续更新，正则表达式见另一博客

Requests库

1.安装

pip install reqursts

2.requests库的7个主要用法

requests.request()#构造一个请求，支撑以下方法
requests.get()
requests.head()
requests.post()
requests.put()
requests.patch()
requests.delete()

在爬虫中我们主要使用requests.get()函数

robots协议

爬取网页html信息

import requests
r = requests.get('http://www.baidu.com')
print(r.status_code)
r.text

通用框架

import requests

def getHTMLText(url):
	try:
		r = requests.get(url,timeout=30)
		r.raise_for_status()#如果状态不是200，引发HTTPError异常
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return '产生异常'

if __name__=='main':
	url='http://www.baidu.com'
	print(getHTMLText(url))