使用requests和beautifulsoup4两个库
网络爬虫一般包括两个步骤:
1)通过网络链接获取网页内容(字符串形式)——requests库。
2)对获得的网页内容进行处理——beautifulsoup4库。
使用pip3指令安装这两个库:
Linux下:
sudo pip3 install requests
sudo pip3 install beautifulsoup4
1)requests库的使用
获取一个网页的内容函数建议采用如下代码:
import requests
def getHTMLText(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status() #如果状态不是200,引发异常
r.encoding='utf-8' #无论原来采用什么编码,都改成 utf-8
return r.text
except:
return ""
url='http://www.baidu.com'
print(getHTMLText(url))
2)beautifulsoup4(或bs4)库的使用
使用requests库获取HTML页面将其转换成字符串后,需要进一步解析HTMO页面格式,提取有用信息,这需要处理HTML和XML的函数库——beautifulsoup4。
beautifulsoup4–根据HTML和XML语法建立解析树,进而高效解析其中的内容。
from bs4 import BeautifulSoup