网络爬虫和自动化

使用requests和beautifulsoup4两个库
网络爬虫一般包括两个步骤：
1）通过网络链接获取网页内容(字符串形式)——requests库。
2）对获得的网页内容进行处理——beautifulsoup4库。
使用pip3指令安装这两个库：
Linux下：
sudo pip3 install requests
sudo pip3 install beautifulsoup4

1)requests库的使用
获取一个网页的内容函数建议采用如下代码：

import requests
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)  
        r.raise_for_status()  #如果状态不是200,引发异常
        r.encoding='utf-8'  #无论原来采用什么编码，都改成  utf-8
        return r.text
    except:
        return ""
url='http://www.baidu.com'
print(getHTMLText(url))

2）beautifulsoup4(或bs4)库的使用
使用requests库获取HTML页面将其转换成字符串后，需要进一步解析HTMO页面格式，提取有用信息，这需要处理HTML和XML的函数库——beautifulsoup4。
beautifulsoup4–根据HTML和XML语法建立解析树，进而高效解析其中的内容。
from bs4 import BeautifulSoup