python_网络爬虫_beautifulsoup

1.安装beautifulsoup

下载地址:http://pypi.python.org/pypi/beautifulsoup4/4.3.2
官方文档:http://beautifulsoup.readthedocs.org/zh-CN/latest
解压安装包:tar zxvf beautifulsoup4-4.3.2.tar.gz
进入解压后文件夹安装:python3 setup.py install
验证安装:from bs4 import BeautifulSoup 当显示错误时没安装成功

2.使用beautifulsoup快速创建代码格式

from bs4 import BeautifulSoup
html = '<!DOCTYPE html><html lang="zh-CN"><head><meta charset="UTF-8">
<title>Document</title><link rel="stylesheet" type="text/css" href="上海水站.css">
</head><body><ol><li>--------</li>><li>--------</li>></ol>><table border="1" 
style="background: red"><tr><th>名字</th>><th>年龄</th>><th>性别</th>>
<th>地点</th></tr><tr><td>小一</td>><td colspan="2">28</td><!-- <td>
	</td> --><td>北京</td></tr></table>></body></html>'
soup = BeatifulSoup(html)
print(soup.prettify())

3.使用beautifulsoup进行精确查找

#查找标签p,当标签为其他时,只需要把标签名p替换成其他的标签名
#他的缺点是只能够找到最先发现的那一个
soup.p
#查找标签中的所有属性,返回一个字典
soup.p.attrs
#查找标签中的一个具体属性
soup.p["class"]
#用select查找所有标签title
soup.select("title")
#用select查找所有的class为sister的标签
soup.select(".sister") 
#用select查找所有ID为link1的类
soup.select("link1")
#用select查找所有p标签中ID为link1的标签,返回列表
soup.select("p #link1")
#查找所有p标签下的子标签a
soup.select("p>a")
#查找所有class为sister的a标签
soup.select("a[class="sister"]")

4.获取标签或属性的返回值

#以p标签中的a标签为例
soup.select("p>a").string
#获取属性返回值
soup.select("p>a")["src"]
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值