python3.5 爬取bing搜索结果页面标题、链接

python 专栏收录该内容
2 篇文章 0 订阅

一个简单的爬虫小程序,可以抓取bing输入关键字后第一个页面的标题、链接。

import re,urllib.parse,urllib.request,urllib.error
from bs4 import BeautifulSoup as BS

baseUrl = 'http://cn.bing.com/search?'
word = '鹿晗 吴亦凡 张艺兴'
print(word)
word = word.encode(encoding='utf-8', errors='strict')
#print(word)

data = {'q':word}
data = urllib.parse.urlencode(data)
#print(data)
url = baseUrl+data
print(url)

try:
    html = urllib.request.urlopen(url)
except urllib.error.HTTPError as e:
    print(e.code)
except urllib.error.URLError as e:
    print(e.reason)

soup = BS(html,"html.parser")
td = soup.findAll("h2")
count = soup.findAll(class_="sb_count")
for c in count:
    print(c.get_text())

for t in td:
    print(t.get_text())
    pattern = re.compile(r'href="([^"]*)"')
    h = re.search(pattern,str(t))
    if h:
        for x in h.groups():
            print(x)

运行结果截图:

运行结果截图:

  • 3
    点赞
  • 1
    评论
  • 2
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值