python 文轩网图书信息抓取

import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent
#文轩网图书信息抓取
def getImg(isbn):
    url = 'http://search.winxuan.com/search?keyword='+isbn+'&type='
    ua = UserAgent()
    headers = {'User-Agent':ua.random}
    data = requests.get(url, headers=headers)
    data.encoding = 'utf-8' #乱码转码
    #print(data.text)
    soup = BeautifulSoup(data.text,'lxml')
    ul = soup.find_all('ul',{'id':'list'})
    #print(ul)
    img_list = ul[0].find_all('div',{'class':'img'});
    #print(img_list)
    imgs = []
    for index in range(len(img_list)):
        a = img_list[index].find_all('a')
        #print(a)
        #print(a[0].find('img').get('src'))
        data_original = a[0].find('img').get('data-original')
        #print('data_original=',data_original)
        if data_original == None:
            src = a[0].find('img').get('src')
            data_original = src
        if data_original.find('http') == -1:
            data_original = 'http:'+data_original
        imgs.append(data_original)
    return imgs

if __name__=='__main__':
    print('文轩网图书信息抓取开始。。。')
    imgs = getImg('9787805907918')
    print(imgs)
    print('文轩网图书信息抓取结束。。。')
    

#以上代码仅供学习交流参考

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值