如何下载当前网页所有的app

最近遇到一个问题,就是该如何在一个网页中所有的app呢?

其实开始也是比较秀逗了,之后查看了一些视屏和资料下载把过程下载下面。
1, 首先用鼠标右键->审查元素.然后打开一个放大镜样的标志,把他放到需要下载的app的下载按钮上,就可以在下方的源码显示界面看到一行被标注的代码,其中颜色与一般代码不一样的代码就是这个app的下载链接了。
这里写代码片2,然后就开始利用python爬虫进行整体的爬去。因为是在安卓的官方商店里下载的所以可以直接下载,要是有的网站不允许下载那么这个程序就不能使用。
代码如下:

    # coding:utf-8

from lxml import etree
import requests
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

if __name__ == "__main__":
    url = 'http://shouji.baidu.com/s?wd=%B0%B2%D7%BF%CA%D0%B3%A1&data_type=app&from=web_alad_5#page2'
    html = requests.get(url)
    print html.text
    i=0
    selector = etree.HTML(html.text)
    content1 = selector.xpath('//div[@class="search-res"]/ul/li[starts-with(@class,"app-outer ")]')#在这里写错starts-with
    for each in content1:                                                                          #导致出错
        content2 = each.xpath('div[@class="app"]/div[@class="little-install"]/a/@data_url')[0]
        print content2
        apk = requests.get(content2)
        fp = open('pic\\'+'apk'+str(i)+'.apk','wb')#代开文件此时应该用wb不用w
        fp.write(apk.content)
        fp.close()
        i+=1
    print "下载完成"
    '''
    这是一个成功的apk下载程序,由于网速的问题导致很多问题。基本上程序是一开始就是对的,也就是说在思路上面我并没什么问题.
    '''

其中lxml和request都是很好地网页代码处理工具可以直接到网上下载,期望以后有更多的人一起发展计算机科技.

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值