scrapy爬取使用jsonp技术的网页

爬取bilibili的视频页面时,发现一个问题,就是up主、视频title、视频超链接等都能爬取到,但是却无法直接爬取到其播放量、硬币数等等参数,通过抓包我们可以发现,bilibili.com直接返回的html页面中,这几个我们比较关心的参数都没有被渲染进来:

<div class="v-title-info">
            <div class="v-title-line"><i class="b-icon b-icon-a b-icon-play" title="播放"></i><span id="dianji"></span></div>
            <div class="v-title-line"><i class="b-icon b-icon-a b-icon-danmaku" title="弹幕"></i><span id="dm_count"></span></div>
            <div class="v-title-line v-coin"><
  • 2
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值