动态爬取京东之---selenium+beautifulsoup+xpath提取
京东爬取
1.思路
1.通过selenium中的webdriver来进入需要爬取的物品输入框
2.由于是动态页面无法直接提取信息,所以需要通过写入js代码来模拟下拉操作
3.通过bs4中的beautifulsoup来采集信息(我更喜欢xpath)
4.通过启动模拟点击下一页按钮来实现跳转下页功能
2.代码展示
#!/usr/bin/python
# -*- coding: utf-8 -*-
import time
from selenium import webdriver
from selenium.w
原创
2020-07-25 17:38:41 ·
576 阅读 ·
0 评论