Python爬虫进阶——爬取数据js动态加载的网页

最新推荐文章于 2024-07-28 17:04:36 发布

rwby_guo

最新推荐文章于 2024-07-28 17:04:36 发布

阅读量1w

点赞数 5

分类专栏： python 爬虫文章标签： python javascript html5

本文链接：https://blog.csdn.net/zhiyan6415/article/details/116270310

版权

本文介绍了如何使用Python的selenium库和webdriver来爬取使用JavaScript动态加载数据的网页。通过示例代码展示了如何打开浏览器，模拟用户操作获取网页数据，并将其保存到Excel文件中。关键在于利用selenium渲染页面并定位动态加载的数据，虽然这种方法通用且不易被防爬，但需要注意控制页面加载的等待时间。

摘要由CSDN通过智能技术生成

上一篇章，讲解了python简单爬取网页静态数据的方法。
python爬虫小白
今天，来讲讲如何用python爬取——数据用js动态加载的网页。所用到的库selenium以及与它搭配的webdriver。这两者用来打开浏览器，模拟浏览器从网页中读取数据的过程，这样才能找到数据。

代码如下：

from selenium import webdriver
import time
import xlwt
import datetime

'''get the url of the aim'''
url = '初始网址’

browser = webdriver.Chrome('/Users/kakufumisakai/Downloads/chromedriver')
browser.get(url)
time.sleep(10)

html_text = browser.page_source

time.sleep(5)

#get all elements that their css style contian class = 'extra-header-right'
elements = browser.find_elements_by_css_selector("[class = 'extra-header-right']")
#get the aim
element = elements[1]
browser.execute_script("arguments[0].click()", element)
#get the url of the aim
aimurl = browser.current_url

'''drop the scroll bar'''
js = "return action = document.body.scrollHeight"
height = browser.execute_script(js)

browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
time.sleep(5)

dates = browser.find_elements_by_xpath("//uni-view[@class = 'item item']/uni-view[@class = 'time']")

status = True

#Number
num = 0
#the position of starting index
n = 0

#judge the last date in one page is more than 5, or less than 5. former, flag = 1, else flag = 0
flag = 0

while status:
    for date in