序言
当遇到有些网页table数据读取不全,只有拉动滚动条加会加载数据时,这个时候如果要模拟翻页的时候就必须加载出全部的内容,不然定位元素会找不到,出现报错
实测试两个验证可以用的方法
第一种方法
使用比较简单
# 直接移至底部
js = "window.scrollTo(0,document.body.scrollHeight)"
# 回到顶部
js = "window.scrollTo(document.body.scrollHeight, 0)"
# 就是这么简单,修改这个元素的scrollTop就可以
web.execute_script(js)
第二种方法
因为有些小窗口无法使用第一种方法实现时,可模拟选择小窗口内后,再使用翻页键帮助实现获取需要的数据
# 设置高度变量
height = 0
while True:
table = web.find_element_by_xpath('//*[@id="HotTable"]/div[1]/div/div/div/table')
rows = table.find_elements_by_tag_name('tr')
# 对高度进行对比,等于高度变量时,退出循环
if len(rows) == height:
break
else:
# 高度变量小于获取高度时,重新定位高度
height = len(rows)
# 模拟键盘 PgDn进行翻页
ActionChains(web).send_keys(Keys.PAGE_DOWN).perform()
time.sleep(0.5)