python xpath 返回列表为空求解

最新推荐文章于 2024-06-29 11:25:42 发布
最新推荐文章于 2024-06-29 11:25:42 发布
阅读量1.1k 收藏
点赞数 2
文章标签： list python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zlwyp/article/details/120004284
版权

python  

url='https://www.pearvideo.com/category_31'
headers=headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
se=requests.session()
main_url='https://www.pearvideo.com/'
se.get(main_url,headers=headers)
req=se.get(url=url,headers=headers).text
tree=etree.HTML('req')
list=tree.xpath('//*[@id="listvideoListUl"]/li')

返回列表为空不知道为什么，使用(xpath)绝对地址也不行,使用正则可以拿到。

目标：想返回li标签的一个列表，然后再对li标签进行二次解析，但怎么都拿不到li标签的列表，

zlwyp
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Xpath在选择器中正确，在代码中返回的是空列表问题
weixin_30809173的博客
04-30 855
Xpath在选择器中正确，在代码中返回的是空列表问题 一、问题： 在进行爬虫的时候我们会用到xpath解析html文件，但是会有一种情况就是在xpath选择器中可以使用，但是在代码中就无法使用的情况。 二、原因： 1.是元素中有tbody的原因，这个元素是html生成时产生的，在使用xpath解析的时候无法解析，因此返回的列表为空值。 2.是因为没有写入获取的...
xpath获取到的为空
Ducunyu的博客
10-04 2111
通过运行如下代码，返回的是一个空列表 # 模拟用户登录csdn学院，查看到该用户购买的课程，并拿到已经购买的课程名称 # 对已登录用户的已购买课程的request url进行分析 # 然后创建一个request，向该网站发送request请求 # request请求得到响应url， # response的内容是一个url对象 # 将url对象转换为python对象 # 本地操作该python对象，并存储到本地，以HTML形式 # 将response的内容存放在本地、存放为一个静态的HTML文件 impor
Xpath定位列表返回为空
m0_63097763的博客
08-09 1115
Xpath定位列表返回为空，返回为空的原因可能是以下几种可能性之一： XPath路径错误。 动态加载内容：有些网页使用JavaScript来动态加载内容，XPath可能无法直接捕捉到动态加载的元素。如果视频是通过JavaScript添加到页面上的，可能需要使用Selenium或其他工具来模拟浏览器行为，并等待视频加载完成后再查找它。 视频标签不存在。要解决动态加载内容的问题，可以尝试使用Selenium或其他工具来模拟浏览器行为。Selenium是一个自动化测试工具，可以模拟用户在浏览器中的行为，包括加载页
IndexError: list index out of range报错原因及xpath定位元素返回列表为空的原因分析以及解决方法
最新发布
weixin_63477445的博客
06-29 584
IndexError: list index out of range报错原因及xpath定位元素返回列表为空的原因分析以及解决方法
Python爬取xpath为空的解决方法
qq_52722582的博客
10-27 1284
所以路径不应该写img/@src,要以源代码路径为为准 ，改成img/@data-lazy-img!有小伙伴在爬取内容的适合发现，咦？明明复制过来的xpath路径，怎么会错呢！这是开发者工具看到的图书图片 标签及内容。这是源代码对应的图书图片 标签及内容。废话不多说，直接给出解决3个方案。分享到此结束，下课~
Python用xpath爬取数据返回空列表解决 python爬虫，关于使用xpath写爬虫获取不到内容， 获取到空列表的解决方案
热门推荐
weixin_45437533的博客
11-26 1万+
可能的情况： 1、url的问题 2、xpath路径问题 3、网页标签class，id属性等一定要注意看后面有没有空格 关于xpath路径问题 之前在做的爬虫都是用的xpath去获取内容，又想偷懒，所以就直接在源码那里直接复制路径， 然后就很容易踩雷了（我算是踩了很多坑了，不知道有没有小伙伴和我一样踩过这样的坑）： 此时可能会得到如下路径： /html/body/div[2]/div[6]/table/tbody/tr[6]/td[1]/a/span 然后跑开始爬虫，结果...
爬虫使用xpath解析网页出现空列表的终极解决方案！
termiliter的博客
09-15 1601
点击检查页面的网络，可以看见不同的url传输的数据，来进行异步加载，这种技术在视频网站应用更广。，此时就需要读取不同的url较为复杂，本文不赘述，以后有空发文深刻探讨。一. 查看自己的xpath是否正确：可以通过网页检查（f12）然后右键复制xpath,最好两个都试试也就是完整的xpath又是会犯病，注意一点就是：当xpath出现。我知道这是一个很小的问题，从一开始就知道，但还是解决了一天，为了避免有别人也踩坑，给出。通俗说也就是一个网页可以分开加载，造就不同的连接，其实是不存在的，例如。
Python xpath表达式如何实现数据处理
09-16
XPath 是一种在 XML 文档中查找信息的语言，它在Python中被广泛用于数据提取和处理。在Python中，你可以使用如`lxml`或`BeautifulSoup`等库来执行XPath表达式，从而方便地定位和操作XML数据。 1. XPath基本语法 - ...
python定位xpath 节点位置的方法
09-18
在Python代码中，我们可以利用Selenium的`find_elements_by_xpath`方法来执行这些XPath表达式，并获取相应的节点列表。上述代码段展示了如何使用`find_elements_by_xpath`来选取`<html>`和`<head>`元素，并打印出...
python Xpath语法的使用
01-21
XML 被设计为具有自我描述性。 XML 是 W3C 的推荐标准。 W3School 官方文档：http://www.w3school.com.cn/xml/index.asp （二）XML 和 HTML 的区别 他们两者都是用于操作数据或者结构数据，在结构上大致相同的，但...
python神奇xpath
10-07
### Python中的XPath神器 #### XPath简介 XPath是一种用于在XML文档中查找信息的强大查询语言，同时也适用于HTML文档的解析。XPath允许我们通过元素和属性来进行导航，并从中提取所需的信息。相较于复杂的正则...
Python中利用xpath解析HTML的方法
12-23
在进行网页抓取的时候，分析定位html节点是获取抓取信息的关键，目前我用的是lxml模块(用来分析XML文档结构的，当然也能分析html结构)， 利用其lxml.html的xpath对html进行分析，获取抓取信息。 首先，我们需要安装一个支持xpath的python库。目前在libxml2的网站上被推荐的python binding是lxml，也有beautifulsoup，不嫌麻烦的话还可以自己用正则表达式去构建，本文以lxml为例讲解。 假设有如下的HTML文档: <html> <body> <form> <div id='leftmenu'> <h3>text
python xpath获取页面注释的方法
09-19
本篇文章将详细讲解如何使用Python的lxml库通过XPath表达式来获取页面中的注释。 首先，我们需要了解lxml库。lxml是Python的一个XML和HTML处理库，它提供了非常高效的API，包括XPath和CSS选择器，可以方便地解析、...
使用Xpath获取到了空列表
weixin_44998052的博客
07-12 1073
在学习爬虫的时候 准备爬取天天基金网的数据 结果发现拿到了页面xpath解析出来却是"[]" 错误代码： /html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tbody/tr[1]/td[1] 正确代码： Jname = html.xpath(’/html/body/div[2]/div[8]/div[3]/div[2]/div[3]/div/div[1]/table/tr[1]/td[1]/text()’) 把tbody去掉就对了
利用xpath爬取百度贴吧内容返回空列表的问题
weixin_51962852的博客
10-29 1048
利用xpath爬取百度贴吧内容返回空列表 问题描述： 用etree爬取百度贴吧的时候，用xpath获取不到内容 (虽然是个小问题但也让我花了好久！) 如下：想要获取图下方框中的内容 写的爬虫获取页面内容代码: import requests from lxml import etree base_url = "https://tieba.baidu.com/f?kw=英雄联盟&ie=utf-8&pn=0" head = { 'User-Agent':'Mozilla/5.0 (W
【Python XPath】使用XPath返回空值
HR的博客
03-22 3249
使用XPath返回空值 再练习使用XPath来爬取数据时，出现了以下情况，本人由于想要快捷，直接使用浏览器复制，结果返回了空的列表，为了验证，本人去浏览器搜索栏查看 一开始以为是复制错了，就自己写全 可还是返回了坑空列表 于是去网上查询，得到结果：浏览器会对html文本进行一定的规范化，所以会自动在路径中加入tbody，导致读取失败，在此处直接在路径中去除tbody即可。 于是将XPath语句写成: //*[@id="billboard"]/div[2]/table/tr[1]/td[2]/a 或 /
关于xpath正确仍然返回空列表的原因
无唔吾
01-14 2521
1.元素中有tbody，xpath无法解析 2.网页有js渲染，requests获取的源代码是渲染前的代码，xpath解析不到这个内容所以返回空 3.获取到的源代码被注释掉了
关于python使用xpath爬取网页内容返回值为空列表的解决方法
m0_57011777的博客
06-20 1万+
在使用XPath爬取网站中遇到的 写完代码发现运行后返回值为 [] 空列表解决方法：1、首先看看你的这段代码中是否有 "tbody"存在 ，把"tbody"去掉 为什么呢？ 因为在用xpath解析网页的时候，会遇到tbody标签。tbody标签有的时候可以解析，有的时候不可以解析，遇到tbody标签时要看网页源代码，如果源代码有tbody标签，就要加上tbody标签才能解析。 如果源代码没有tbody标签，那么tbody标签是浏览器对html文本进行一定的规范化而强行加上去的，这时如果xpath中有tb
常用日语摘抄
qq_43066440的博客
12-18 1335
鼓励人的话： ①もっとしっかりしってください 要坚强些 ②気合いいれてください 打起精神来 ③仕事に身をいれてください 专心工作吧 ④ぼんやりしないでよ 别发呆了 ⑤ぼーっとしないでください 别迷迷糊糊的了 ⑥もっと、やる気だしてよ 再加把劲吧 ⑦やることはやってください 有事干事吧 ⑧ほかのみんなも頑張ってるんだから 其他各位都在努力着呢 安慰： ①大丈夫ですよ、うまくいかないことだってあるん...
xpath查找为空列表？
08-04
XPath是一门在XML文档中查找信息的语言，它使用路径表达式在XML文档...如果XPath查找结果为空列表，可能是因为XPath表达式没有正确地匹配到任何节点。建议检查XPath表达式是否正确，并确保它能够正确地匹配到目标节点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值