scrapy中xpath将某一个节点下的文本内容串起来

最新推荐文章于 2023-04-26 09:30:54 发布
最新推荐文章于 2023-04-26 09:30:54 发布
阅读量2.3k 收藏 5
点赞数
分类专栏： python 爬虫 scrapy Python爬虫基础到进阶 文章标签： python scrapy 智联
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhao_5352269/article/details/83007201
版权

在爬取数据的时候碰到这样的情况

想要拿到红框里的东西

源码里面显示的是这样

如果直接用text(),只能拿到的是单个li中的字符串

这就需要使用xpath中的string()函数，string函数可以将ul底下的字符串全部获取出来，但是string中只能传递单个节点

所以，直接用string函数获取出来，使用截取字符串的方式，截取，就能获取到每一个点

更多内容关注我的微信公众号

 

裸睡的雨
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
使用 XPath 选取具有特定文本值的节点
excite 的专栏
08-15 2769
要解决的问题：  从 xml 文件中选取具有某个特定文本值的节点，比如说我要处理的是 plist 文件，内容如下： xml version="1.0" encoding="UTF-8"?> version="1.0"> AppIDName chineseidublin ApplicationIdentifierPrefix CS8M2QZ3L3
python的scrapy运用xpath爬取一个标签下的所有文字
果冻先生的专栏
10-10 4215
通常针对某一行的内容时,使用text(). 如:  filename = d.xpath("./div[2]/div/div/a[1]/text()").extract().pop() 针对标签下的存在多个子标签下的多行时,我们采用string(.)进行获取. 如: desc_info = d.xpath("./div[2]/div/div") desc_ = desc_info.x...
用xpath获取该标签下的所有子标签和文本
legendary_Dragon的博客
08-20 6581
xpath获取该节点下（所有标签和文本组成的字符串） 需要获取子标签以及文本内容时使用此方法，如果只是想获取所有子标签里面的文本，参考另一篇博客。 from lxml import etree html = """<div class="box"><h1> Keywords <span></span></h1><div><p>关键字内容</p></div></div>""" doc =
scrapy爬取信息时xpath组装多个标签的信息值
AReallyMan的博客
02-27 738
当用xpath格则定位了多个p标签，（或者其他标签时），你想把获取到的标签值组转起来（例如把上图中两个p标签中的值组装成一段文字） 你可以用循环遍历然后组装的方法，但有一个简介快速的方式可以使用： 参考文献如下： ...
html，xpath合并P标签以下的内容
qwe1110的博客
04-26 376
html，xpath合并P标签以下的内容，同时删除P标签下的span标签。
scrapy中xpath示例用法
06-23
在这个"scrapy-xpath-示例用法.py"文件中，我们可以期待看到一系列关于如何在Scrapy项目中使用XPath的实例。 1. **XPath基本语法** - `/`：根节点选择器，表示从文档根部开始。 - `//`：任意深度选择器，用于选取...
对Xpath 获取子标签下所有文本的方法详解
09-19
`string()`函数是XPath中用于获取节点文本内容的一个非常实用的方法。当你对一个节点集应用`string()`函数时，它会返回该节点集中第一个节点的字符串值。如果节点集为空，那么返回空字符串。在处理子标签下所有文本...
有关PYTHON各种采集代码,XPath,requests,Scrapy
01-26
例如，要获取一个网页的HTML内容，只需一行代码`response = requests.get('http://example.com')`，然后`response.text`就能得到网页的文本内容。 Scrapy是一个强大的、专门用于Web抓取和数据提取的Python框架。它...
scrapy中用法示例
06-23
2. **string()**：将选取的节点转换为字符串，如 `string(//title)` 获取元素的文本内容。 3. **normalize-space()**：去除文本节点中的空白，并将连续空格转换为一个空格，常用于处理HTML中的多余空格。 4. **...
用xpath获取指定标签下的所有text的实例
09-19
接着，`xpath('string(.)')`是XPath的一个函数，它将选取的元素节点转换为单个字符串，即合并该元素内所有的文本节点。在这个例子中，如果`td`元素包含多个子元素（比如`b`标签），`string(.)`会将它们之间的文本...
python 爬虫 scrapy学习之 : css选择器/xpath选择器/xpath解析出当前节点下所有文字 /xpath解析解析出父节点下所有文字/extract用法作用 /保存文件 / she...
weixin_30655219的博客
06-27 540
xpath选取某个元素下所有文本内容的方法: 重点注意 //text 和 string(.) 注意string的特殊用法 //@class 选取所有名为class 的属性的 a/@href 选取a标签的href属性a/text() 选取a标签下的文本string(.) 解析出当前节点下所有文字string(..) 解析出父节点下所有文字 string特殊用法:　　 >>...
python爬虫学习31
szshiquan的博客
04-18 939
python爬虫学习31 目录python爬虫学习31六、Beautiful Soup 其二6-6 关联选择子节点和子孙节点父节点与祖先节点兄弟节点提取信息 昨天写了关于beautiful提取信息的一些用法但是死活传不上来，所以今天就先写了关联选择，改天我重新把信息提取那一小节补上来 六、Beautiful Soup 其二 6-6 关联选择 关联选择就是我们一次选择选择不到我们需要的内容，然后我们就得先选择其中的一个节点，再以这个节点为基准选择它的父节点、子节点、兄弟节点等： 子节点和子孙节点 选取节点之后
Scrapy中使用xpath()如何多次xpath提取到想要的内容？
朴拙科技的博客
08-10 615
Selector()转化
xpath提取多个标签下的text
weixin_30737433的博客
01-17 909
xpath提取多个标签下的text title: xpath提取多个标签下的text author: 青南 date: 2015-01-17 16:01:07 categories: [Python] tags: [xpath,Python,xml,scrapy] --- 本文首发在http://kingname.info 在写爬虫的时候，经常...
爬虫--获取文本并拼接的几种方法
weixin_42657103的博客
08-04 3374
以爬 小说吧 为例 import scrapy import re class QingrenSpider(scrapy.Spider): name = 'qingren' allowed_domains = ['tieba.baidu.com'] start_urls = ['https://tieba.baidu.com/p/5820130343'] f ...
XPath解析属性、节点内容及遍历子节点
weixin_34311757的博客
01-08 2388
为什么80%的码农都做不了架构师？>>> ...
c#使用正则表达式获取TR中的多个TD_python爬虫学习笔记：XPath语法和使用示例
weixin_39845206的博客
11-20 558
python爬虫：XPath语法和使用示例XPath(XML Path Language)是一门在XML文档中查找信息的语言，可以用来在XML文档中对元素和属性进行遍历。选取节点XPath使用路径表达式来选取XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。常用路径表达式：实例在下面的表格中，列出一些路径表达式以及表达式的结果：查找特定的节点注意点：在x...
scrapy框架中的Xpath语法以及去掉所有标签的方法
之度的博客
03-29 3902
参考网站https://www.w3school.com.cn/xpath/xpath_syntax.asp 表达式 描述 nodename 选取此节点的所有子节点。 / 从根节点选取。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 .. 选取当前节点的父节点。 @ 选取属性。 实例 ...
如何用text()提取某节点下所有文本内容
最新发布
06-08
该表达式会选取所有名称为节点名称的节点下的文本内容，然后将其作为一个列表返回。 例如，假设有如下HTML代码： ```html 这是标题 这是一段文本 列表项1 列表项2 列表项3 ``` 想要提取div节点下的...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

裸睡的雨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值