本文详细介绍了Scrapy中如何使用XPath和CSS选择器进行网页元素选取。讲解了基本语法，包括子元素、后代元素、谓语语法和其他特殊语法。还探讨了Scrapy选择器的实战应用，如在Scrapy shell中使用response.xpath()和response.css()方法，以及如何结合正则表达式提取数据。最后，提到了选择器的嵌套和.re()方法的使用。
CSS 选择器
| 表达式 | 说明 |
|---|---|
| * | 所有节点 |
| #ElementId | ID为ElementId的节点 |
| .clsName | class为clsName的节点 |
| li a | li元素下所有a元素 |
| ul + p | ul下第一个P元素 |
| div#eId > ul | id为eId的元素下所有ul元素 |
| div.clsName | clsss为clsName的div元素 |
| ul ~ p | 与ul相邻的所有p元素 |
| a[title] | 所有有tittle属性的a元素 |
| a[href=“http://www.baidu.com”] | 所有href为指定值的a元素 |
| a[href*=“job”] | 所有href属性包含指定值的a元素 |
| a[href^=“http”] | 所有href属性值以指定值开头的a元素 |
| a[href$=".jpg"] | 素有href属性值以指定值结尾的a元素 |
| input[type=radio]:checked | 状态为选中的radio元素 |
| div:not(#eleId) | 所有id不是指定值的div元素 |
| li:nth-child(3) | 第三个li元素 |
| tr:nth-child(2n) | 第偶数个 tr 元素 |
xpath 选择器
xpath是使用路径在xml和html中进行导航的。
基本语法：
- 子元素： 仅指节点下面的第一层元素
- 后代元素：指节点下任意层级的元素
- 父元素、祖先元素同理
| 表达式 | 说明 |
|---|---|
| div | 选取所有div元素的所有子元素 |
| /div | 选取根元素div |
| div/a | 素有属于div的子元素的a元素 |
| //div | 所有div元素 |
| div//span | 所有属于div元素的后代span元素，无论在那个层级 |
| //@class | 选取所有名为class的属性 |
谓语语法
谓语用来查找某个特定的节点或者包含某个指定的值的节点，谓语百放在方括号中。
| 表达式 | 说明 |
|---|---|
| /div/p[1] | 属于div子元素的第一个p元素 |
| /div/p[last()] | 属于div子元素的最后一个p元素 |
| /div/p[last()-1] | 属于div子元素的倒数第二个p元素 |
| /div[@lang] | 所有有lang属性的div元素 |
| //div[@lang=‘eng’] | 所有lang属性为eng的div元素 |
| .//header//span[contains(@class,‘main-title-rating’)]/@title | .符号表示当前路径，一般在循环中使用；contains中表示class中包含指定值元素，@title是取元素的title属性 |
其他语法
- ‘*’ ：匹配任意元素
- ‘@*’：匹配任意属性元素
- ‘node()’：匹配任意类型的元素
例如：
- /div/*：属于div元素的所有子节点
- //*：所有元素
- //div[@*]：所有带属性的div元素
- /div/a | //div/p：所有div元素的a和p元素
- //span | //ul：所有span和ul元素
- article/div/p //span：所有属于article元素的div元素的p元素以及所有span元素
scrapy选择器实战
Scrapy选择器构建于 lxml 库之上，这意味着它们在速度和解析准确性上非常相似。
我们将使用 Scrapy shell
(提供交互测试)和位于Scrapy文档服务器的一个样例页面，来解释如何使用选择器：
http://doc.scrapy.org/en/latest/_static/selectors-sample1.html
这里是它的HTML源码:
<html>
<head>
<base href='http://example.com/' />
<title>Example website</title>
</head>
<body&
最低0.47元/天 解锁文章
1796
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
