Python-正则表达式（爬虫篇）

一、为什么要学正则表达式

实际上爬虫有四个主要步骤

• 明确目标：要知道去哪个范围或者网站去搜索
• 爬：将所有的网站的内容全部爬下来
• 取：去掉对我们没用处的数据
• 处理数据：按照我们想要的方式存储和使用

我们爬下来的数据大部分都是全部的网页，这些数据有时候是很庞大并且混乱的，大部分的董事是我们不关心的，所以我们需要将之按我们的需要过滤和匹配出来。
那么对于文本的过滤或者规则的匹配，最强大的就是正则表达式，是 Python 爬虫世界
里必不可少的神兵利器。

二、基础正则表达式

正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。
正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这
些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过
滤逻辑。
给定一个正则表达式和另一个字符串，我们可以达到如下的目的：

• 给定的字符串是否符合正则表达式的过滤逻辑(“匹配”)；
• 通过正则表达式，从文本字符串中获取我们想要的特定部分(“过滤”)。
  
  正则表达式是由普通字符和特殊字符(元字符)组成的文字模式

(一)元字符

元字符	含义
^	匹配行首
$	匹配行尾
?	重复匹配 0 次或 1 次
*	重复匹配 0 次或更多次
+	重复匹配 1 次或更多次 1
{n,}	重复 n 次或更多次
{n,m}	重复 n~m 次
{n}	重复 n 次
[a-z]	任意 a-z 的字母
[abc]	a/b/c 中的任意一个字符
[^123abc]	匹配除了 123 abc 这几个字符以外的任意字符
.	匹配除换行符以外的任意一个字符
\b	匹配单词的开始和结束
\B	匹配不是单词开始和结束的位置
\d	匹配数字
\D	匹配任意非数字的字符
\w	匹配字母，数字，下划线
\W	匹配任意不是字母，数字，下划线的字符
\s	匹配任意空白，包括空格，制表符(Tab)，换行符
\S	匹配任意不是空白符的字符
[^a]	匹配除了 a 以外的任意字符
123|abc	匹配 123 或者 abc

(二)Python-中正则表达式模块----re

在 Python 中，我们可以使用内置的 re 模块来使用正则表达式。有一点需要特别注意
的是，正则表达式使用对特殊字符进行转义，所以如果我们要使用原始字符串，只需加一个
r 前缀。
re 模块的一般使用步骤如下：
第一步：使用 compile()函数将正则表达式的字符串形式编译为一个 Pattern 对象。
第二步：通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一
个 Match 对象。
第三步：最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作。
compile 函数
compile 函数用于编译正则表达式，生成一个 Pattern 对象，它的一般使用形式如下：

pattern = re.compile('正则表达式')

在上面，我们已将一个正则表达式编译成 Pattern 对象，接下来，我们就可以利用 pattern 的
一系列方法对文本进行匹配查找了。
Pattern 对象的一些常用方法主要有：

名称	描述
match	从起始位置开始查找，一次匹配
search	从任何位置开始查找，一次匹配
findall	全部匹配，返回列表
finditer	全部匹配，返回迭代器
split	分割字符串，返回列表
sub	替换
[\u4e00-\u9fa5]	匹配中文

（三）贪婪模式与非贪婪模式

• 贪婪模式：在整个表达式匹配成功的前提下，尽可能多的匹配( * )；
• 非贪婪模式：在整个表达式匹配成功的前提下，尽可能少的匹配( ? )；

(四)四正则表达式分组

group()
如果分组，需要使用()，可以使用group(n)来获取相应组的内容。
分组的反向引用：
反向引用不代表分组，只是前面的分组值的引用。