那个万能的正则表达式

已于 2022-08-25 15:59:22 修改
阅读量394 收藏 1
点赞数
文章标签： .netcore c#
于 2022-05-23 17:57:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhoubohua/article/details/124931453
版权

最近需要爬取一些网页数据做分析，回顾了一下表达式。
整理出下面顺口溜，基本爬取网页内容够用

  1. 牢记? + *,匹配0个1个用？号，0个多个用*号，至少1个用+号
  2. 以^开头，以$结尾
  3. 匹配字母用A-Z，大写用A-Z,小写用a-z
  4. 遇到字符用\S 、\W
  5. 遇到数字用\d 、0-9
  6. 遇到换行用\s
  7. 多次匹配用大括号{},{n,m}至少出现n次，最多m次
  8. 多种选择用|，转义前面加上\
  9. 匹配html标签结束请用它：前内容：[^>]+  前后内容： [^>]*?、[^>]*
  10. 匹配不到莫慌张，后面带上*、+、?
  11. .是万能符号，任何字符都能用
  12. 万能匹配试试它：(.*?)、[\s\S]+、[\s\S]*?、[\w\W]+

根据上面规则举个栗子：

比如一段html代码如下：

<table>
<tr>
<td rowspan="2" align="center"><span style="font-size:18px; color:#fb4202; font-weight:bold;">103000312</span> <br />
<br />
2014-12-30 <br />
(星期二)</td>
<td><ul class="history_ball">
<li class="ball_blue">
<p>大小順序：</p>
<a href='/lotto_ballview_daily539_04.html' class='history_ball_link'>04</a> <a href='/lotto_ballview_daily539_05.html' class='history_ball_link'>05</a> <a href='/lotto_ballview_daily539_21.html' class='history_ball_link'>21</a> <a href='/lotto_ballview_daily539_24.html' class='history_ball_link'>24</a> <a href='/lotto_ballview_daily539_26.html' class='history_ball_link'>26</a> </li>
<li>
<p>落球順序：</p>
<a href='/lotto_ballview_daily539_26.html' class='history_ball_link'>26</a> <a href='/lotto_ballview_daily539_21.html' class='history_ball_link'>21</a> <a href='/lotto_ballview_daily539_04.html' class='history_ball_link'>04</a> <a href='/lotto_ballview_daily539_24.html' class='history_ball_link'>24</a> <a href='/lotto_ballview_daily539_05.html' class='history_ball_link'>05</a> </li>
</ul></td>
</tr>
</table>
<div>
 <div class="ball_yellow">04</div><div class="ball_red">10</div><div class="ball_blue">14</div><div class="ball_yellow">19</div><div class="ball_yellow">20</div>
</div>

1）取大小顺序、落球顺序这个td内容：<td>[\s\S]+?</td>   

2）    取到第一个td内容（结束标签前有内容：[^>]+），则：<td[^>]+[\s\S]+?</td>

3） 比如我要取<span style="font-size:18px; color:#fb4202; font-weight:bold;">103000312</span>/g 这段标签的值, 且有不同style样式的。则采用：<span style="(.*)">(\d+)</span>

4） 比如要取第一个td的日期与星期；  则用(.*)匹配： (.*) <br />\s+(.*)</td>

5)   要取 div 带ball_red、ball_blue的标签内容： <div class="(ball_blue|ball_red)">\d+</div>，class="(.*) 取到所有

套用上面顺口溜，很简单.....

接下來通過C#正則表達式獲取開獎結果舉例：

網頁內容：

<table width="79%" height="138" border="0" align="center" cellpadding="0" cellspacing="0">
<tr>
<td colspan="2" align="center"><b>大樂透開獎號碼</b></td>
</tr>
<tr>
<td colspan="2"><center>
<font color="#164F7C">第111000077期</font>
</center></td>
</tr>
<tr>
<td colspan="2"><table width="121" border="0" align="center" cellpadding="0" cellspacing="0">
<tr>
<td width="10"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/data1.gif" width="10" height="22" /></td>
<td width="100" bgcolor="#5480A5"><center>
<font color="#FFFFFF"><b>2022-08-23(二)</b></font>
</center></td>
<td width="11"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/data2.gif" width="10" height="22" /></td>
</tr>
</table></td>
</tr>
<tr>
<td colspan="2"><font color="5B9401">開出號碼：</font></td>
</tr>
<tr>
<td colspan="2"><div class="no">47</div>
<div class="no">25</div>
<div class="no">24</div>
<div class="no">06</div>
<div class="no">49</div>
<div class="no">23</div></td>
</tr>
<tr>
<td width="30%"><font color="5B9401">特別號：</font></td>
<td width="70%"><div class="style1"><font color="#ca3000">05</font></div></td>
</tr>
</table></td>
</tr>
<tr>
<td><img src="//sg.cdn.lotto.auzonet.com/images/homepage/table_06.gif" width="228" height="19" /></td>
</tr>
<tr>
<td><a href="/biglotto"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/table_more.gif" width="228" height="32" border="0" /></a></td>
</tr>
<tr>
<td><img src="//sg.cdn.lotto.auzonet.com/images/homepage/table_07.gif" width="228" height="22" /></td>
</tr>
</table></td>
<td width="255"><table width="228" border="0" align="center" cellpadding="0" cellspacing="0">
<tr>
<td width="228"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/table_top7.gif" width="228" height="68" /></td>
</tr>
<tr>
<td height="141" background="//sg.cdn.lotto.auzonet.com/images/homepage/table_05.gif"><table width="79%" height="138" border="0" align="center" cellpadding="0" cellspacing="0">
<tr>
<td colspan="2" align="center"><b>威力彩開獎號碼</b></td>
</tr>
<tr>
<td colspan="2"><center>
<font color="#164F7C">第111000067期</font>
</center></td>
</tr>
<tr>
<td colspan="2"><table width="121" border="0" align="center" cellpadding="0" cellspacing="0">
<tr>
<td width="10"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/data1.gif" width="10" height="22" /></td>
<td width="100" bgcolor="#5480A5"><center>
<font color="#FFFFFF"><b>2022-08-22(一)</b></font>
</center></td>
<td width="11"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/data2.gif" width="10" height="22" /></td>
</tr>
</table></td>
</tr>
<tr>
<td colspan="2"><font color="5B9401">開出號碼：</font></td>
</tr>
<tr>
<td colspan="2"><div class="no">19</div>
<div class="no">30</div>
<div class="no">02</div>
<div class="no">22</div>
<div class="no">09</div>
<div class="no">04</div></td>
</tr>
<tr>
<td width="30%"><font color="5B9401">二區號：</font></td>
<td width="70%"><div class="style1"><font color="#CA3000">
02</font></div></td>
</tr>
</table></td>
</tr>
<tr>
<td><img src="//sg.cdn.lotto.auzonet.com/images/homepage/table_06.gif" width="228" height="19" /></td>
</tr>
<tr>
<td><a href="/power"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/table_more.gif" width="228" height="32" border="0" /></a></td>
</tr>
<tr>
<td><img src="//sg.cdn.lotto.auzonet.com/images/homepage/table_07.gif" width="228" height="22" /></td>
</tr>
 </table></td>
<td width="255">

<table width="228" border="0" align="center" cellpadding="0" cellspacing="0">
<tr>
<td width="228"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/table_top3.gif" width="228" height="68" /></td>
</tr>
<tr>
<td height="141" background="//sg.cdn.lotto.auzonet.com/images/homepage/table_05.gif"><table width="79%" height="138" border="0" align="center" cellpadding="0" cellspacing="0">
<tr>
<td colspan="2" align="center"><b>今彩539開獎號碼</b></td>
</tr>
<tr>
<td width="100%"><center>
<font color="#164F7C">第111000202期</font>
</center></td>
</tr>
<tr>
<td><table width="121" border="0" align="center" cellpadding="0" cellspacing="0">
<tr>
<td width="10"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/data1.gif" width="10" height="22" /></td>
<td width="100" bgcolor="#5480A5"><center>
<font color="#FFFFFF"><b>2022-08-24(三)</b></font>
</center></td>
<td width="11"><img src="//sg.cdn.lotto.auzonet.com/images/homepage/data2.gif" width="10" height="22" /></td>
</tr>
</table></td>
</tr>
<tr>
<td><font color="5B9401">開出號碼：</font></td>
</tr>
<tr>
<td><div class="no">26</div>
<div class="no">07</div>
<div class="no">33</div>
<div class="no">04</div>
<div class="no">34</div></td>
</tr>
<tr>
<td>　</td>
</tr>
</table>

C# 代碼：

              List<string> award = new List<string>();

               //截取到需要的內容段

                var reg = Regex.Match(content, @"<td colspan=""2"" align=""center""><b>今彩539開獎號碼</b></td>[\S\W]*?table_06.gif", RegexOptions.IgnoreCase);
                if (reg.Success)
                {

                  //正則表達式提取需要的內容
                    string bodyContent = reg.Value;

                    reg = Regex.Match(bodyContent, @"<font color=""#164F7C"">第(?'period'\d+)期</font>", RegexOptions.IgnoreCase);
                    if (reg.Success)
                    {
                        periodNumber = reg.Groups["period"].Value;
                        periodNumber = $"{DateTime.Now.Year}{periodNumber.Substring(periodNumber.Length - 3)}";
                    }
                    var regs = Regex.Matches(bodyContent, @"<div class=""no"">(?'number'\d+)</div>");

                    if (regs.Count > 0)
                    {
                        foreach (Match item in regs)
                        {
                            award.Add(item.Groups["number"].Value);

                        }
                    }
                }

letisgoto
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
特殊符号大全(建议收藏_复制着用_数学符号最下面)
红目香薰
09-02 17万+
数字符号 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ ⑪ ⑫ ⑬ ⑭ ⑮ ⑯ ⑰ ⑱ ⑲ ⑳ ⑴ ⑵ ⑶ ⑷ ⑸ ⑹ ⑺ ⑻ ⑼ ⑽ ⑾ ⑿ ⒀ ⒁ ⒂ ⒃ ⒄ ⒅ ⒆ ⒇ ⒈ ⒉ ⒊ ⒋ ⒌ ⒍ ⒎ ⒏ ⒐ ⒑ ⒒ ⒓ ⒔ ⒕ ⒖ ⒗ ⒘ ⒙ ⒚ ⒛ ㊀ ㊁ ㊂ ㊃ ㊄ ㊅ ㊆ ㊇ ㊈ ㊉ ㈠ ㈡ ㈢ ㈣ ㈤ ㈥ ㈦ ㈧ ㈨ ㈩ № ½ ⅓ ⅔ ¼ ¾ ⅛ ⅜ ⅝ ⅞ 希腊数字 Ⅰ Ⅱ Ⅲ Ⅳ Ⅴ Ⅵ Ⅶ Ⅷ Ⅸ Ⅹ Ⅺ Ⅻ ⅰ ⅱ ⅲ ⅳ ⅴ ⅵ ⅶ ⅷ ⅸ ⅹ ⅺ ⅻ 月份符号 ㋀
java正则表达式大全
weixin_44858201的博客
10-15 4733
一、校验数字的表达式 1 数字：^[0-9]*$ 2 n位的数字：^\d{n}$ 3 至少n位的数字：^\d{n,}$ 4 m-n位的数字：^\d{m,n}$ 5 零和非零开头的数字：^(0|[1-9][0-9]*)$ 6 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+(.[0-9]{1,2})?$ 7 带1-2位小数的正数或负数：^(\-)?\d+(\.\d{1,2})?$ 8 正数、负数、和小数：^(\-|\+)?\d+(\.\d+)?$ 9 有两位小数的正实数：^[0-9]+(.[0
史上最全的正则表达式-匹配中英文、字母和数字
热门推荐
zhuchangbo18的博客
08-25 2万+
在做项目的过程中，使用正则表达式来匹配一段文本中的特定种类字符，是比较常用的一种方式，下面是对常用的正则匹配做了一个归纳整理。 1、匹配中文:[\u4e00-\u9fa5] 2、英文字母:[a-zA-Z] 3、数字:[0-9] 4、匹配中文，英文字母和数字及下划线：^[\u4e00-\u9fa5_a-zA-Z0-9]+$ 同时判断输入长度： [\u4e00-\u9fa5_a-zA-Z0...
万能匹配和正则
weixin_44597836的博客
08-13 287
小记： grep -n “a*” file 区别 grep -n “*a” file grep -n “aa*” file 区别 grep -n “*aa” file grep - “aaa*” file 区别 grep -n “*aaa” file 说明： 第一：a* 表示0或者任意字符，*a表示末尾为a，a之前有0或者任意字符。 第二：aa*表示有一个a后面有0或者任意字符，不是头也不一定是尾。 常用正则字符：^开头，$结尾，.表示任意一位字符,｛m,n}表示范围， [a-c]任意一个字符。 [:dig
正则表达式 学习笔记
12-22
#原子： \d 表示0~9之间的任意【一个】字符->[0-9]自定义原子列表 \D 表示除了0~9之外的任意【一个字符】->[^0-9]自定义排除列表 \s 表示任意【一个】空白字符(不可见字符)->[\n\r\t\v\f]自定义原子列表 ...
C#使用正则表达式过滤html标签
12-31
在项目中遇到这样一个需求，需要将一段html转换为一般文本返回，万能的正则表达式来了。 正则表达式来拯救你，代码如下： public static string Html2Text(string htmlStr) { if (String.IsNullOrEmpty(htmlStr)) {...
万能日期正则表达式 （适用于各种日期样式）绝对经典
01-10
万能日期正则表达式 （适用于各种日期样式） 适用于 yyyy(或yy)-（或空格）MM（或MMM，比如Jan,Feb..） dd HH:mm:ss(后面还可以选择性显示时间) <br>顺序也可以是各式各样的 可以月份提前 MM(MMM)-dd-...
C#正则表达式用法
06-08
C#正则表达式用法
正则表达式详述
05-17
正则表达式不是万能的，但是在某些问题的解决上提供了一个便捷高效的方案，学习正则表达式的一些基础知识很有必要。本文从基本语法到一些高阶用法都有详细的说明。
ae万能弹性表达式
03-05
ae万能表达式，谁用谁知道，具体用法就是在key帧的时候，按alt键在关键帧上，然后可以输入表达式，把表达式复制进去，具体前面3个参数调弹性数值。
正则表达式基础1：常用正则匹配，万能re，re常用语法
酱紫煲饭~
07-23 5785
1、NOTES: 正则表达式学习参考链接：正则表达式30分钟入门教程 用正则匹配： URL Email 中文字符 QQ号 特殊组合： ([ \s\S]*?) : 作业： i=d%0A&amp;amp;amp;amp;amp;amp;from=AUTO&amp;amp;amp;amp;amp;amp;to=AUTO&amp;amp;amp;amp;amp;amp;smartresult=dict 转换成下面的形式： i:d%0A from:AUTO to:A
正则匹配大全
m0_45272038的博客
08-13 1万+
在做项目的过程中，使用正则表达式来匹配一段文本中的特定种类字符，是比较常用的一种方式，下面是对常用的正则匹配做了一个归纳整理。 1、匹配中文:[\u4e00-\u9fa5] 2、英文字母:[a-zA-Z] 3、数字:[0-9] 4、匹配中文，英文字母和数字及下划线：^[\u4e00-\u9fa5_a-zA-Z0-9]+$ 同时判断输入长度： [\u4e00-\u9fa5_a-zA-Z0-9_]{4,10} 5、 (?!_)　　不能以_开头 (?!.*?_$)　　不能以_结尾 [a-zA-Z0-9
JMeter中万能正则表达式
qq_36937338的博客
11-23 581
JMeter中2种万能正则表达式 使用JMeter过程中，跨不过去的坎儿就是正则表达式了，即使是JSON格式响应的系统也会用到，在使用过程中总结下2种万能表达式： 精准定位表达式：(.*?) 当你想要提取响应中某个字段/数值时，并且该字段在响应中只出现1-3次，同时可以通过它的前后字符唯一识别该字段时，可以使用如下表达式： (.*?) 懒惰匹配： [\S\s]*? 这样通过懒惰匹配，就可以匹配到下拉列表框里某一选项的对应ID了，其中的懒惰匹配表达式，即匹配DDLCOSAutUserStateId 这
万能正则表达式
01-20 294
万能正则表达式 <a[\s\S]*?href=("|')(?P<link>[^\1]*?)\1[\s\S]*?<img[\s\S]*?src=("|')(?P<img>[^\3]*?)\3 ...
ae万能弹性表达式_18种常用AE表达式解析【建议收藏】
weixin_39948111的博客
11-12 4593
@凌旬授权发布https://www.zcool.com.cn/article/ZMTE3MDM2OA==.html-------------------------------------------感谢大家对黑马家族的支持，今天给大家推荐一篇关于AE表达式的文章，18种常用AE表达式解析，希望对你有所帮助！正文很多朋友面对AE表达式望而生畏，不过再难的东西都会有它最本质的规则，如...
ae万能弹性表达式_AE动画必备——弹性表达式，让你的动画生动起来
weixin_39948247的博客
11-27 4105
这次分享的是非常实用且高效的表达式！弹性表达式，Bounce 和 Overshoot！利用这个两个表达式你可以轻而易举地实现各种弹性动画，如抖动、弹跳动画等。是的，你没听错，只要998个赞，你就能轻松获得随意加弹性Buff！赶快拿起你的鼠标点赞吧！表达式的是国外大神写出来的，感谢大神的分享，我们只能膜拜了！而且作者非常无私的贴出了两个(Bounce & Overshoot)可以直接进行关键...
ae万能弹性表达式_AE实用表达式整理及表达式合集脚本
weixin_39570530的博客
11-27 4261
表达式是AE中非常好用的工具，它可以帮助我们节省大量的制作时间。如果你对表达式掌握的比较好，那么很多看似复杂、繁琐的效果，利用表达式都可以轻松的实现。但是表达式的学习是有一定门槛的，简单的运用还好，一旦涉及到复杂点的运用，就对数学能力、逻辑能力有一定的要求了。为此，我整理了一些工作中常用、实用的表达式效果。无需理解背后的语义，只要直接套用即可。并且已经将它们集成进了我编写的“常用表达式合集”脚本中...
c# 万能 日期正则表达式
最新发布
07-13
把握每天的机会，共同创造美好未来 c是创造。创造是人类的天性，也是推动社会进步的核心力量。每一天，我们都有无限的机会去创造。无论是创造美好的生活、创造新的科技、创造艺术作品，还是创造更好的社会，我们都...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

letisgoto

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值