一步一步教你网站采集规则

第一步、确定采集的网站 (我们以DEDE的官方站做为采集站做示范) 
  1. http://www.dedecms.com/plus/list.php?tid=10
复制代码

第二步、确定被采集站的编码。 打开被采集的网页之后,查看源代码(IE:查看 - > 源代码) 


 


 


在<head> </head>之间找到 charset 这个,后面就显示网页的编码了,截图的是 “gb2312”
 


第三步、采集列表获取规则写法  

来源网址写法 很明显pageno是表示分页页码 那么有多页列表的采集就要用“[var:分页]”来替换分页页码,截图 如下 
[url=http://www.dedecms.com/plus/list.php?tid=10&pageno=[var]http://www.dedecms.com/plus/list.php?tid=10&pageno=[var[/url]:分页]


 


 

文章网址需包含 网址不能包含 这两个一般不用写,用于采集列表范围有很多不需要的连接才用到他来做过滤使用。  

上面的网址并没有带有至于 http://www.dedecms.com 为什么要在前面加上,这个就不要我说了吧。 

如果只有一个列表页,那么在来源网址就直接写上网址就OK了。
 


 


 

注意这里,最关键就是这里。  

下面就是“采集获取文章列表的规则写法”, 
就是上面打开的被采集页面的源代码文件,找到文章列表之前 和本页面没有其他相同的代码 
在DedeCms官方站的列表页文章列表之前和之后最近的且没有相同的是“ class="newslist">”和“ class="pages">”,分别写入“起始HTML”和“结束HTML”,写法看截图
 





第四步、采集文章标题,文章内容,文章作者,文章来源等规则写法,分页采集等。  
“起始HTML”和“结束HTML”写法参考第三步中的“获取文章列表的规则写法” 



 


 

下面讲的是如何采集分页内容 看截图圈着的地方 截图  



文档是否分页 里面选择“全部列出的分页列表” 

“起始HTML”和“结束HTML”写法参考第三步中的“获取文章列表的规则写法” 



 





这里本来还有一张截图的,由于论坛配置,他现在显示在最上面.

在文章内容那里点上“分页内容字段”,不选择就不能采集。 

“下载字段里的多媒体资源 ”这个是采集的时候把多媒体资源(视频,软件,图片等)下载到本地,也就是你的网站。 

下面是过滤规则 

过滤规则需要用 “正则表达式”来写,但是对于新手来说,这个简直是比登天还要难,我也不懂。:) 

完成上面操作了。保存
点"测试"
QQ截图未命名.jpg 
出现类似上面的图.就表示成功了
以后点"采集"
采集完成后就导出到你的栏目就OK 了.完毕
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值