Python--网页更新监控工具

Python--网页更新监控工具

(2012-08-04 17:29:05)

转载▼

标签： 网页监控更新 python it

分类：程序人生

  写这个网页更新监控工具，是因为最近要不停查看某个学校网站，看是否有考研最新消息发布。如果是人工的查看，确实比较费时，但是利用python对web开发的快速特点，就比较容易实现这个需求。

一、工作原理
  首先是下载网页，这个在网上有太多的案例了，就不详细谈了。但是要注意对网页的中文字符的处理，这是python一直存在的问题。这里使用了chardet这个第三方包，能够对网页的编码进行测试，给出网页的实际编码。网页下载后，保存时候要按系统默认的编码进行保存，否则或出现乱码，最好是保存为二进制文件。
  然后对html文件进行过滤，提取出网页的文本内容。这里网上也有很多案例。经过比对，我只是使用了正则
表达式来进行过滤，发现效果和效率都不错。
    最后，就是对不同时间段抓取的网页内容进行比对。这里使用了difflib模块，只要两者有差异，就给出详细
差异结果。本工具的测试环境是：win7+python2.7.3，读者可以自行写个win系统的批处理脚本，定时调用此工具。第一次运行时候是没有结果输出的，因为第一次只是执行下载网页，还有比对的样本。还有就是，如果发现网页有更新，需要及时更新上一次的比对文件（txt格式文本）。

二、代码文件结构
1）downloadHtml  下载文件的模块
2）getEncoding    获得文件编码模块
3）Html2Text        提取文本内容模块
4）differFile      比对文件差异模块
5）monitorHtml    执行监控网页更新模块

三、测试截图
1)网页没有更新

2）网页有更新
留意有下划线部分内容，这就是网页内容有差异的部分。

四、主要代码
－－－－－－－－－－－downloadHtml－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
import urllib
import urllib2
import getEncoding
import sys

def downloadHtml(websize, savefile):
      '''
      this methodis used download html,but if html contain chinese charateres
      should notuse this method
      '''
      #At firstcheck the encoding of html
      encoding =getEncoding.quick_getHtmlEncoding(websize)
      content =urllib2.urlopen(websize).read()
      type =sys.getfilesystemencoding()
      s =content.decode(encoding).encode(type)
      file =open(savefile, 'wb')
      file.write(s)
      file.close()

－－－－－－－－－－－differFile－－－－－－－－－－－－－－－－－－－－－－
import difflib

def isDiff(srcfile, tarfile):
      '''
      compare withtwo files,if equal then return ture
      '''
      src =file(srcfile).read().split(' ')
      tar =file(tarfile).read().split(' ')
      ret =1
      # ignoreblank lines
      temp =difflib.SequenceMatcher(lambda x: len(x.strip()) == 0, src,tar)
      for tag, i1,i2, j1, j2 in temp.get_opcodes():
              #print tag
              if tag != 'equal':
                      ret = 0
                      break
      return (Trueif ret == 1 else False)


def getDetails(srcfile, tarfile, flag = 'all'):
      '''
      compare wtihtwo files,if different then output details
      '''
      temp1_context = file(srcfile).read()
      temp2_context = file(tarfile).read()
      file1_context = temp1_context.splitlines()
      file2_context = temp2_context.splitlines()
      diff =difflib.Differ().compare(file1_context, file2_context)
      if flag =='all':
              #output all context
              print "\n".join(list(diff))
      else:
              #only output different part of context
              linenum = 1
              for line in diff:
                      if line[0] != ' ':
                              print 'line:%d %s'%(linenum, line)
                      else:
                              linenum = linenum + 1
－－－－－－－－monitorHtml－－－－－－－－－－－－－－－－－－－－－－－－－
import downloadHtml
import differFile
import Html2Text
import os.path

def isExists(saveFile):
      '''
      check filewhether existed
      '''
      returnos.path.isfile(saveFile)

def monitorHtml(websize, savehtml, savetxt, originaltxt):
      '''
      monitorassign html, if context of html has changed then outputdetails
      '''
      downloadHtml.downloadHtml(websize, savehtml)

      ifisExists(originaltxt):
              Html2Text.Html2Txt(savehtml, savetxt)
              if(differFile.isDiff(originaltxt, savetxt)):
                      print 'These two files are equal.'
              else:
                      print 'These two files are different:'
                      differFile.getDetails(originaltxt, savetxt,'notall')           
      else:
              Html2Text.Html2Txt(savehtml, originaltxt)
     
if __name__ == '__main__':
      websize1 ='http://www.baidu.com'
      srcname1 ='E:\pyproj\differHtml\orginal.txt'
      htmlname1 ='E:\pyproj\differHtml\src.htm'
      txtname1 ='E:\pyproj\differHtml\src2txt.txt'
      monitorHtml(websize1, htmlname1, txtname1, srcname1)
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
ps: 完整代码下载