看到别人的Python爬虫博客，自己也模仿着写一个，顺便练习一下python

今天在csdn看到“djd已经存在”的爬虫博客，之前没有接触过爬虫，看到博主的简单代码也算是对爬虫有了一些爬虫有了一些初步的了解，也体会到Python方便的文本操作对于爬虫之类的工作一些遍历之处。

我的理解是，首先通过url请求要搜的内容，内容一html的形式返回，通过对html进行解析，就可以得到需要爬虫的内容。

url可以到浏览器上自己获取

#!/usr/bin/python


#-*- coding:utf-8 -*-


import urllib2
import re


class Search:
    def __init__(self):
        self.search_url = "http://search.jd.com/Search?keyword=iphone&enc=utf-8&suggest=0&cid3=655"


    def get_resource(self):
        res = urllib2.urlopen(self.search_url)
        htm_src = res.read()
        return htm_src


class ParseResult:
    def parse_html(self, html):
        for sku_str in re.findall('<li sku="\d+">', html):
            sku = sku_str.split('"')[1]
            print "id: %s" %sku
            name = re.search('''<font class="skcolor_ljg">iPhone</font>(.*?)<font style='color:#ff0000' class='adwords' id='AD_%s'></font>''' %sku, html)
            price = re.search('<strong class="J_%s" data-price="(.*?)">' %sku, html)
            if name != None and price != None:
                print "name: %s\nprice: %s\n" %(name.group(1), price.group(1))

def run():
    search = Search()
    html = search.get_resource()
    f = open("jd_iphone_search.txt", "w")
    f.write(html)
    parser = ParseResult()
    parser.parse_html(html)


if __name__ == "__main__":


    run()