python爬虫之获取豆瓣电影信息

此次是师哥给布置的任务，所以这几天就在研究如何完成获取https://movie.douban.com/top250这个网站里面250部电影的信息。

主要就是应用了python的urllib2与beautifulsoup的结合使用，也是我第一次使用爬虫，当然现在看也是基础的使用，是体会到工具的强大

还有就是借助 http://cuiqingcai.com/category/technique/python ，给予了我很大帮助。关于python的学习，这个网站给了很好的指导。

然后，现在是对python面向对象还需进一步学习理解，第一次我是按普通程序完成了，并没有建造类。之后我想用类的方法来完成，结果就是仅仅创建了两个类。

# -*- coding: utf-8 -*-
import urllib2
import re
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding("utf-8")

class movies:
    def __init__(self,baseUrl):
        self.url=baseUrl
        self.title=[]
        self.info=[]

    def getInfo(self):
        try:
            con=''
            for i in range(0,250,25):
                response=urllib2.urlopen(self.url+str(i)+'&fileter=')
                con=con+response.read()
        except urllib2.URLError,e:
            if hasattr(e,"reason"):
                print u"链接失败，错误原因",e.reason
        html_text=con
        soup=BeautifulSoup(html_text,'html.parser',from_encoding='UTF-8')

        link_temp=soup.find_all('a',href=re.compile(r'subject'))
        link_node=[]
        for i in range(0,500,2):
            link_node.append(link_temp[i])

        file = open('F:/PythonFile/movies.txt', 'w')
        for enter in link_node:
            try:
                res=urllib2.urlopen(enter['href'])
                print res.getcode()
                infomation=res.read()
                soup1=BeautifulSoup(infomation,'html.parser',from_encoding='UTF-8')
                self.info=soup1.find_all('div',id=re.compile(r'info'))
                self.title=soup1.find_all('title')

                each_info = self.info
                each_title = self.title

                for link_t in each_title:
                    file.write(link_t.get_text())
                    file.seek(0, 2)

                for link_i in each_info:
                    file.write(link_i.get_text())
                    file.seek(0, 2)
            except urllib2.URLError,e:
                print "找不到这个网页"
        file.close()

url='https://movie.douban.com/top250?start='
mov=movies(url)
mov.getInfo()

看起来程序是不是很简单。其实，只要知道了每个功能在什么地方用，怎么用，最后实现起来还是很简单的。

当然，再说一次，这些都是基础的，学习之路还在继续。