Python简单爬虫

python学习笔记之一:爬取贴吧首页的图片

一. 获取整个页面的数据

#coding:utf-8
import urllib

def getHtml(url):
    page = urllib.urlopen(url)
    html = page.read()
    return html
html = getHtml("http://tieba.baidu.com/")
print html

urllib模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取网上的资源.
首先,我们定义了一个getHtml()函数,其中urlopen()方法用来打开一个URL地址.
read()方法用来读取URL上的数据,向getHtml()函数传递一个网址参数,将整个页面下载下来.

二. 筛选需要的数据

利用正则表达式来获取想要的数据

#coding:utf-8
import urllib
import re

def getHtml(url):
    page = urllib.urlopen(url)  #打开url地址
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)"'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    return imglist

html = getHtml("http://tieba.baidu.com/")
print getImg(html)

创建getImg()函数,用于在获取的整个页面中筛选需要的图片链接.
re模块主要是包含了正则表达式
re.compile()可以把正则表达式编译成一个正则表达式对象
re.findall()方法读取html中包含imgre(正则表达式)的数据
运行脚本将得到整个页面中包含图片的URL

三. 将筛选后的数据保存到本地

把筛选后的数据通过for循环保存到本地,这里默认是保存在当前文件夹中

#coding:utf-8
import urllib
import re

def getHtml(url):
    page = urllib.urlopen(url)  #打开url地址
    html = page.read()
    return html

def getImg(html):
    reg = r'src="(.+?\.jpg)"'
    imgre = re.compile(reg)
    imglist = re.findall(imgre,html)
    x =0
    for imgurl in imglist:
        urllib.urlretrieve(imgurl,'%s.jpg' % x)
        x+=1
    return imglist

html = getHtml("http://tieba.baidu.com/")
print getImg(html)

urllib.urlretrieve()方法,直接将远程数据下载到本地
通过一个for循环对获取的图片连接进行遍历，为了使图片的文件名看上去更规范，对其进行重命名，命名规则通过x变量加1。保存的位置默认为程序的存放目录。
程序运行完成，将在目录下看到下载到本地的文件。