用tornado爬素材网站

用tornado爬素材网站

(第一篇技术笔记)
工作需要建立一个飞机图片和视频库,一方面,可以从开源数据集中抽取需要的数据,如Pascal VOC,CIFAR10,COCO和ILSVRC等都包含飞机类别图片,ILSVRC的VID任务包含大量视频片段,我总共从这些数据集中获得了1000(VOC)+3000(COCO)+1400(ILSVRC)=5400张图片以及171段视频;另一方面,可以通过爬虫工具从网上获取更多资源,搜狐优酷这类网站的资源比较杂乱,不符合我的需求,获取效率不高,最终锁定了国内外各种视频和图库的素材资源网站。

​ 开发针对单个资源网站的爬虫相对简单,也叫垂直爬虫,一般为了提高效率会采用多线程,或者直接利用工具包,如scrapy等。tornado是一个轻量级web后端框架,像django和flask一样,tornado包含异步网络库,利用协程(单线程),可以简单高效地实现高并发。

1、爬取百度图片的简单示例

​ 示例代码借鉴自tornado官网文档(这里)5s获取300张。改一改可以实现各种用途,爬图片、视频、小说、新闻、评论、商品等。

import os
import re
import time
from tornado import httpclient, gen, ioloop, queues
from datetime import timedelta
from urllib.parse import quote

path = "./imgs/"
if not os.path.exists(path):os.makedirs(path)
e_names = set(os.listdir(path))
keyword = "战斗机"
re_imgs = re.compile('"thumbURL":"(.*?)",')

@gen.coroutine
def main():
    ''' 生产消费者模型,通过队列完成数据通信 '''
    start = time.time()
    concurrency = 500   # 设置并发大小和队列大小
    q = queues.Queue(maxsize=concurrency)

    @gen.coroutine
    def worker():
        # 消费每个下载链接
        while True:
            src = yield q.get()
            try:
                filename = src.split("/")[-1]
                if filename not in e_names:
                    response = yield httpclient.AsyncHTTPClient().fetch(src)
                    with open(path+filename, "wb") as file:
                        file.write(response.body)
                        file.flush()
                        e_names.add(filename)

            except Exception as e:
                print("PRO_CON:"+str(e))
            q.task_done()

    # 启动所有消费者worker,此时队列为空,所有worker阻塞在`src = yield q.get()`语句
    for i in range(concurrency):
        worker()

    # 启动生产者,获取10页图片地址,如何获取url链接,在浏览器按F12
    # 打开"网络"(Networks),在刷新图片时抓包就可以看到
    for page_index in range(1,11):
        url = "https://image.baidu.com/search/acjson?tn=resultjson_com&ipn=rj&ct=201326592\
            &is=&fp=result&queryWord="+quote(keyword)+"&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=\
            &st=-1&z=&ic=0&word="+quote(keyword)+"&s=&se=&tab=&width=&height=&face=0&istype=2\
            &qc=&nc=1&fr=&pn=%d"%(30*page_index)+"&rn=30&gsm=1e&1533995815287="

        response = yield httpclient.AsyncHTTPClient().fetch(url)
        srcs = re_imgs.findall(response.body.decode("utf8",errors="ignore"))
        print("page: %03d, #pics: %d"%(page_index,len(srcs)))
        for src in srcs:
            yield q.put(src)
    yield q.join(timeout=timedelta(seconds=300))
    print("Concurrent task done in %d seconds"%(time.time()-start))

if __name__ == '__main__':
    io_loop = ioloop.IOLoop.current()
    io_loop.run_sync(main)

顺便说下,在数据解析性能方面,能用正则表达式和xpath,就不要用beautifulSoup和json(某些时候),解析过程一般如下:

import requests
from lxml import etree
import json

html = requests.get(some_url)
# re的使用
re_obj = re.compile('<img src="(.*?)" />')
srcs = re_obj.findall(html.text)

# xpath使用
selector=etree.HTML(html.text)
srcs = selector.xpath("//li/a/img/@src") #返回图片地址列表列表

# json使用
data = json.loads(html.text)
srcs = data["imgs"]

2、关注请求头和响应头

​ 在向服务器端发送请求时,除了目标连接url之外,通常还需要合理设置请求头,cookie字段通常被服务器用于识别用户,保持通信状态,User-Agent表明你使用的浏览器及版本,响应头则是服务器返回给用户的数据包的一部分,会给出服务器的部分信息,如服务器软件类型(apache/tomcat),返回数据的类型(xhr/mp4/mov),服务器时间,以及set-cookie等,其中set-cookie字段告知浏览器在下次发送请求时需要设置cookie的内容,比如给你分配一个用户id,下次请求服务器时带上这个就知道你是谁了,另外响应头中的location字段会将请求重定位到新的url上,这也是很多资源网站保护数据内容的一种手段。

​ 这是tornado关于headerrequest相关API的介绍,有个网站在下载视频时必须保持较长时间的连接,在header中可以将request_timeout设长一点,如果要执行发送数据的post请求,需要将data进行urlencode后,放入request的body字段中。

from urllib.parse import urlencode
from tornado import httpclient,httputil,ioloop

async def f():
    data = urlencode({"wd":"战斗机"})
    headers = httputil.HTTPHeaders()
    headers.add("cookie","x123456789")
    request = httpclient.HTTPRequest("http://www.baidu.com/s?"+data, 
                                     method="GET", headers=headers, body=None, 
                                     connect_timeout=1*60, request_timeout=10*60)
    http_client = httpclient.AsyncHTTPClient()
    try:
        response = await http_client.fetch(request)
    except Exception as e:
        print("Error: %s" % e)
    else:
        # 查看响应头,content-type字段表明body中的文件类型
        print(resopnse.headers)
        # 查看传回的数据,body是字节码,可以是文本文件,也可以使音乐视频等内容
        print(response.body.decode(errors="ignore"))

io_loop = ioloop.IOLoop.current()
io_loop.run_sync(f)

实践源码可以参考:https://github.com/ziweipolaris/simple-crawler

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页