nodejs中实现sleep功能,暂停几秒.

58 篇文章 16 订阅
57 篇文章 34 订阅

一 背景

在使用nodejs爬虫的时候,经常会遇到别人的网站对频率的反爬机制,
这个时候如果不做处理程序就会挂掉,重新启动也会继续被屏蔽.这个问题怎么解决呢,
我的想法就是程序暂停10分钟或者更长的时间,继续爬取.

二 方法

其实使用setTimeout就可以实现,只是nodejs异步已经很金字塔了,再加一层会更恐怖,所以
本文 使用nodejs的第三方模块async来实现,async的目的就是让多个异步的程序,按照开发者
想要的顺序来执行,代码书写符合同步风格,其实运行还是异步的,也解决了回调金字塔的问题.
async基础使用 : http://blog.csdn.net/zzwwjjdj1/article/details/51857959

三 正常代码

访问3个网站,百度,优酷,腾讯为例.不暂停的代码.
var async = require('async');
var http = require('http');
var task = [];
task.push(function(callback){
  console.time('访问3个网站时间统计');
  http.get('http://www.baidu.com/', function(res) { 
    console.log("百度访问结果: " + res.statusCode); 
    callback(null);
  }).on('error', function(e) { 
    console.log("百度访问结果: " + e.message);
    callback(e);
  });
})

task.push(function(callback){
  http.get('http://www.youku.com/', function(res) { 
    console.log("优酷访问结果: " + res.statusCode);
    callback(null);
  }).on('error', function(e) {
    console.log("优酷访问结果: " + e.message);
    callback(e);
  });
})

task.push(function(callback){
  http.get('http://www.qq.com/', function(res) { 
    console.log("腾讯访问结果: " + res.statusCode);
    callback(null);
  }).on('error', function(e) { 
    console.log("腾讯访问结果: " + e.message);
    callback(e);
  });
})

async.waterfall(task, function(err,result){
  console.timeEnd('访问3个网站时间统计');
  if(err) return console.log(err);
  console.log('全部访问成功');
})

四 测试


执行访问网站需要时间,3个网站访问时间统计254ms.

五 暂停代码

比如,访问第一个网站后暂停5秒,访问第二个网站后暂停10秒.
var async = require('async');
var http = require('http');
var task = [];
task.push(function(callback){
  console.time('访问3个网站时间统计');
  http.get('http://www.baidu.com/', function(res) { 
    console.log("百度访问结果: " + res.statusCode);
    setTimeout(function() {
      callback(null);
    }, 5000);
  }).on('error', function(e) { 
    console.log("百度访问结果: " + e.message);
    callback(e);
  });
})

task.push(function(callback){
  http.get('http://www.youku.com/', function(res) { 
    console.log("优酷访问结果: " + res.statusCode);
    setTimeout(function() {
      callback(null);
    }, 10000);
  }).on('error', function(e) {
    console.log("优酷访问结果: " + e.message);
    callback(e);
  });
})

task.push(function(callback){
  http.get('http://www.qq.com/', function(res) { 
    console.log("腾讯访问结果: " + res.statusCode);
    callback(null);
  }).on('error', function(e) { 
    console.log("腾讯访问结果: " + e.message);
    callback(e);
  });
})

async.waterfall(task, function(err,result){
  console.timeEnd('访问3个网站时间统计');
  if(err) return console.log(err);
  console.log('全部访问成功');
})

六 测试


从打印中能看得出,访问第二个网站等待了5秒,访问第三个网站等待了10秒.OK!
更多nodejs分享,我的博客 http://blog.csdn.net/zzwwjjdj1
评论 1 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:编程工作室 设计师:CSDN官方博客 返回首页

打赏作者

意外金喜

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值