nodejs完成简易爬虫

``

   const http = require('https');     // https和http用法类似
   const fs = require('fs'); 
   const cheerio = require('cheerio');    // 需要npm安装
   
   let path = 'https://v.qq.com/';
   let url = 'http://nodejs.cn/api/';
    
   http.get(path, (res) => {

       const { statusCode } = res;
       const contentType = res.headers['content-type'];

       var err;
     
       if (!statusCode) {
           err = new Error("状态错误");
       } else if (!(/^text\/html/.test(contentType))) {
           err = new Error("类型错误");
       }

      if (err) {
          console.log(err);
          res.resume();     // 防止缓存
          return;
      }

      var data = ''

      res.on('data', (chunk) => {
          data += chunk.toString('utf8')    // nodejs是将超过指定大小的文件一块一块的传输
       });

      res.on('end', () => {
          fs.writeFileSync('./slider.html', data)    // 写入到一个文件中
          const $ = cheerio.load(data);    
          $('img').each((index, elm) => {
              console.log($(elm).attr('src'));
          })
      })
   }).on('error', (err) => {
        console.log(err);
   })

``