golang协程并发下载多个文件

package main

import (
	"bufio"
	"fmt"
	"io/ioutil"
	"log"
	"net/http"
	"os"
	"path/filepath"
	"strings"
	"sync"
)

var (
	downloadDestFolder = "/Users/zhangsheng/Go/WorkPlace/src/xcrm"
	urlFilePath        = "/Users/zhangsheng/Go/WorkPlace/src/xcrm/file.txt"
)

func init() {
	log.SetFlags(log.Lshortfile)
}

func main() {
	fi, err := os.Open(urlFilePath)
	if err != nil {
		fmt.Printf("Error: %s\n", err)
		return
	}
	defer fi.Close()
	br := bufio.NewReader(fi)
	var w sync.WaitGroup
	for {
		line, _, err := br.ReadLine()
		if err != nil {
			log.Println("read url complete")
			break
		}
		list := strings.Split(string(line), ",")
		w.Add(1)
		go download(list[1], list[0]+".xlsx", &w)
	}
	w.Wait()

}

func download(url string, filename string, w *sync.WaitGroup) {
	res, err := http.Get(url)
	if err != nil {
		log.Printf("http.Get -> %v", err)
		return
	}
	data, err := ioutil.ReadAll(res.Body)
	if err != nil {
		log.Printf("ioutil.ReadAll -> %s", err.Error())
		return
	}
	defer res.Body.Close()
	_ = os.MkdirAll(downloadDestFolder, 0777)
	if err = ioutil.WriteFile(downloadDestFolder+string(filepath.Separator)+filename, data, 0777); err != nil {
		log.Println("Error Saving:", filename, err)
	} else {
		log.Println("Saved:", filename)
	}
	w.Done()
}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值