package main
import (
"encoding/json"
"flag"
"fmt"
"github.com/PuerkitoBio/goquery"
"github.com/golang/glog"
"github.com/tealeg/xlsx"
"io/ioutil"
"math/rand"
"net/http"
"strings"
"time"
)
type movie struct {
Directors []string `json:"directors"`
Rate string `json:"rate"`
Rover_x int `json:"cover_x"`
Star string `json:"star"`
Title string `json:"title"`
Url string `json:"url"`
Casts []string `json:"casts"`
Cover string `json:"cover"`
Id string `json:"id"`
Cover_y int `json:"cover_y"`
}
type data struct {
Data []movie `json:"data"`
}
var (
file *xlsx.File
//爬到的影片总数
number int
filePath string = "C
golang 简单爬虫,245行代码爬取豆瓣电影电视剧等信息并保存到excel
最新推荐文章于 2025-04-06 00:16:45 发布

这是一个使用Golang编写的简单爬虫程序,它爬取豆瓣电影和电视剧信息,根据指定的评分、分页和类型,将数据解析并存储到Excel文件中。程序使用了goquery库来解析HTML,xlsx库来操作Excel,通过HTTP请求获取网页内容,并且在爬取过程中加入了延时策略以避免被封禁。
最低0.47元/天 解锁文章
2万+

被折叠的 条评论
为什么被折叠?



