基于Go 1.19的站点模板爬虫

要构建一个基于Go 1.19的站点模板爬虫，我们可以使用Go的一些强大特性，如高效并发、内置的HTTP客户端等。下面是一个简单的例子，展示了如何使用Go 1.19来创建一个基本的站点爬虫，它能够遍历网站上的链接并抓取页面内容。
步骤 1: 创建项目文件夹
首先，创建一个新的文件夹作为项目的根目录，并在其中创建一个名为main.go的文件。

mkdir site_crawler
cd site_crawler
touch main.go

步骤 2: 添加依赖库
我们需要添加一些依赖库，例如goquery用于HTML解析，以及colly用于爬虫框架。

go mod init site_crawler
go get github.com/gocolly/colly/v2
go get github.com/PuerkitoBio/goquery

步骤 3: 编写爬虫代码
在main.go中，编写以下代码来定义一个简单的爬虫：

package main

import (
    "fmt"
    "log"

    "github.com/gocolly/colly/v2"
    "github.com/PuerkitoBio/goquery"
)

func main() {
    // 初始化爬虫
    c := colly.NewCollector(
        colly.AllowedDomains("example.com"), // 限制爬取特定域名
        colly.Async(true),                   // 异步模式
    )

    // 当爬虫访问一个页面时触发
    c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        // 获取链接
        link := e.Attr("href")
        fmt.Println("Found link:", link)

        // 访问每个链接
        e.Request.Visit(link)
    })

    // 当爬虫访问一个页面时触发
    c.OnHTML("body", func(e *colly.HTMLElement) {
        doc, err := goquery.NewDocumentFromReader(e.Response.Body)
        if err != nil {
            log.Fatal(err)
        }

        // 解析HTML文档
        doc.Find("body").Each(func(i int, s *goquery.Selection) {
            // 提取页面标题
            title := s.Find("title").Text()
            fmt.Println("Page title:", title)
        })
    })

    // 开始爬虫
    c.Visit("https://example.com")

    // 等待爬虫完成
    c.Wait()
}

步骤 4: 运行爬虫
返回到终端或命令提示符，运行以下命令来启动爬虫：

go run main.go

这将开始爬取指定的起始URL，并打印出找到的所有链接和页面标题。
进阶功能
•  数据库集成: 使用ORM库如Gorm来保存爬取的数据。
•  更复杂的页面解析: 使用更详细的CSS选择器或XPath来提取特定信息。
•  错误处理: 添加更细致的错误处理逻辑。
•  并发控制: 更加精细地控制并发数量以避免对目标服务器造成过大负担。
以上是一个非常基础的例子，您可以根据实际需求进一步扩展功能。如果您需要更具体的实现细节或遇到具体的问题，请随时提问。