go+goquery+chromedp爬虫实现对网页数据抓取

安装

首先，需要安装两个包。

1.goquery。

go get github.com/PuerkitoBio/goquery

goquery包主要用于搜索界面上的元素，获取里面的值。

具体操作可以参考：飞雪无痕 的 《golang goquery selector(选择器) 示例大全》 

2.chromedp。

go get -u github.com/chromedp/chromedp

chromedp包可以在代码上对网页进行操作，比如点击、输入数据等。尤其是某些网页内容是通过js动态加载的，仅使用goquery只能获取到加载前的内容，所以需要使用chromedp，等待页面加载完成再进行操作。

在使用chromedp之前，我们需要安装Chrome浏览器。

使用

下面使用goquery+chromedp实现对双色球开奖网站近100期开奖号码的抓取。

首先定义getHttpHtmlContent函数，通过网页地址url，选择器selector，筛选选择器sel（我的理解是，在元素sel下寻找selector元素），选择器的获取方式如下图所示。

func getHttpHtmlContent(url s