最容易上手的Java爬虫_爬取豆瓣电影评分

Java 爬虫

目标

1. 爬取豆瓣电影的评分
2. 学习webDriver的基本操作

环境

3. Java 1.8
4. IDEA
5. Windows 10
6. Chrome浏览器

工具

7. Chrome驱动
8. selenium的jar包
9. 豆瓣电影网站

开始

第一步

下载Chrome驱动，下载地址 http://npm.taobao.org/mirrors/chromedriver

找一个和自己的Chrome版本差不多的驱动，查看自己Chrome的版本的方法我就不说了，设置里面就可以轻松查到，我的Chrome版本是76.0.3809.132，所以我下载了

第二步

打开IDEA，创建Maven项目

输入GroupId和ArtifactId

然后直接finish就好啦，接着就是把第一步下的驱动解压之后复制到resources目录下，然后导包
打开pom.xml，复制下面的代码

<dependencies>
    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-server</artifactId>
        <version>3.141.59</version>
    </dependency>
</dependencies>

新建一个main类准备开始写代码，下面是我的目录结构

第三步

配置驱动

//设置webdriver路径
System