Java 爬虫
目标
- 爬取豆瓣电影的评分
- 学习webDriver的基本操作
环境
- Java 1.8
- IDEA
- Windows 10
- Chrome浏览器
工具
- Chrome驱动
- selenium的jar包
- 豆瓣电影网站
开始
第一步
下载Chrome驱动,下载地址 http://npm.taobao.org/mirrors/chromedriver
找一个和自己的Chrome版本差不多的驱动,查看自己Chrome的版本的方法我就不说了,设置里面就可以轻松查到,我的Chrome版本是76.0.3809.132,所以我下载了
第二步
打开IDEA,创建Maven项目
输入GroupId和ArtifactId
然后直接finish就好啦,接着就是把第一步下的驱动解压之后复制到resources目录下,然后导包
打开pom.xml
,复制下面的代码
<dependencies>
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-server</artifactId>
<version>3.141.59</version>
</dependency>
</dependencies>
新建一个main类准备开始写代码,下面是我的目录结构
第三步
配置驱动
//设置webdriver路径
System