Selenium 网页爬虫开发基础（Java）

Overview

---

Selenium是一个多平台的Web应用程序测试的工具，支持包括IE、Mozilla Firefox、Google Chrome等。他可以模拟人的操作，如点击，输入，键盘操作等。适合于抓取由JavaScript生成的页面或其他需要互动的页面。
Anyway， Selenium是模拟人执行浏览器一个自动化工具。
本文介绍的是Java平台下，如何用Selenium，与网站交互并爬取相关内容

Selenium Project有四个：Selenium WebDriver、Selenium Grid（已废弃）、Selenium IDE、Selenium Remote Control。本文使用的是WebDriver Project，其中IDE Project是可视化类型的，适合于非开发性自动化。

一、准备

１、开发准备

  基础Java开发环境不做赘述，Selenium官方网址：–>seleniumhq官网 <– 这上面有很多资料，纯英文的。但不必太纠结，国内中文资料很多，而且十分够用，可自行百度。这里给大家推荐按一个：自动化测试
  在官网Download页面，找到如下图所示的下载内容即可。不得不说的是，这个网站偶尔会无法访问，可能是被墙了。在公司访问基本都没出过问题，因为是比利时节点。
  为了方便大家，我在网盘上也给大家分享了，链接如下：http://pan.baidu.com/s/1c1KDNI4 密码：rxnh

２、引入Jar

  解压出来的Jar包应该是这样的，lib文件夹中还有更多的。为了方便管理，可以将Jar放入的User库，项目需要就统一加入。
Lib下包众多，作者比较好奇每个包具体功能，想在项目中直接只加入合适的包。这个我查了一下，没找到，如果有了解也可以告诉我。

  创建User库的方法是：Windows–>Preferences–>User libraries下 先New，再分别add Jar即可。在需要的项目上，右击buildpath配置进去即可。

若使用构建工具，相关dependency 如下

--Gradle--
dependencies {
compile(＂org.seleniumhq.selenium:selenium-java＂);
}
--Maven--
<dependency>
<groupId>org.seleniumhq.selenium</groupId>
<artifactId>selenium-java</artifactId>
<version>3.4.0</version>
</dependency>

OK，当你完成以上时候，项目的准备就基本完成了。下面就是具体功能Coding的部分。

二、小试牛刀

1、Selenium大致实现思路

• 配置相关参数           驱动以及浏览器位置等等
• 系统根据配置加载Drive驱动    此时自动化操作的浏览器打开
• Drive加载URL          访问URL页面

• 操作Drive对浏览器执行操作    执行已设定操作

    相关代码粘贴如下，代码提供了三种浏览器的执行方案，分别是IE（速度很慢）、FIrefox、Chrome。需要注意的是Chrome在win下只支持32-bit，并且drive的驱动与浏览器版本是相关的，向下不兼容。

     /**
     * Get WebDriver
     * @param url
     * @return driver
     */
    public static WebDriver getWebDriver(String url) {
        //Use IE. u need to set drive path and capabilities
/*          System.setProperty("webdriver.ie.driver", "D:/drive/IEDriverServer.exe");
            DesiredCapabilities ieCapabilities = DesiredCapabilities.internetExplorer();
            ieCapabilities.setCapability(InternetExplorerDriver
                            .INTRODUCE_FLAKINESS_BY_IGNORING_SECURITY_DOMAINS,true);
            WebDriver driver = new InternetExplorerDriver();*/

        //Use Firefox.need set property and install path;
/*          System.setProperty("webdriver.gecko.driver", "D:/drive/geckodriver.exe");
            System.setProperty("webdriver.firefox.bin", "C:\\Program Files\\Mozilla Firefox\\firefox.exe");
            WebDriver driver = new FirefoxDriver();*/

        //Use Chrome ,but support 32-bit only
        System.setProperty("webdriver.chrome.driver", "D:/drive/chromedriver.exe");
        WebDriver driver = new ChromeDriver();
        driver.get(url);
        return driver;
    }

2、操作浏览器

  以抓取百度为例，用户浏览器打开后。Selenium根据关键字找到输入框，并点击搜索，并将最终结果输入。注意：下面这段代码可能有问题,因为点击搜索后页面需要加载后才会出现结果。所以应该有判断加载结果出来后再抓取结果的过程，这里为简便就只是线程sleep了2秒钟。

        //get input box
        WebElement keyword = driver.findElement(By.id("kw"));
        //enter keyword
        keyword.sendKeys("selenium");
        //get search button and click it
        WebElement searchBtn = driver.findElement(By.id("su"));
        searchBtn.click();
        Thread.sleep(2000);//waiting for the result
        //get result and print out cyclical--搜索结果是h3标签class=“t”，故以此为条件
        List<WebElement> titles = driver.findElements(By.cssSelector("h3.t"));
        for(WebElement title:titles){
            WebElement webTitle=title.findElement(By.tagName("a"));
            System.err.println("webTitle:"+webTitle+":"+webTitle.getText());
        }

三、Selenium基本操作

1、元素定位(按推荐指数排列，后三个没用过)

    //id 定位
    WebElement  webElement = driver.findElement(By.id(“id的值”))；
    //name定位
    WebElement  webElement = driver.findElement(By.name(“name的值”))；
    //TagName 标签名称定位
    WebElement  webElement = driver.findElement(By.tagName(“标签名称”))；
    //Class 名称定位
    WebElement  webElement = driver.findElement(By.className(“class属性”))；
    //css 方式定位
    WebElement  webElement = driver.findElement(By.cssSelector(“css表达式”))；
    //链接的全部文字定位
    WebElement  webElement = driver.findElement(By.linkText(“链接的全部文字”))；
    //链接的部分文字定位
    WebElement  webElement = driver.findElement(By.partialLinkText(“链接的部分文字”))；
    //xpath 方式定位
    WebElement  webElement = driver.findElement(By.xpath(“xpath表达式”))；

2、元素简单操作

   // 点击
   webElement .click();
   // 输入
   webElement .sendKeys("hello selenium");
   // 获取属性
   webElement .getAttribute("value");

3、元素等待

• 显示等待
    设定等待的条件，满足条件测试代码才会继续向后执行，如案例中，等待百度的搜索结果。需要注意的是，如果超过设定的最大显式等待时间阈值， 这测试程序会抛出异常。Selenium预设了一些，可以直接调用ExpectedConditions下的。如果没有，可以自己实现接口。以下是两种演示：

   //等待10s，出现id为kw元素出现后才继续执行
   new WebDriverWait(driver, 10).until(ExpectedConditions.presenceOfElementLocated(By.id("kw")));
       //等待验证码，当验证码拥有某些值时候才可以继续
        try {
            new WebDriverWait(driver, 500).until(new ExpectedCondition<Boolean>(){
                    public Boolean apply(WebDriver d){
                        return d.findElement(By.id("yzm_img"))
                                            .getAttribute("src")
                                            .contains("base64");
                        }
                    });
    } catch (Exception e) {
    }

• 隐式等待
    隐式等待方式（implicitlyWait）脚本在查找元素时的最大等待时间：

    // 其中second为等待的秒数
    driver.manage().timeouts().implicitlyWait(second, TimeUnit.SECONDS);    

4、iframe切换

  定位元素最好的方法就是id，如果id确定，元素很容易找到。之前开发中就遇到过一个很复杂的页面，点击提交表单后弹出一个iframe，显示报表信息。由于元素拥有id，所以想着很容易找到报表中数据。用IE一直没问题，可是生产部署时要调整至Chrome浏览器，就是找不到，Always IN ERROR！最后查到的原因就是iframe，所以需要注意的，不同浏览器可能会出现iframe问题。

//swith to dialog frame that named "dialog-body"
driver.switchTo().frame("dialog-body");
// 回到主窗口
driver.switchTo().defaultContent();

5、浏览器操作

   // 最大化
   driver.manage().window().maximize();
   //跳转至Page
   driver.navigate().to("Page");
   // 刷新
   driver.navigate().refresh();
   // 浏览器退出...这里需要留意quit和close的区别，一般默认quit
   driver.quit();

  当然，这些只是一些比较基本的操作，推荐一个比较完整的博客，可以去看看，我就不再造轮子了：操作手册

 以上就是Selenium抓取的基本内容，利用Selenium做Webservice接口，将验证码抓给用户填写并完成整个操作，将会在Selenium实现交互式WebService中和大家介绍，谢谢