java spring boot + Selenium 爬取网站简单使用

chromedriver 下载

首先下载chromedriver 这个驱动 注意: 看一下Chrome 浏览器版本

选择合适对应的chromedriver 版本

pom引入

<!-- selenium-java -->
        <dependency>
            <groupId>org.seleniumhq.selenium</groupId>
            <artifactId>selenium-java</artifactId>
            <version>3.14.0</version>
        </dependency>
        <dependency>
            <groupId>com.google.code.gson</groupId>
            <artifactId>gson</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>23.0</version>
        </dependency>

public static void main(String[] args) throws IOException, InterruptedException {
        //加载驱动，后面的路径自己要选择正确，也可以放在本地
        System.setProperty("webdriver.chrome.driver", "F:\\Python39\\chromedriver.exe");
        /* 开启浏览器打开 */
        //ChromeOptions 可以注释 这里是阻止浏览器的打开
        ChromeOptions options = new ChromeOptions();
        options.addArguments("--headless");
        options.addArguments("--disable-gpu");
        /* 结束浏览器打开 */
        
        //初始化一个谷歌浏览器实例，实例名称叫driver
        WebDriver driver = new ChromeDriver(options);

        // get()打开一个站点
        driver.get("网站地址");
        //该页面有登录
        driver.findElement(new By.ById("username")).sendKeys("账号");
        driver.findElement(new By.ById("password")).sendKeys("密码");
        //点击登录
        driver.findElement(new By.ByXPath("//*[@id=\"kc-login\"]")).click();

        //等待页面加载
        Thread.sleep(6000);
        //获取页面头信息
        //String app = driver.getTitle();
        //获取主体内容
        WebElement app = driver.findElement(new By.ByXPath("//*[@id=\"22b4d8f4-fc39-4f6f-8908-823045bc7f52\"]"));
        WebDriver frame = driver.switchTo().frame(app);
        WebElement app1 = frame.findElement(new By.ById("app"));
        String text = app1.getText();
        System.out.println(text);
    }