PhantomJS_Selenium安装与配置

PhantomJS:

下载地址:http://phantomjs.org/download.html

版本:

phantomjs-2.1.1-windows.zip

下载后解压即可,

配置环境变量 path

D:\phantomjs-2.1.1-windows\phantomjs-2.1.1-windows\bin;

Selenium

Selenium安装

 下载地址 : https://pypi.python.org/pypi/selenium#downloads

版本:selenium-3.11.0-py2.py3-none-any.whl (md5)

存放目录:D:\selenium

安装:

cmd -> cd D:\selenium -> python install selenium-3.11.0-py2.py3-none-any.whl

 

浏览器驱动安装:

chrome浏览器驱动网址:

https://sites.google.com/a/chromium.org/chromedriver/downloads

版本选择:根据浏览器版本选择对应的的驱动版本,否则会出错

Eg:下载驱动版本:ChromeDriver 2.37

 Chrome浏览器版本 : 65.0.3325.181(正式版本)

ChromeDriver配置:

a: 放到浏览器chrome安装目录:C:\ProgramFiles (x86)\Google\Chrome\Application

b: 放到与python.py相同目录下:D:\*\Anaconda3\Scripts

 

Pycharm示例代码:

 

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time

driver = webdriver.Chrome()
driver.get(
"http://www.baidu.com")
# assert u'百度' in driver.title
elem =driver.find_element_by_id("kw")
print(elem)
print(driver.title)
elem.clear()
elem.send_keys(
'网络爬虫')
elem.send_keys(Keys.RETURN)
time.sleep(
3)
assert u'网络爬虫.' not in driver.page_source
driver.close()

 


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Gerapy-Selenium 是一个基于 Gerapy 框架的插件,用于在爬虫中使用 Selenium 进行动态网页的爬取。下面是使用 Gerapy-Selenium 的步骤: 1. 安装 Gerapy-Selenium: ``` pip install gerapy-selenium ``` 2. 在 Gerapy 项目中创建一个爬虫(如果已有爬虫可跳过此步骤): ``` gerapy startproject myproject cd myproject gerapy crawl myspider ``` 3. 在 Gerapy 中配置 Selenium: 在 Gerapy 项目的 `settings.py` 文件中添加以下配置: ```python SELENIUM_DRIVER_NAME = 'chrome' # 使用的浏览器,支持 chrome、firefox、phantomjs SELENIUM_DRIVER_EXECUTABLE_PATH = '/path/to/driver' # 浏览器驱动的路径 SELENIUM_DRIVER_ARGUMENTS = ['--headless'] # 浏览器启动参数,可选 ``` 4. 在 Spider 中使用 Selenium: 在 Spider 的 `spiders/myspider.py` 文件中导入 `SeleniumRequest`: ```python from gerapy_selenium import SeleniumRequest ``` 然后可以在 Spider 中使用 `SeleniumRequest` 发送请求,例如: ```python def start_requests(self): yield SeleniumRequest(url='http://example.com', callback=self.parse) def parse(self, response): # 使用 response.meta['driver'] 来操作浏览器 driver = response.meta['driver'] # 使用 driver.find_element 等方法进行元素定位和操作 title = driver.find_element(By.XPATH, '//h1').text yield {'title': title} ``` 在上述例子中,`SeleniumRequest` 会自动创建一个浏览器实例,并将该实例传递给回调函数的 `response.meta['driver']` 中,可以通过该驱动对象进行元素定位和操作。 这样就可以在 Gerapy 中使用 Selenium 进行动态网页的爬取了。注意,使用 Gerapy-Selenium 时需要安装对应浏览器的驱动,例如 Chrome 需要下载 ChromeDriver,Firefox 需要下载 geckodriver,并将驱动的路径配置到 `SELENIUM_DRIVER_EXECUTABLE_PATH` 中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值