Mac 系统vs code环境下使用selenium记录

本文介绍了如何在Mac系统下,利用VS Code配合Selenium爬取动态shtml网页。首先,解释了shtml动态网页的数据获取难题,然后详细步骤包括:在VS Code中安装Selenium,验证安装成功,下载并配置ChromeDriver,添加环境变量,最后通过运行测试代码验证安装是否成功。
摘要由CSDN通过智能技术生成

 

起因:

想爬取一个网站上的数据,但是这个网址不是一般的html,而是shtml,至于这两者的区别,大家可以自行百度,简单的说就是html一般都是静态网页,而shtml一般是动态网页,也就是我们在抓取的时候,不能真正得到网页上的数据,要想拿到数据,就要想别的办法,说这么多可能有点懵逼,简单例子如下:

当我们点击网页检查的时候如下所示,

可以看到很多数据都在网页上,但是当我们把这个网址作为目标网页的时候,你会发现你并不能取到数据,原因是什么呢?再当我们点击显示网页源代码的时候,会出现另外一个页面,如下所示:

我们发现一个很大的问题就是我们的数据在源代码里没有里,这也就是为什么我们明明看到数据在网页里,但是不能取到的原因,后来又发现网址的结尾是.shtml。这就更证明里源码里是不可能有数据的,因为是动态加载网页,所以为能获取数据,我们使用了一个工具就是selenium的工具,会真实打开浏览器爬取代码,效率低一些。

下面介绍一下Mac系统下 使用vs code软件来使用selenium。

1,安装selenium

Visual studio code控制

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值