如何使用selenium自动化爬取淘宝信息

最新推荐文章于 2024-05-16 16:37:49 发布
最新推荐文章于 2024-05-16 16:37:49 发布
阅读量1.8w 收藏 4
点赞数 1
文章标签： python csv excel 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyh960/article/details/108232170
版权

如何使用自动化爬取淘宝信息

1、首先我们要确保安装了谷歌浏览器，并且是84.0版本

在这里插入图片描述

因为接下来我们要用到自动化这款软件，必须得和版本相匹配，否则就会失败

在这里插入图片描述

2、然后接下来，打开我们的taobao文件选择里面dist文件，这里提醒一下文件名最好不要随便乱改，因为这个exe文件是和py文件相匹配的，所以防止出错，test.exe这个文件是获取淘宝商品的属性，taobao-shangpingxinxi.exe这个是获取商品的销量、价格、标题，至于为什么不能放到一起爬取呢，因为这两个是不同页面来的，之前我一直在反复尝试，试着把这两个exe文件一起写，但是可惜一直都是失败告终。

3、前言说完了，接下来说说具体操作流程，首先打开我们其中的一个exe文件等他出现一个这个黑色的文件框即可，如果中途问你是否允许这个文件执行，点击确认即可，然后往里面输入你要搜索的关键词

在这里插入图片描述

例如我输入的是灯具组合 全屋 套餐

在这里插入图片描述

个人建议，最好就是先随便找个文本输入关键词，然后复制粘贴进去这个终端，因为在终端打字挺麻烦的，确认好你的关键词之后，按一下回车就开始运行这个程序了

4、运行这个程序之后，会自动弹出我们下载好的谷歌，这里我使用的是手机扫码登录，这样方便一点，可用度也高，任何人有淘宝号都可以运行这个程序，我设置了10秒钟的时间，如果超过10秒，那么程序会重新执行，所以最好速度要快

在这里插入图片描述

点击右上角那个扫码登录

在这里插入图片描述

拿出手机打开淘宝APP在搜索栏旁边有个扫二维码的东西，点击即可，然后扫码在手机端点击确认

在这里插入图片描述

都确认好之后就会跳转到我们需要爬取的页面
在这里插入图片描述

这时候我们什么都不用干，让它自己自动化爬取就好了，会自动翻页，淘宝搜索关键词最多只有100页，那么我们设置100页就好了，每当爬一页就会写入成功一次，这个是写入我们的CSV文件的
在这里插入图片描述

5、但是当我们打开我们的CSV文件的时候发现一个奇怪的现象

在这里插入图片描述

我们的CSV文件乱码了，这是因为我们的编码格式出了问题，这时候我们用Excel转换一下就好了，先创建一个Excel表打开，选择数据选择自文本，打开我们要导入的CSV文件

在这里插入图片描述

然后按照下面步骤来就好了

在这里插入图片描述

在导入我们的CSV文件之后，第一步先选择好我们的原始格式，第二步按下一步，第三步选择逗号，并且把tab键那个钩子去掉，文本识别符号选择双引号，然后再点击下一步

在这里插入图片描述

在这里插入图片描述

然后点击完成，最后的效果就是我们需要的信息了

中…(img-LXmQHQWC-1598376822720)]

然后点击完成，最后的效果就是我们需要的信息了

在这里插入图片描述
源代码我放到GitHub上了，最好有一定基础，不然看不懂不会操作的

这个是适合小白，新手，什么东西我都做好了，你按照上文描述来使用即可

有猫腻妖
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
python爬虫：Selenium模拟浏览器爬取淘宝商品信息
修炼的Coder
05-06 2156
1.数据提取前期网页分析分析：淘宝网页数据也是通过Ajax技术获取的，但是淘宝的API接口参数比较复杂，可能包含加密密匙等参数；所以，想要通过自己构造API接口获取完整网页信息很难实现（可能只有部分信息），如下图：图一  实际的网页信息，每一网页有44条商品信息图二  实际后台的API接口可以找到，但信息不完整（只有11条商品信息），而且部分参数加密所以，分析至此，不采用Ajax分析；直接使用Se...
爬虫进阶实战(selinum爬取淘宝商品类目)
Saki_Python的博客
09-11 1663
Selenium 是一个用于 Web 应用程序自动化测试的工具，最初是为网站自动化测试而开发的。Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。它支持所有主流的浏览器（包括 IE、Firefox、Safari、Chrome、Opera 等）。可以使用它对浏览器进行各种各样的模拟操作，包括爬取一些网页内容。
Python中进程和线程到底有什么区别？_python线程和进程的关系和区别
m0_60707221的博客
04-26 340
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。工欲善其事必先利其器。
【python】教你使用seLeniun爬取淘宝商品数据（内含完整源码）
python56123的博客
12-18 4323
前言 嗨喽~大家好，这里是魔王，希望和大家一起努力进步，觉得文章还行你就三连支持一下叭ˋ( ° ▽、° ) [课 题]： 使用python采集某宝商品数据 [课题介绍]： 随着互联网时代的到来，人们更加倾向于互联网购物 某宝又是电商行业的巨头，在某宝平台中有很多商家数据 今天带大家使用python+selenium工具获取这些公开的商家数据 [环境介绍]： python 3.8 pycharm selenium csv time random python解释器安装包、安装教程 pycharm
Python+Selenium实战——爬取淘宝商品信息
最新发布
qq_42898642的博客
05-16 1342
本文介绍了Selenium的相关基础操作以及如何利用Selenium爬取淘宝商品数据
使用自动化工具selenium爬取淘宝数据！这个框架太牛逼了！
爬遍所有网站
08-04 2919
准备工作 爬虫所需的库和浏览器驱动 本次爬虫所需要的库 selenium #可使用pip命令安装 pip install selenium csv re time 安装浏览器驱动 以谷歌浏览器为例，在浏览器地址栏中输入chrome://version/查看浏览器版本 谷歌的驱动：chromedriver.exe 驱动版本与Chrome版本对应的目录：http://npm.taobao.org/mirrors/chromedriver/2.32/notes.txt 驱动各版本的下载地址：
python实现免登录淘宝，商品信息窗口化自动爬取
11-21
python实现免登录淘宝，商品信息窗口化自动爬取
python+selenium爬虫按关键词搜索实现自动化抓取淘宝商品写入mongodb数据库
06-29
使用selenium、webdriver爬取淘宝的图片、商品、价格等信息。在命令行界面输入爬取的参数，把参数信息记录到txt文件中，运行爬虫程序后，先使用手机扫码登陆，然后pc端网页会自动翻淘宝的网页，知道翻到淘宝的最后一...
天猫（淘宝）数据爬取源码（可直接使用）.zip
07-08
1. **网络爬虫**：网络爬虫是一种自动化获取网页信息的程序，它通过模拟用户浏览行为，遍历网站的各个页面，抓取所需数据。在这个案例中，爬虫主要针对天猫和淘宝的商品页面，目标是获取商品的产地、标价、名称、...
python登录并爬取淘宝信息代码示例
09-21
本示例代码展示了如何使用Python进行淘宝信息的登录和爬取。首先，我们来深入理解涉及的关键知识点。 1. **Selenium库**：Selenium 是一个强大的浏览器自动化工具，用于模拟用户交互，如点击、填写表单等。在这个...
淘宝商品爬虫, selenium破解滑块验证（目前可用）
06-22
在这个项目中，Python被用来编写爬虫脚本，用于自动化地访问淘宝网站、抓取商品信息。 网络爬虫是通过模拟浏览器行为，自动遍历和解析网页的程序。爬虫的基本流程包括发送HTTP请求、接收服务器响应、解析HTML内容...
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
03-02
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
用selenium爬取淘宝信息
大雨治水的博客
03-02 1561
需要的模块和组件 用Selenium来模拟浏览器操作，抓取淘宝的商品信息，并将结果保存到MongoDB。用到了ChromeDriver组件，ChromeDriver的作用就是通过命令行启动Chrome， ...
利用selenium爬取淘宝商品信息
qq_36035111的博客
02-29 1088
在淘宝上买东西的时候常常要比较商品的价格，付款的人数等等，若如一个个查看是十分费时的。所以这次就利用爬虫爬取淘宝商品的信息。 首先介绍下selenium，selenium本是用于web自动化的工具。但是其在浏览器上直接运行，就像真正的用户在操作一样。所以也常常用于爬虫。selenium课可直接寻找到web页面中的元素，如页码输入框，确认按钮等等，并且可以对这些元素进行操作，比如点击，清除。 搜...
使用selenium爬取淘宝商品信息
lixinghua666的博客
10-31 643
使用selenium爬取淘宝商品信息 1. 发送请求 driver = webdriver.Chrome() # 打开某些网页，会有广告遮住找到的tag，设置窗口的大小就可以避免 # driver.set_window_size(1920, 1080) driver.implicitly_wait(6) url = 'https://www.taobao.com/' driver.get(url)...
【爬虫】python使用selenium抓取淘宝中的商品数据
SY的博客
09-13 4037
前言 最近因为项目需要又得抓一批数据，和之前的scrapy不同，这次选择使用selenium来爬取。两种方法的区别如下： scrapy之类的库是基于网络请求来爬取的，也就是直接向目标服务器发送http请求，在这个过程中需要自己构造请求字段也就是json格式的request body。 selenium一类的库是基于自动化测试的，我们只需要知道想要访问的链接就好，其它的（异步加载图片、信息之类的）交给浏览器来做。也因此在使用时需要额外下载浏览器以及对应驱动，比如googledriver。 总而言之，虽然s
Python+selenium实现自动爬取实例
Jxc的个人博客
06-22 7106
Selenium 是一个用于Web应用程序测试的工具。它直接运行在浏览器中，模拟用户操作，就像真正的用户在操作一样。
python -- 使用selenium模拟登录淘宝，爬取商品信息
qq_44936246的博客
10-21 1122
目录环境谷歌驱动下载解析代码 环境 windows10 python3.7.3 selenium 谷歌 谷歌驱动 谷歌驱动下载 http://chromedriver.storage.googleapis.com/index.html 下载与自己电脑谷歌浏览器版本相应的谷歌驱动 解析 在这里主要爬去商品的基本信息： 代码 from selenium import webdriver import time from selenium.webdriver import ActionChains im
python + selenium多进程爬取淘宝搜索页数据
Kosmoo的博客
07-24 4196
selenium操作chrome滑动滚动条的几种方法分析 页面滚动条滑动 self.driver.execute_script(“window.scrollTo(0,document.body.scrollHeight);”) # 将页面滚动条滑到底部 self.driver.execute_script(“arguments[0].scrollIntoView();”, el) # 向...
selenium自动化爬取淘宝商品详情数据
05-25
使用 Selenium 自动化爬取淘宝商品详情数据可以分为以下步骤： 1. 安装 Selenium 和浏览器驱动：Selenium 是 Python 中用于自动化 Web 浏览器的库，需要安装；同时需要下载对应浏览器的驱动程序，如 ChromeDriver。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有猫腻妖

你的鼓励是我更新的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值