如何使用selenium自动化爬取淘宝信息

最新推荐文章于 2022-08-15 21:01:56 发布
最新推荐文章于 2022-08-15 21:01:56 发布
阅读量1.8w 收藏 4
点赞数 1
文章标签： python csv excel 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyh960/article/details/108232170
版权

如何使用自动化爬取淘宝信息

1、首先我们要确保安装了谷歌浏览器，并且是84.0版本

在这里插入图片描述

因为接下来我们要用到自动化这款软件，必须得和版本相匹配，否则就会失败

在这里插入图片描述

2、然后接下来，打开我们的taobao文件选择里面dist文件，这里提醒一下文件名最好不要随便乱改，因为这个exe文件是和py文件相匹配的，所以防止出错，test.exe这个文件是获取淘宝商品的属性，taobao-shangpingxinxi.exe这个是获取商品的销量、价格、标题，至于为什么不能放到一起爬取呢，因为这两个是不同页面来的，之前我一直在反复尝试，试着把这两个exe文件一起写，但是可惜一直都是失败告终。

3、前言说完了，接下来说说具体操作流程，首先打开我们其中的一个exe文件等他出现一个这个黑色的文件框即可，如果中途问你是否允许这个文件执行，点击确认即可，然后往里面输入你要搜索的关键词

在这里插入图片描述

例如我输入的是灯具组合 全屋 套餐

在这里插入图片描述

个人建议，最好就是先随便找个文本输入关键词，然后复制粘贴进去这个终端，因为在终端打字挺麻烦的，确认好你的关键词之后，按一下回车就开始运行这个程序了

4、运行这个程序之后，会自动弹出我们下载好的谷歌，这里我使用的是手机扫码登录，这样方便一点，可用度也高，任何人有淘宝号都可以运行这个程序，我设置了10秒钟的时间，如果超过10秒，那么程序会重新执行，所以最好速度要快

在这里插入图片描述

点击右上角那个扫码登录

在这里插入图片描述

拿出手机打开淘宝APP在搜索栏旁边有个扫二维码的东西，点击即可，然后扫码在手机端点击确认

在这里插入图片描述

都确认好之后就会跳转到我们需要爬取的页面
在这里插入图片描述

这时候我们什么都不用干，让它自己自动化爬取就好了，会自动翻页，淘宝搜索关键词最多只有100页，那么我们设置100页就好了，每当爬一页就会写入成功一次，这个是写入我们的CSV文件的
在这里插入图片描述

5、但是当我们打开我们的CSV文件的时候发现一个奇怪的现象

在这里插入图片描述

我们的CSV文件乱码了，这是因为我们的编码格式出了问题，这时候我们用Excel转换一下就好了，先创建一个Excel表打开，选择数据选择自文本，打开我们要导入的CSV文件

在这里插入图片描述

然后按照下面步骤来就好了

在这里插入图片描述

在导入我们的CSV文件之后，第一步先选择好我们的原始格式，第二步按下一步，第三步选择逗号，并且把tab键那个钩子去掉，文本识别符号选择双引号，然后再点击下一步

在这里插入图片描述

在这里插入图片描述

然后点击完成，最后的效果就是我们需要的信息了

中…(img-LXmQHQWC-1598376822720)]

然后点击完成，最后的效果就是我们需要的信息了

在这里插入图片描述
源代码我放到GitHub上了，最好有一定基础，不然看不懂不会操作的

这个是适合小白，新手，什么东西我都做好了，你按照上文描述来使用即可

有猫腻妖
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
python爬虫：Selenium模拟浏览器爬取淘宝商品信息
修炼的Coder
05-06 2159
1.数据提取前期网页分析分析：淘宝网页数据也是通过Ajax技术获取的，但是淘宝的API接口参数比较复杂，可能包含加密密匙等参数；所以，想要通过自己构造API接口获取完整网页信息很难实现（可能只有部分信息），如下图：图一  实际的网页信息，每一网页有44条商品信息图二  实际后台的API接口可以找到，但信息不完整（只有11条商品信息），而且部分参数加密所以，分析至此，不采用Ajax分析；直接使用Se...
爬虫进阶实战(selinum爬取淘宝商品类目)
最新发布
Saki_Python的博客
09-11 1674
Selenium 是一个用于 Web 应用程序自动化测试的工具，最初是为网站自动化测试而开发的。Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。它支持所有主流的浏览器（包括 IE、Firefox、Safari、Chrome、Opera 等）。可以使用它对浏览器进行各种各样的模拟操作，包括爬取一些网页内容。
【python】教你使用seLeniun爬取淘宝商品数据（内含完整源码）
python56123的博客
12-18 4325
前言 嗨喽~大家好，这里是魔王，希望和大家一起努力进步，觉得文章还行你就三连支持一下叭ˋ( ° ▽、° ) [课 题]： 使用python采集某宝商品数据 [课题介绍]： 随着互联网时代的到来，人们更加倾向于互联网购物 某宝又是电商行业的巨头，在某宝平台中有很多商家数据 今天带大家使用python+selenium工具获取这些公开的商家数据 [环境介绍]： python 3.8 pycharm selenium csv time random python解释器安装包、安装教程 pycharm
使用自动化工具selenium爬取淘宝数据！这个框架太牛逼了！
爬遍所有网站
08-04 2936
准备工作 爬虫所需的库和浏览器驱动 本次爬虫所需要的库 selenium #可使用pip命令安装 pip install selenium csv re time 安装浏览器驱动 以谷歌浏览器为例，在浏览器地址栏中输入chrome://version/查看浏览器版本 谷歌的驱动：chromedriver.exe 驱动版本与Chrome版本对应的目录：http://npm.taobao.org/mirrors/chromedriver/2.32/notes.txt 驱动各版本的下载地址：
用selenium爬取淘宝信息
大雨治水的博客
03-02 1564
需要的模块和组件 用Selenium来模拟浏览器操作，抓取淘宝的商品信息，并将结果保存到MongoDB。用到了ChromeDriver组件，ChromeDriver的作用就是通过命令行启动Chrome， ...
利用selenium爬取淘宝商品信息
qq_36035111的博客
02-29 1090
在淘宝上买东西的时候常常要比较商品的价格，付款的人数等等，若如一个个查看是十分费时的。所以这次就利用爬虫爬取淘宝商品的信息。 首先介绍下selenium，selenium本是用于web自动化的工具。但是其在浏览器上直接运行，就像真正的用户在操作一样。所以也常常用于爬虫。selenium课可直接寻找到web页面中的元素，如页码输入框，确认按钮等等，并且可以对这些元素进行操作，比如点击，清除。 搜...
使用selenium爬取淘宝商品信息
lixinghua666的博客
10-31 644
使用selenium爬取淘宝商品信息 1. 发送请求 driver = webdriver.Chrome() # 打开某些网页，会有广告遮住找到的tag，设置窗口的大小就可以避免 # driver.set_window_size(1920, 1080) driver.implicitly_wait(6) url = 'https://www.taobao.com/' driver.get(url)...
【爬虫】python使用selenium抓取淘宝中的商品数据
SY的博客
09-13 4106
前言 最近因为项目需要又得抓一批数据，和之前的scrapy不同，这次选择使用selenium来爬取。两种方法的区别如下： scrapy之类的库是基于网络请求来爬取的，也就是直接向目标服务器发送http请求，在这个过程中需要自己构造请求字段也就是json格式的request body。 selenium一类的库是基于自动化测试的，我们只需要知道想要访问的链接就好，其它的（异步加载图片、信息之类的）交给浏览器来做。也因此在使用时需要额外下载浏览器以及对应驱动，比如googledriver。 总而言之，虽然s
Python+selenium实现自动爬取实例
Jxc的个人博客
06-22 7110
Selenium 是一个用于Web应用程序测试的工具。它直接运行在浏览器中，模拟用户操作，就像真正的用户在操作一样。
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
03-02
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息-附件资源
python -- 使用selenium模拟登录淘宝，爬取商品信息
qq_44936246的博客
10-21 1133
目录环境谷歌驱动下载解析代码 环境 windows10 python3.7.3 selenium 谷歌 谷歌驱动 谷歌驱动下载 http://chromedriver.storage.googleapis.com/index.html 下载与自己电脑谷歌浏览器版本相应的谷歌驱动 解析 在这里主要爬去商品的基本信息： 代码 from selenium import webdriver import time from selenium.webdriver import ActionChains im
python + selenium多进程爬取淘宝搜索页数据
Kosmoo的博客
07-24 4201
selenium操作chrome滑动滚动条的几种方法分析 页面滚动条滑动 self.driver.execute_script(“window.scrollTo(0,document.body.scrollHeight);”) # 将页面滚动条滑到底部 self.driver.execute_script(“arguments[0].scrollIntoView();”, el) # 向...
（廿八）Python爬虫：使用Selenium爬取淘宝商品信息
带翅膀的猫的博客
09-12 4997
上文学习了Selenium，本文使用它爬取淘宝搜索到的商品信息，并且将数据存储在MongoDB中。 爬取步骤 1、进入淘宝首页，获取输入框和搜索按钮 browser = webdriver.Chrome() wait = WebDriverWait(browser,10) def search(keyword): try: browser.get('...
使用selenium爬取淘宝页面中的商品信息
zx的博客
10-31 2757
一、分析 淘宝页面中的商品都是用js动态加载的，所以使用selenium模块抓取内容 1.首先分析如何用关键字搜索内容 2.打开浏览器 3.然后分析页面结构，抓取信息 4.其次获取商品具体信息的话需要打开二级页面 5.需要找到下一页的按钮用于模拟点击下一页，从而获取所有页面的相关信息 二、开始操作 1.首先分析如何用关键字搜索内容 注意到页面的规律为https://s.taobao.com/sea...
python爬虫——用selenium爬取淘宝商品信息
心之所向的博客
05-26 9464
python爬虫——用selenium爬取淘宝商品信息 1.附上效果图 2.淘宝网址https://www.taobao.com/ 3.先写好头部 browser = webdriver.Chrome() wait = WebDriverWait(browser,20)#设置等待时间为20秒 url ='https://www.taobao.com/' keyword = 'python爬虫'...
18数据接口和selenium
qq_44087994的博客
08-15 668
数据接口与selenium
selenium淘宝爬虫
weixin_42036785的博客
03-26 1375
最近在学习崔庆才老师的《Python3网络爬虫开发实战》，第七章《动态渲染页面爬取》的使用selenium爬取淘宝商品，由于该书出版时间已久，淘宝的反爬机制做了其他改动，书中代码需要改进，特发此文，记录自己学习过程中遇到的问题及解决方法。
selenium自动化爬取淘宝商品详情数据
05-25
使用 Selenium 自动化爬取淘宝商品详情数据可以分为以下步骤： 1. 安装 Selenium 和浏览器驱动：Selenium 是 Python 中用于自动化 Web 浏览器的库，需要安装；同时需要下载对应浏览器的驱动程序，如 ChromeDriver。 2. 打开浏览器并访问淘宝网站：使用 Selenium 打开指定的浏览器并访问淘宝网站。 3. 搜索关键字并获取搜索结果：在搜索框中输入关键字并点击搜索按钮，等待搜索结果加载出来，使用 Selenium 获取搜索结果页面的 HTML 代码。 4. 解析搜索结果页面：使用 BeautifulSoup 解析搜索结果页面，获取每个商品的链接。 5. 进入商品详情页面并获取数据：遍历每个商品的链接，使用 Selenium 进入商品详情页面并获取需要的数据，如商品标题、价格、评论数、销量等。 6. 存储数据：将获取到的数据存储到数据库或文件中。 下面是一个示例代码： ```python from selenium import webdriver from bs4 import BeautifulSoup import time # 设置浏览器驱动路径 driver_path = './chromedriver.exe' # 创建浏览器对象 browser = webdriver.Chrome(driver_path) # 设置搜索关键字 keyword = '手机' # 访问淘宝网站 browser.get('https://www.taobao.com/') # 等待页面加载完成 time.sleep(3) # 找到搜索框并输入关键字 browser.find_element_by_name('q').send_keys(keyword) # 点击搜索按钮 browser.find_element_by_class_name('btn-search').click() # 等待搜索结果加载完成 time.sleep(5) # 获取搜索结果页面的 HTML 代码 html = browser.page_source # 使用 BeautifulSoup 解析搜索结果页面 soup = BeautifulSoup(html, 'html.parser') # 获取所有商品的链接 links = [] for item in soup.find_all('a', class_='J_ClickStat'): link = item.get('href') if link.startswith('https://'): links.append(link) # 遍历每个商品的链接并获取数据 for link in links: # 进入商品详情页面 browser.get(link) # 等待页面加载完成 time.sleep(3) # 获取商品标题 title = browser.find_element_by_xpath('//h3[@class="tb-main-title"]/text()') # 获取商品价格 price = browser.find_element_by_xpath('//div[@class="tb-property-cont"]/div[@class="tb-detail-price"]/span[@class="tb-price"]/text()') # 获取商品评论数 comment_count = browser.find_element_by_xpath('//div[@class="tb-rate-counter"]/span[@class="tm-count"]/text()') # 获取商品销量 sales_volume = browser.find_element_by_xpath('//div[@class="tb-sales-counter"]/span[@class="tm-count"]/text()') # 打印商品信息 print('标题：', title) print('价格：', price) print('评论数：', comment_count) print('销量：', sales_volume) # 关闭浏览器 browser.quit() ``` 需要注意的是，使用自动化爬取数据容易被网站识别为机器行为，可以添加一些随机等待时间、请求头伪装等方式来降低被识别的概率。同时，爬取数据时也需要遵守网站的爬虫规则，如不过度频繁访问、不采集敏感信息等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

有猫腻妖

你的鼓励是我更新的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值