python抓取淘宝商品信息

最新推荐文章于 2024-07-25 19:59:32 发布

人僧苦短

最新推荐文章于 2024-07-25 19:59:32 发布

阅读量1k

点赞数

文章标签： python 爬虫

本文链接：https://blog.csdn.net/zhangjiabin1010/article/details/79331618

版权

该博客演示了如何利用Python的Selenium库抓取淘宝网站上的商品信息，包括商品图片、价格、标题、店铺名和所在地。数据通过PyQuery解析，并存储到MongoDB数据库中。

摘要由CSDN通过智能技术生成

from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from pyquery import PyQuery as pq
import pymongo
import re

client = pymongo.MongoClient('mongodb://localhost:27017/')
db = client['taobao']
MONGO_TABLE = 'detail'
browser = webdriver.Chrome('E:/CENTbro/CentBrowser/Application/chromedriver.exe')
wait = WebDriverWait(browser,10)

def search():
    try:
        browser.get('https://www.taobao.com/')
        input = wait.until(
            EC.presence_of_element_located((By.CSS_SELECTOR,'#q'))
        )
        submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button'