京东商品爬虫实战笔记

免责声明：本文所记录的技术手段及实现过程，仅作为爬虫技术学习使用，不对任何人完全或部分地依据本文的全部或部分内容从事的任何事情和因其任何作为或不作为造成的后果承担任何责任。

爬取需求：爬取京东商城根据关键字搜索商品，商品的名称、价格、累计评价信息；

爬取工具：chrome浏览器、pycharm

Python库：selenium

01

网站结构分析

打开京东首页，输入“手机”进行搜索：

点击相关商品详情页，所有信息均可以在详情页找到。

02

创建Selenium爬虫

打开Pycharm开发工具，新建selenium_jd.py，编写如下代码：

import time

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.chrome.options import Options
from pyquery import PyQuery

options = Options();
# 去掉自动化控制提示信息
options.add_experimental_option("excludeSwitches", ['enable-automation']);

user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
options.add_argument('--user-agent=%s' % user_agent)


# 去掉自动化控制标识
browser = webdriver.Chrome('C:\chromedriver.exe', options=options)
browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
    "source": """
    Object.defineProperty(navigator, 'webdriver', {
      get: () => undefined
    })
  """
})

jd_url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&wq=%E6%89%8B%E6%9C%BA&pvid=eb248c3d491144a99d93c073ef663455'

# 主要页面
def start_page(page):
    # 所有详情页url
    detail_url_list = []
    # 当前页为第一页
    current_page = 0
    while current_page < page:
        if (current_page == 0):
            browser.get(jd_url)
        else:
            pass

        # 设置最大等待时间
        wait = WebDriverWait(browser, 30)
        browser.maximize_window()

        current_page = current_page + 1


start_page(1)

运行代码，能够成功打开京东商品搜索页。

03

爬取商品详情页

通过分析页面，找到商品详情页的url信息：

编写代码，爬取商品详情页url：

# 商品详情解析
def get_detail_url(html_source):
    dom = PyQuery(html_source)
    items = dom('.m-list .ml-wrap .gl-item').items()
    detail_urls = []
    for item in items:
        detail_urls.append(item.find('.p-name.p-name-type-2 a').attr('href'))
    return detail_urls

调用商品详情解析方法，运行成功！

04

翻页处理

页面通过下拉框缓慢下拉，才会延时加载下面部分的信息，所以要控制滚动条缓慢下拉，再爬取商品详情页，再进行分页处理：

# 缓慢拉动滚动条拖到底部
window_height = browser.execute_script('return document.body.scrollHeight')
curent_height = 0
for i in range(curent_height, window_height, 100):
    browser.execute_script('window.scrollTo(0, {})'.format(i))
    time.sleep(0.5)# 存储当前爬取的页面详情url
detail_url_list.extend(get_detail_url(browser.page_source))

继续分析分页信息，通过点击下一页实现跳转：

为了方便处理，直接使用鼠标点击实现跳转：

element = browser.find_element_by_class_name('pn-next')

browser.execute_script("arguments[0].click();", element)

运行代码，成功翻页！

05

商品详情页处理

爬取完所有的详情页面url，则可以打开详情页url进行详细信息爬取：

# 爬取详情页面信息
def get_detail_info(html_source):
    dom = PyQuery(html_source)
    detail_dom = dom('.w .itemInfo-wrap')
    detail_info = {
        'name': detail_dom.find('.sku-name').text(),
        'price': detail_dom.find('.summary.summary-first').find('.summary-price-wrap').find('.dd').find('.p-price').text(),
        'comment_count': detail_dom.find('.summary.summary-first').find('.summary-price-wrap').find('.comment-count').text(),
    }
    print(detail_info)
    return detail_info

遍历所有前面爬取到的商品详情页url列表，逐个爬取商品详情：

# 打开详情页面
def start_detail_page(detail_url_list):
    detail_info_list = []
    for detail_url in detail_url_list:
        browser.get(detail_url)
        time.sleep(1)
        detail_info_list.append(get_detail_info(browser.page_source))
    print(detail_info_list)

运行代码，结果如下：

爬取京东商品信息成功！

所有示例代码均可通过微信公众号回复关键字【pachong23】下载！