ebayno

最新推荐文章于 2023-08-24 10:42:58 发布
最新推荐文章于 2023-08-24 10:42:58 发布
阅读量297 收藏
点赞数
分类专栏： 工作相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zn505119020/article/details/76215910
版权



1

import logging
import random
import threading
import urllib.parse
import urllib.parse
import urllib.request
from queue import Queue
import pymysql
from bs4 import BeautifulSoup
import time


class EbaySpider(object):
    def randHeader(self):
        head_connection = ['Keep-Alive', 'close']
        head_accept = ['text/html, application/xhtml+xml, */*']
        head_accept_language = ['zh-CN,fr-FR;q=0.5', 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3']
        head_user_agent = ['Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
                           'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
                           'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
                           'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
                           'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
                           'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
                           'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']

        header = {
            'Connection': head_connection[0],
            'Accept': head_accept[0],
            'Accept-Language': head_accept_language[1],
            'User-Agent': head_user_agent[random.randrange(0, len(head_user_agent))]
        }
        return header

    def getBeautifulSoup(self , query_rl):
        req = urllib.request.Request(url= query_rl , headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')
        return  soup

    def search(self , serchWords , sku):
        serchWords = str(serchWords).replace(" ", "%20")
        #_ipg=100每页100 ，
        query_rl = "https://www.ebay.com/sch/i.html?_from=R40&_sacat=0&_ipg=100&rt=nc&_nkw=" + serchWords + "&_pgn=1&_skc=0"
        soup = self.getBeautifulSoup(query_rl)
        # print(soup.prettify())
        content = soup.find("span" , "rcnt")
        itemSize = int(str(content.string).replace(",","")) + 1
        pageSize = int(itemSize/100)
        if itemSize % 100 != 0 :
            pageSize += 1

        print("总计" + str(itemSize) + "项，共" + str(pageSize) + "页（每页100条）")
        print("第1页....")
        result = []  #统计ebayno
        content = soup.find_all("div" , "lvpic pic img left")
        for i in content:
            s = str(i)
            l = s.find("iid=")
            if l == -1:
                continue
            r = s.find("\">")
            no = str(s[l + 5:r])
            result.append(no)
            if self.findDBByNo(no):
                continue
            self.insertDB(sku, no)

        for _pgn in range(2 , pageSize+1):
            print("第" + str(_pgn) + "页....")
            query_rl = "https://www.ebay.com/sch/i.html?_from=R40&_sacat=0&_ipg=100&rt=nc&_nkw=" + serchWords + "&_pgn=" + str(_pgn) + "&_skc=" + str((_pgn-1)*100)
            soup = self.getBeautifulSoup(query_rl)
            content = soup.find_all("div", "lvpic pic img left")
            for i in content:
                s = str(i)
                l = s.find("iid=")
                if l == -1:
                    continue
                r = s.find("\">")
                no = str(s[l+5:r])
                result.append(no)
                if self.findDBByNo(no):
                    continue
                self.insertDB(sku,no)

        return result
    def findDBByNo(self,query_id):
        db = pymysql.connect(host='localhost', user='root', passwd='', db='test', port=3306, charset='utf8')
        cursor = db.cursor()
        sql = ' select * from ebayno where ebayno = %s '
        cursor.execute(sql, (query_id))
        db.commit()
        cursor.close()
        db.close()
        return cursor.fetchone() is not None

    def insertDB(self,sku,no):
        db = pymysql.connect(host='localhost', user='root', passwd='', db='test', port=3306, charset='utf8')
        cursor = db.cursor()
        sql = " insert into ebayno(sku , ebayno)  values(%s , %s) "
        cursor.execute(sql, (sku, no))
        db.commit()
        cursor.close()
        db.close()


if __name__ == '__main__':
    sku = "WM-D39S0106"
    ebay = EbaySpider()
    file_object = open(str(sku) + ".txt", 'w')
    file_object.write("sku, ebayno\n")
    result = ebay.search("2016 nerf bar Silverado 2500", sku)
    for i in range(len(result)):
        print(str(i) , end="\t")
        print(result[i])
        file_object.write(sku + ","+ result[i]+"\n")
    file_object.close()

zn505119020
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 实现分页
weixin_42584758的博客
02-13 400
在 Python 中，可以使用切片 (slice) 操作来实现分页。例如，如果你想将一个列表分成页，每页包含 N 个元素，那么可以这样做： def paginate(lst, page_size): for i in range(0, len(lst), page_size): yield lst[i:i + page_size] my_list = [1, 2, 3, ...
python爬取分页数据
Sicilly的博客
11-12 4876
今天需要到这个广东省科学技术厅网站上查一个办件信息，结果发现…… 这个不能直接选页码也不能搜索的分页真是剧毒……好几百页让人怎么翻呢。。。 于是我果断F12看一下 可以看到请求的url和post的表单数据，复制到浏览器看看 这里最重要的参数就是pageNum（第几页）和pageSize（每页有多少条数据） http://zwfw.gd.gov.cn/portal/xnjd/bjxx?pageNum=1&pageSize=10&orgCode=006939801&xzqhdm=4
python 自动批量打开网页的示例
01-20
如下所示： import webbrowser import codecs import time with open(test.txt) as fp: for ebayno in fp: url = 'http://ebay.com/itm/'+ebayno.strip() time.sleep(1) #打开间隔时间 webbrowser.open(url) #打开网页 以上这篇python 自动批量打开网页的示例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持软件开发网。 您可能感兴
python分页
鑫淼的博客
05-17 485
【代码】python分页。
数据库查询 in传入数组
zn505119020的专栏
09-18 5995
import pymysql from pandas import DataFrame import numpy as np import pandas as pd def findFromViogiData(ebaynos): db = pymysql.connect(host='****', user='**', passwd='**', db='*', port=3306, char
Python 自定义分页方法及示例
longe20111104的博客
05-31 562
Python 自定义分页方法及示例。
python 连接网站获取列表分页数据
04-02
该python实现了 https://tool.lu/xiehouyu网站的获取所有列表分页数据
Python3爬虫 处理分页
老李2009
07-26 3535
import logging import random import threading import urllib.parse import urllib.parse import urllib.request from queue import Queue import pymysql from bs4 import BeautifulSoup import time class Eba
python 分页爬取
Aidon博客
08-18 2494
python 分页爬取
爬取分页内容 python
Tjhfsghbjknjdy的博客
04-14 249
代码： # -*- coding: utf-8 -*- # @Time : 2020/4/14 20:40 # @Author : Oneqq # @File : 03-gethtml.py # @Software: PyCharm from urllib.request import Request, urlopen from urllib.parse import urlencode f...
CSDN爬虫（二）——博客列表分页爬虫+数据库设计
10-05
文章同步：http://blog.csdn.net/wgyscsf
python3爬取贴吧图片（翻页+模拟浏览器）
09-16
利用python3 爬取贴吧图片 并且实现翻页功能 模拟浏览器 通过bs4，requests库和正则表达式 爬取图片并现在到本地硬盘中 爬虫第一课
python 创建一个空dataframe 然后添加行数据的实例
01-20
实例如下所示： import pandas as pd import re import math dframe1 = pd.read_excel(window regulator分析报告数据对比源.xlsx, sheetname=Sheet1) #读取数据 ...df = pd.DataFrame(columns = [ebayno, p_sku, sal
pandas concat表连接
zn505119020的专栏
08-31 2463
concat concat函数是在pandas底下的方法，可以将数据根据不同的轴作简单的融合 12 pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False)12 参数
抓取某店铺的ebayno
zn505119020的专栏
12-14 1608
import random from http.cookiejar import CookieJar import requests from bs4 import BeautifulSoup import numpy as np import re import os from queue import Queue import time import random import threadi
【Python爬虫】简单实战——手把手教你爬取分页数据并存储到本地excel（页面少、单线程）
destiny_balabala的博客
11-16 5106
一、前言 最近在看研究生导师的信息。但是导师信息是分页存储的（大概有10页吧），点来点去很麻烦，所以我就想把所有信息爬取下来????，存到本地excel中。这样可以前期做一个筛选，然后详细看每个导师的主页信息????‍???? 。 二、准备工作 这次我用的是Python????，相关的库有： requests：发送http请求 bs4、BeautifulSoup：提供很多对象和方法，帮助我们解析html页面的标签 re：正则式库，和BeautifulSoup库配合使用，比如：找到某个标签，其class属性
python 爬取斗鱼 Ajax动态加载js分页 使用phontomjs无界面浏览器
大蛇王的博客
12-08 1465
python2.7版本 #coding:utf8 import unittest from selenium import webdriver from bs4 import BeautifulSoup as bs class douyu(unittest.TestCase): # 初始化方法，必须是setUp() def setUp(self): self.d
Python爬虫--豆瓣电影top信息分页爬取demo
Dawn_G的博客
08-24 512
2、分析请求网址，可以看出start为0，limit为20。在页面继续下拉后新的请求网址start变为20，limit还是20。这样就分析出了start会变，每次增加20，limit不变每次显示20条电影信息。注2：此爬虫使用urllib完成，因页面返回数据为json，需要找到对应的js。3、代码开发，可以将start和limit作为参数拼接到ur链接后，start通过键盘输入计算可以每次增加。1、百度搜索豆瓣电影，进入后点击F12查找页面数据返回内容。注1：只是用来简单练习，无频繁且恶意请求。
python爬虫7：分页爬取网页内容（需修改）
weixin_45906368的博客
07-07 609
1，分页爬取数据：改变url中的相关页码参数format形成通用url模板。
电子行业周报：高性能计算带动半导体设备领域投资.pdf
最新发布
06-03
电子元件 电子行业 行业分析 数据分析 数据报告 行业报告

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值