ebay_展示图片抓取

最新推荐文章于 2021-07-27 10:47:50 发布
最新推荐文章于 2021-07-27 10:47:50 发布
阅读量1.3k 收藏
点赞数
分类专栏： 工作相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zn505119020/article/details/78793742
版权

第一步： 保存图片url

import logging
import random
import threading
import urllib.parse
import urllib.parse
import urllib.request
from queue import Queue
import pymysql
from bs4 import BeautifulSoup
import time
import  re
import csv
import json
import pandas as pd
import os
class Spider():
    def randHeader(self):
        head_connection = ['Keep-Alive', 'close']
        head_accept = ['text/html, application/xhtml+xml, */*']
        head_accept_language = ['zh-CN,fr-FR;q=0.5', 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3']
        head_user_agent = ['Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
                           'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
                           'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
                           'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
                           'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
                           'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
                           'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']

        header = {
            'Connection': head_connection[0],
            'Accept': head_accept[0],
            'Accept-Language': head_accept_language[1],
            'User-Agent': head_user_agent[random.randrange(0, len(head_user_agent))]
        }
        return header

    def getPicture(self,ebayno):
        ebayno = str(ebayno)
        if os.path.exists("image_url//ebay//" + str(ebayno) + ".xlsx"):
            return
        url = 'http://www.ebay.com/itm/' + ebayno
        req = urllib.request.Request(url=url, headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')  # 解析
        # print(soup.prettify())
        src = soup.find_all("img", index = re.compile("\d+"))
        urls = []
        for img in src:
            url = img["src"]
            urls.append([ebayno, url])
        imagedf = pd.DataFrame(urls,columns=["ebayno","url"])
        imagedf = imagedf.drop_duplicates()
        imagedf["id"]=imagedf.index
        imagedf.to_excel("image_url//ebay//" + str(ebayno) + ".xlsx", index=False)
        # print(src)

class ThreadCrawl(threading.Thread): #ThreadCrawl类继承了Threading.Thread类

    def __init__(self, queue):  #子类特有属性， queue
        FORMAT = time.strftime("[%Y-%m-%d %H:%M:%S]", time.localtime()) + "[Spider]-----%(message)s------"
        logging.basicConfig(level=logging.INFO, format=FORMAT)
        threading.Thread.__init__(self)
        self.queue = queue
        self.spider = Spider()  #子类特有属性spider， 并初始化，将实例用作属性

    def run(self):
        while True:
            success = True
            item = self.queue.get() #调用队列对象的get()方法从队头删除并返回一个项目item
            self.spider.getPicture(item)  # 调用实例spider的方法getDataById(item)
            # try:
            #     self.spider.getPicture(item) #调用实例spider的方法getDataById(item)
            # except :
            #     success = False
            # if not success :
            #     self.queue.put(item)
            logging.info("now queue size is: %d" % self.queue.qsize()) #队列对象qsize()方法，返回队列的大小
            self.queue.task_done() #队列对象在完成一项工作后，向任务已经完成的队列发送一个信号

class SpiderJob():

    def __init__(self , size , qs):
        self.size = size  # 将形参size的值存储到属性变量size中
        self.qs = qs

    def work(self):
        toSpiderQueue = Queue() #创建一个Queue队列对象
        for i in range(self.size):
            t = ThreadCrawl(toSpiderQueue)    #将实例用到一个类的方法中
            t.setDaemon(True)
            t.start()
        for q in self.qs:
            toSpiderQueue.put(q)  #调用队列对象的put()方法，在对尾插入一个项目item
        toSpiderQueue.join()    #队列对象，等到队列为空，再执行别的操作



if __name__ == '__main__':
    df = pd.read_excel("后视镜eBay平台图片抓取ebayno.xlsx")
    print(df.info())
    qs = df["ebayno"].values
    # qs = ["361991704099"]
    print(len(qs))
    Job = SpiderJob(8, qs)
    Job.work()



第二步：更改图片大小url

"""
在抓取ebay的图片的时候 结尾是64.jpg的是小图，应替换成500.jpg
"""
import pandas as pd
import os
import re

# dataframe = []
# for root , dirs, files in os.walk("image_url\\ebay"): #files返回combine中存在csv的文件名
#     print(len(files))
#     for name in files:
#         name = "\\".join([root, name])
#         print(str(name))
#         temp = pd.read_excel(str(name))
#         dataframe.append(temp)
# print(len(dataframe))
# result = pd.concat(dataframe)
# print(result.info())
# # exit()
# result.to_excel("ebay_mirror_picture_url.xlsx",index = False)

df = pd.read_excel("ebay_mirror_picture_url.xlsx")
print(df.info())
for i in df.index:
    url = df.loc[i,"url"]
    url = re.sub("(64\.jpg)","500.jpg",url)
    url = re.sub("(64\.png)", "500.png", url)
    df.loc[i,"large_url"]=url
df.to_excel("ebay_mirror_picture_url_large.xlsx",index=False)


第三步：图片url下载到本地

import random
from http.cookiejar import CookieJar
import requests
from bs4 import BeautifulSoup
import csv
import numpy as np
import re
import xlrd
from queue import Queue
import time
import urllib
import os
import random
import threading
import logging
import pandas as pd
from my_feedback_ebayno import Feedback_ebayno

class EbaySpider(object):
    def __init__(self):
        self.SESSION = requests.session()
        self.SESSION.cookies = CookieJar()
        # print(self.SESSION.cookies)
        self.HEAD = self.randHeader()

    def randHeader(self):
        head_connection = ['Keep-Alive', 'close']
        head_accept = ['text/html, application/xhtml+xml, */*']
        head_accept_language = ['zh-CN,fr-FR;q=0.5', 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3']
        head_user_agent = ['Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
                           'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
                           'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
                           'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
                           'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
                           'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
                           'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']

        header = {
            'Connection': head_connection[0],
            'Accept': head_accept[0],
            'Accept-Language': head_accept_language[1],
            'User-Agent': head_user_agent[random.randrange(0, len(head_user_agent))]
        }
        return header

    def getBeautifulSoup(self, query_rl):
        r = self.SESSION.get(url=query_rl, headers=self.HEAD)
        # print(self.SESSION.cookies)
        soup = BeautifulSoup(r.text, 'html.parser')
        return soup

    def getRates(self):
        query_rl = "https://www.ebay.com/sch/i.html?_from=R40&_sacat=0&_ipg=100&rt=nc&_nkw=window regulator&_pgn=1&_skc=0"
        r = self.SESSION.get(url=query_rl, headers=self.HEAD)
        # print(self.SESSION.cookies)
        soup = BeautifulSoup(r.text, 'html.parser')
        content = soup.find("span", "rcnt")
        itemSize = int(str(content.string).replace(",",""))
        # print("初次查询：" + str(itemSize) + "项")
        #获取第一个ebayno，将收货地址更改
        itm = soup.find("div", "lvpic pic img left")['iid']
        # print("设置shippingandpayments为美国US")
        getrates_url = "http://www.ebay.com/itm/getrates?item=" + itm + "&country=1&co=0&cb=jQuery1705349737076189762_1501724760425"
        r = self.SESSION.get(url=getrates_url, headers=self.HEAD) #发请求，保存cookie

    #从ebay上抓取关键字搜索到的相关的ebayno

    def search(self,item):
        sku = item[0]
        url = item[4]
        id = item[3]
        print(sku,url,id)
        if os.path.exists("picture_ebay//" + str(sku) + "_" + str(id) + ".jpg"):
            return
        urllib.request.urlretrieve(url, "picture_ebay//" + str(sku) + "_" + str(id) + ".jpg")




class ThreadCrawl(threading.Thread): #ThreadCrawl类继承了Threading.Thread类

    def __init__(self, queue):  #子类特有属性， queue
        FORMAT = time.strftime("[%Y-%m-%d %H:%M:%S]", time.localtime()) + "[AmazonSpider]-----%(message)s------"
        logging.basicConfig(level=logging.INFO, format=FORMAT)
        threading.Thread.__init__(self)
        self.queue = queue
        self.spider = EbaySpider()  #子类特有属性spider， 并初始化，将实例用作属性

    def run(self):
        while True:
            success = True
            item = self.queue.get() #调用队列对象的get()方法从队头删除并返回一个项目item
            self.spider.search(item)  # 调用实例spider的方法getDataById(item)
            # try:
            #     self.spider.search(item) #调用实例spider的方法getDataById(item)
            # except :
            #     success = False
            # if not success :
            #     self.queue.put(item)
            logging.info("now queue size is: %d" % self.queue.qsize()) #队列对象qsize()方法，返回队列的大小
            self.queue.task_done() #队列对象在完成一项工作后，向任务已经完成的队列发送一个信号

class EbaySpiderJob():

    def __init__(self , size , qs ):
        self.size = size  # 将形参size的值存储到属性变量size中
        self.qs = qs


    def work(self):
        toSpiderQueue = Queue() #创建一个Queue队列对象
        for i in range(self.size):
            t = ThreadCrawl(toSpiderQueue)    #将实例用到一个类的方法中
            t.setDaemon(True)
            t.start()
        for q in self.qs:
            toSpiderQueue.put(q)  #调用队列对象的put()方法，在对尾插入一个项目item
        toSpiderQueue.join()    #队列对象，等到队列为空，再执行别的操作


if __name__ == '__main__':


    # dataframe = []
    # for root, path, files in os.walk("image_url"):
    #     for file in files:
    #         names = '//'.join([root, file])
    #         temp = pd.read_excel(names)
    #         dataframe.append(temp)
    # temp = pd.concat(dataframe)
    # print(temp.info())
    # temp.to_excel("syppo_mirror_picture.xlsx",index=False)
    # # for i in temp.values:
    # #     print(i)
    # #     exit()
    df = pd.read_excel("ebay_mirror_picture_url_large.xlsx")
    print(df.info())
    amazonJob = EbaySpiderJob(8,df.values)  #实例化对象
    amazonJob.work() #调用对象方法




zn505119020
关注
专栏目录
[Python 爬虫]从eBay页面获取商品高清图片
weixin_46565180的博客
03-15 1828
摘要：这篇文章主要通过使用BeautifulSoup，requests，和re库来从某指定eBay某商品页面获取该商品的高清大图 以这个商品页面为例： https://www.ebay.com/itm/CHANEL-Coco-Cocoon-Small-Tote-Leather-Black-A47108-Free-Shipping-/133298438568?hash=item1f0934c1a8 ...
18.网页抓取的法律与道德约束
MUJINGXI_LH的博客
07-05 416
本章内容介绍美国与网页抓取相关的法律（以及一些国际法），并学习如何分析网页抓取行为的法律和道德约束。 1.商标、版权、专利 知识产权有 3 种基本类型：商标（用 TM 或 ® 表示）、版权（用 © 表示）和专利（有时会用文字说明某发明受专利保护或注明专利号，但通常没有任何说明）。 专利只是用来声明发明的所有权。图片、文字和任何信息本身不能获得专利权。获得专利权的是这些无形的东西（技术），而不是专利报告中的内容。 商标（trademark）是一个单词、词组、符号和 / 或设计，用来标识和区分一种商品的来源。
eBay小爬虫
04-11
2007年4月,ebaypet小爬虫1.0版推出 ,该软件只要输入ebay账户名就可以把该用户的整个店铺商品信息全部爬下来,操作简单,傻瓜式流程操作,仅需几分钟就可以让你的店铺大搬家.
ebay图片抓取 下载到本地
zn505119020的专栏
08-18 2375
Python3   from urllib.request import * urlretrieve()函数。urlretrieve()方法直接将远程数据下载到本地。 urllib.request.urlretrieve(src, "picture\\"+str(ebayno)+".jpg") from urllib.request import * i
Python爬虫抓取Ebay页面
07-13
Python 爬虫抓取Ebay上的数据, 利用BeautifulSoup 和Urllib2进行页面抓取
python 原生ebay(易贝网)搜索页码爬虫
wmburst
10-11 3049
近期有业务涉及的易贝网的爬虫写了一个demo拿出来大家参看看看，还有淘宝，闲鱼，1688，速卖通，京东，苏宁，国美，当当，网易，微店，小红书，拼多多，唯品会，亚马逊，一号店爬虫后面慢慢也放出来 # -*-coding:utf8 -*- import requests from lxml import html from utils import user_agent def run(...
Product Reviews For Ebay Extension-crx插件
04-01
标题中的“Product Reviews For Ebay Extension-crx插件”是指一个专为eBay平台设计的浏览器扩展程序，其主要功能是整合亚马逊（Amazon）的产品评价和评论数量，将这些信息展示在用户浏览eBay商品列表时。...
京东，淘宝，苏宁，亚马逊爬虫抓取商品信息并分析数据.zip
03-01
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
WishList:用于愿望清单管理的Web服务以及amazonebayyepetc上的google插件
05-06
WishList项目正为此提供了一个高效且便捷的解决方案，它是一个集成了Web服务和Chrome插件的系统，允许用户方便地从Amazon、Yelp、Ebay等知名平台抓取商品信息并添加到自己的愿望清单中。本文将深入探讨这个项目的...
基于PHP的EBCMS PHP易贝管理系统.zip
07-18
3. 订单处理：自动抓取和处理来自易贝的订单，提供批量确认、发货、退款等功能，提高效率。 4. 数据分析：集成统计和报告功能，帮助商家分析销售趋势，优化经营策略。 5. 用户管理：管理买家信息，提供客服支持，...
ebay ppt.rar
05-26
NULL 博文链接：https://yiminghe.iteye.com/blog/519644
抓取某店铺的ebayno
zn505119020的专栏
12-14 1627
import random from http.cookiejar import CookieJar import requests from bs4 import BeautifulSoup import numpy as np import re import os from queue import Queue import time import random import threadi
网络爬虫--记一次有趣的侦察型反爬手段(ebay)
热门推荐
qq_39802740的博客
06-21 1万+
起因： 偶然在群里看到一位小老弟的求助 说是某电商网站对手机号进行了反爬，我寻思之前也写过58电话解密的 就助(mian)人(wei)为(qi)乐(nan)地看一下吧 ebay网站地址 进去抓包一看 几百个请求 唰唰唰的 由于被误导了一波 以为是什么js或者异步加载的数据 于是去原网站点击加载电话号码那个按钮看了一会儿 然后又找了下请求包 发现似乎是没有任何数据进来 奇怪的是 原html...
【从零开始学爬虫】采集易贝（ebay）商品信息
u011231755的博客
07-27 2491
l采集网站 【场景描述】采集易贝（ebay）中某一类别的所有商品信息。 【使用工具】前嗅ForeSpider数据采集系统，点击下方链接可免费下载： http://www.forenose.com/view/forespider/view/download.html 【入口网址】https://cn.ebay.com/b/Mens-Clothing/1059/bn_696958 【采集内容】 采集易贝（ebay）中的所有男装商品信息，包括商品名称、商品价格、库存量、商家名称、商家评分、商家好评率.
ebay API
zn505119020的专栏
12-28 1154
申请appid 官方文档：http://developer.ebay.com/devzone/shopping/docs/concepts/shoppingapiguide.html 访问上线：
可通过区块链实现去中心化的三大网络巨头
区块链铅笔
01-17 1344
点击上方“蓝色字”可关注我们！暴走时评：互联网自出现以来不断为人们生活的各个方面带来了巨大变化。虽然这些创新为我们提供了很多便利，但个人的网络体验其实还可以得到进一步改善，而区块链正是实现这一目标的关键。本文以eBay、YouTube和Apple Music三大网络巨头为例，介绍了区块链可以如何将这种平台去中心化，为用户提供更好的服务。作者：Brady Dale    翻译：Ina网络已经全面占领
Python 图片转存
zn505119020的专栏
08-31 556
import os from PIL import Image with open("test.txt")as fp: #读入ebayno,ebayno放在test.txt文件中 for line in fp: ebayno = str(line.strip()) if os.path.exists("picture\\"+ebayno+".jpg"): #
python爬虫抓取eBay数据
最新发布
08-09
6. **数据提取**：查找特定的HTML标签或CSS选择器来抓取价格、标题、图片URL、卖家信息等关键字段。 7. **存储数据**：将抓取到的数据保存到CSV文件、数据库或者JSON文件中。 8. **处理反爬机制**：注意遵守robots...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值