店铺卖家的描述信息爬取

最新推荐文章于 2023-04-18 08:56:35 发布
最新推荐文章于 2023-04-18 08:56:35 发布
阅读量524 收藏 1
点赞数
分类专栏： 工作相关
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zn505119020/article/details/78731689
版权

1数据库



"""
使用须知：
代码中数据表名 mirror_desc ，需要更改该数据表名称的注意更改


"""
import pymysql

class Database():
    # 设置本地数据库用户名和密码
    host = "localhost"
    user = "root"
    password = "***"
    database = "test"
    port = 3306
    charset = "utf8"
    cursor=''
    connet =''
    def __init__(self):
        #连接到数据库
        self.connet = pymysql.connect(host = self.host , user = self.user,password = self.password , database = self.database, charset = self.charset)
        self.cursor = self.connet.cursor()
    # #删表
    def dropTables(self):
        self.cursor.execute('''drop table if exists mirror_desc''')
        print("删表")
    #建表
    def createTables(self):
        self.cursor.execute('''create table if not exists mirror_desc
                        ( 
                            ebayno    varchar(200) primary key not null,
                            item_specifications varchar(2000));''')
        print("建表")
    #保存数据
    def save(self,aceslist):
        self.cursor.execute("insert into mirror_desc ( ebayno, item_specifications) values(%s,%s)", (aceslist[0],aceslist[1]))
        self.connet.commit()
    #判断元素是否已经在数据库里，在就返回true ,不在就返回false
    def is_exists_ebayno(self,ebayno):
        self.cursor.execute('select * from mirror_desc where ebayno = %s',ebayno)
        if self.cursor.fetchone() is None:
            return False
        return True


# db =Database()



"""
使用须知：
代码中数据表名 mirror_desc_carpart ，需要更改该数据表名称的注意更改


"""
import pymysql

class Database_carpart():
    # 设置本地数据库用户名和密码
    host = "localhost"
    user = "root"
    password = "***"
    database = "test"
    port = 3306
    charset = "utf8"
    cursor=''
    connet =''
    def __init__(self):
        #连接到数据库
        self.connet = pymysql.connect(host = self.host , user = self.user,password = self.password , database = self.database, charset = self.charset)
        self.cursor = self.connet.cursor()
    # #删表
    def dropTables(self):
        self.cursor.execute('''drop table if exists mirror_desc_carpart''')
        print("删表")
    #建表
    def createTables(self):
        self.cursor.execute('''create table if not exists mirror_desc_carpart
                        ( 
                            ebayno    varchar(200) primary key not null,
                            Signal varchar(200),
                            Folding varchar(200),
                            Heated varchar(200),
                            Towing varchar(200),
                            operation varchar(200));''')
        print("建表")
    #保存数据
    def save(self,aceslist):
        self.cursor.execute("insert into mirror_desc_carpart ( ebayno,Signal,Folding,Heated,Towing,operation) values(%s,%s,%s,%s,%s)",(aceslist[0],aceslist[1],aceslist[2],aceslist[3],aceslist[4]))
        self.connet.commit()
    #判断元素是否已经在数据库里，在就返回true ,不在就返回false
    def is_exists_ebayno(self,ebayno):
        self.cursor.execute('select * from mirror_desc_carpart where ebayno = %s',ebayno)
        if self.cursor.fetchone() is None:
            return False
        return True


# db =Database()


"""
使用须知：
代码中数据表名 mirror_desc_martins ，需要更改该数据表名称的注意更改 mirror_desc_martins


"""
import pymysql

class Database_martins():
    # 设置本地数据库用户名和密码
    host = "localhost"
    user = "root"
    password = "****"
    database = "test"
    port = 3306
    charset = "utf8"
    cursor=''
    connet =''
    def __init__(self):
        #连接到数据库
        self.connet = pymysql.connect(host = self.host , user = self.user,password = self.password , database = self.database, charset = self.charset)
        self.cursor = self.connet.cursor()
    # #删表
    def dropTables(self):
        self.cursor.execute('''drop table if exists mirror_desc_martins''')
        print("删表")
    #建表
    def createTables(self):
        self.cursor.execute('''create table if not exists mirror_desc_martins
                        ( 
                            ebayno    varchar(200) primary key not null,
                            Signal varchar(200),
                            Folding varchar(200),
                            Heated varchar(200),
                            Towing varchar(200),
                            operation varchar(200));''')
        print("建表")
    #保存数据
    def save(self,aceslist):
        self.cursor.execute("insert into mirror_desc_martins ( ebayno,Signal,Folding,Heated,Towing,operation) values(%s,%s,%s,%s,%s,%s)",(aceslist[0],aceslist[1],aceslist[2],aceslist[3],aceslist[4],aceslist[5]))
        self.connet.commit()
    #判断元素是否已经在数据库里，在就返回true ,不在就返回false
    def is_exists_ebayno(self,ebayno):
        self.cursor.execute('select * from mirror_desc_martins where ebayno = %s',ebayno)
        if self.cursor.fetchone() is None:
            return False
        return True


# db =Database()



"""
使用须知：
代码中数据表名 mirror_desc_primechoice ，需要更改该数据表名称的注意更改 mirror_desc_primechoice


"""
import pymysql

class Database_primechoice():
    # 设置本地数据库用户名和密码
    host = "localhost"
    user = "root"
    password = "****"
    database = "test"
    port = 3306
    charset = "utf8"
    cursor=''
    connet =''
    def __init__(self):
        #连接到数据库
        self.connet = pymysql.connect(host = self.host , user = self.user,password = self.password , database = self.database, charset = self.charset)
        self.cursor = self.connet.cursor()
    # #删表
    def dropTables(self):
        self.cursor.execute('''drop table if exists mirror_desc_primechoice''')
        print("删表")
    #建表
    def createTables(self):
        self.cursor.execute('''create table if not exists mirror_desc_primechoice
                        ( 
                            ebayno   varchar(200) primary key not null,
                            Notes varchar(2000),
                            Power varchar(200),
                            Heated varchar(200));''')
        print("建表")
    #保存数据
    def save(self,aceslist):
        self.cursor.execute("insert into mirror_desc_primechoice ( ebayno,Notes,Power,Heated) values(%s,%s,%s,%s)",(aceslist[0],aceslist[1],aceslist[2],aceslist[3]))
        self.connet.commit()
    #判断元素是否已经在数据库里，在就返回true ,不在就返回false
    def is_exists_ebayno(self,ebayno):
        self.cursor.execute('select * from mirror_desc_primechoice where ebayno = %s',ebayno)
        if self.cursor.fetchone() is None:
            return False
        return True


# db =Database()



2函数体

"""
不同店铺的数据存储方式不一致所以有多个数据库，需要随时更改对应的数据库

"""
import urllib.parse
import urllib.parse
import urllib.request
from queue import Queue
import time
import random
import threading
import logging
import pymysql
import re
from bs4 import BeautifulSoup
from local_data import Database
from local_data_carpartswholesale import Database_carpart
from local_data_primechoice import Database_primechoice
from local_data_martins import Database_martins
#一个模块中存储多个类 AmazonSpeder ,  ThreadCrawl(threading.Thread), AmazonSpiderJob
class AmazonSpider():

    def __init__(self):
        self.db = Database()
        # self.db = Database_carpart()
        # self.db = Database_primechoice()
        # self.db = Database_martins()


    def randHeader(self):
        head_connection = ['Keep-Alive', 'close']
        head_accept = ['text/html, application/xhtml+xml, */*']
        head_accept_language = ['zh-CN,fr-FR;q=0.5', 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3']
        head_user_agent = ['Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko',
                           'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.95 Safari/537.36',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; rv:11.0) like Gecko)',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.2) Gecko/2008070208 Firefox/3.0.1',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070309 Firefox/2.0.0.3',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1) Gecko/20070803 Firefox/1.5.0.12',
                           'Opera/9.27 (Windows NT 5.2; U; zh-cn)',
                           'Mozilla/5.0 (Macintosh; PPC Mac OS X; U; en) Opera 8.0',
                           'Opera/8.0 (Macintosh; PPC Mac OS X; U; en)',
                           'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.12) Gecko/20080219 Firefox/2.0.0.12 Navigator/9.0.0.6',
                           'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Win64; x64; Trident/4.0)',
                           'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Maxthon/4.0.6.2000 Chrome/26.0.1410.43 Safari/537.1 ',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.2; .NET4.0C; .NET4.0E; QQBrowser/7.3.9825.400)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:21.0) Gecko/20100101 Firefox/21.0 ',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.92 Safari/537.1 LBBROWSER',
                           'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0; BIDUBrowser 2.x)',
                           'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/3.0 Safari/536.11']

        header = {
            'Connection': head_connection[0],
            'Accept': head_accept[0],
            'Accept-Language': head_accept_language[1],
            'User-Agent': head_user_agent[random.randrange(0, len(head_user_agent))]
        }
        return header

    def getdesc_am_autoparts(self,ebayno):
        ebayno = str(ebayno)
        # 如果数据库中有的数据，直接返回不处理
        if self.db.is_exists_ebayno(ebayno):
            return
        url = "http://vi.vipr.ebaydesc.com/ws/eBayISAPI.dll?ViewItemDescV4&item=" + ebayno
        # webbrowser.open(url)
        req = urllib.request.Request(url=url, headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')  # 解析
        content = soup.find_all("div", class_="item_specifications")  # 选取desc部分 am-autoparts店铺
        if len(content) == 0:
            self.db.save([ebayno, ""])  # 保存到数据库
            return
        strings = []
        for string in content[0].stripped_strings:
            strings.append(string)
        strings = "|".join(strings)
        self.db.save([ebayno, strings])  # 保存到数据库

    def getdesc_carpartswholesale(self,ebayno):
        ebayno = str(ebayno)
        # 如果数据库中有的数据，直接返回不处理
        if self.db.is_exists_ebayno(ebayno):
            return
        url = "http://vi.vipr.ebaydesc.com/ws/eBayISAPI.dll?ViewItemDescV4&item=" + ebayno
        # webbrowser.open(url)
        req = urllib.request.Request(url=url, headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')  # 解析
        # print(soup.prettify())
        content = soup.find_all("tr", class_="paBottomBorder")  # 定位表格数据
        item = {}  # 用字典存储表格数据
        for i in content:
            si = i.find_all("td")
            key = ""
            values = ""
            for string in si[0].stripped_strings:
                key = string
            for string in si[1].stripped_strings:
                values = string
            if (key == "Folding type") or (key == "Heated") or (key == "Towing mirror") or (key == "Glass operation"):
                item[key] = values
        self.db.save( [ebayno, item.setdefault("Folding type", None),item.setdefault("Heated", None),item.setdefault("Towing mirror", None),item.setdefault("Glass operation", None)])  # 保存到数据库
    def getdesc_everyday(self,ebayno):
        ebayno = str(ebayno)
        # 如果数据库中有的数据，直接返回不处理
        if self.db.is_exists_ebayno(ebayno):
            return
        url = "http://vi.vipr.ebaydesc.com/ws/eBayISAPI.dll?ViewItemDescV4&item=" + ebayno
        # webbrowser.open(url)
        req = urllib.request.Request(url=url, headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')  # 解析
        content = soup.find_all("h3", text="Features")  # 定位表格数据
        if len(content) == 0:
            self.db.save([ebayno, "","",""])  # 保存到数据库
            return
        ul = content[0].find_next_sibling("ul")
        strings = []
        for string in ul.stripped_strings:
            strings.append(string)
        strings = "|".join(strings)
        self.db.save([ebayno, strings])  # 保存到数据库

    def getdesc_primechoice(self, ebayno):
        ebayno = str(ebayno)
        # 如果数据库中有的数据，直接返回不处理
        if self.db.is_exists_ebayno(ebayno):
            return
        url = "http://vi.vipr.ebaydesc.com/ws/eBayISAPI.dll?ViewItemDescV4&item=" + ebayno
        # webbrowser.open(url)
        req = urllib.request.Request(url=url, headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')  # 解析
        content = soup.find_all("table", class_="fitment")  # 定位notes信息
        if len(content) == 0:
            self.db.save([ebayno, "", "", ""])  # 保存到数据库
            return
        htr = content[0].find_all("th")
        hstr = [i.string for i in htr]
        trow1 = content[0].find_all("tr")[1]
        tdstr = [i.string for i in trow1.find_all("td")]
        item = {}
        for i in range(len(tdstr)):
            item[hstr[i]] = tdstr[i]
        notes = item.setdefault("Notes", None)
        # 定位product details信息
        powervalue=""
        power = soup.find_all("td", text="Power") # 标签加字符串
        if len(power) != 0:
            powervalue = power[0].find_next_sibling().string
        item["power"] = powervalue
        heatedvalue=""
        heated = soup.find_all("td", text="Heated")
        if len(heated)!=0:
            heatedvalue = heated[0].find_next_sibling().string
        item["heated"] = heatedvalue
        powerstr = item.setdefault("power", None)
        heatedstr = item.setdefault("heated", None)
        self.db.save([ebayno, notes,powerstr,heatedstr])  # 保存到数据库
    def getdesc_martins_bold(self,soup,bold):
        boldstr = ""
        strongs = soup.find("strong", text=bold) # 标签加文本
        reg = str(strongs) + '(.*?)' + "<br/>"
        signalstr = re.findall(reg, str(soup), re.S) #正则表达式
        if len(signalstr) != 0:
            signalstr = signalstr[0]
            boldstr = str(signalstr).strip()  # 删除前后空格
        return boldstr
    def getdesc_martins(self, ebayno):
        ebayno = str(ebayno)
        # 如果数据库中有的数据，直接返回不处理
        if self.db.is_exists_ebayno(ebayno):
            return
        url = "http://vi.vipr.ebaydesc.com/ws/eBayISAPI.dll?ViewItemDescV4&item=" + ebayno
        # webbrowser.open(url)
        req = urllib.request.Request(url=url, headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')  # 解析
        item={}
        item["Built-in signal light:"] = self.getdesc_martins_bold(soup,"Built-in signal light:")
        item["Folding type:"] = self.getdesc_martins_bold(soup,"Folding type:")
        item["Heated:"] = self.getdesc_martins_bold(soup,"Heated:")
        item["Towing mirror:"] = self.getdesc_martins_bold(soup,"Towing mirror:")
        item["Glass operation:"] = self.getdesc_martins_bold(soup,"Glass operation:")
        self.db.save([ebayno, item["Built-in signal light:"],item["Folding type:"],item["Heated:"],item["Towing mirror:"],item["Glass operation:"] ])  # 保存到数据库

    def getdesc_discount_bold(self,soup, bold):
        boldstr = ""
        bold = soup.find("strong", text=bold) # strong + 字符串
        if bold is not None:
            boldstr = bold.find_next().string # 下一个标签
        return boldstr
    def getdesc_discount(self, ebayno):
        ebayno = str(ebayno)
        # 如果数据库中有的数据，直接返回不处理
        if self.db.is_exists_ebayno(ebayno):
            return
        url = "http://vi.vipr.ebaydesc.com/ws/eBayISAPI.dll?ViewItemDescV4&item=" + ebayno
        # webbrowser.open(url)
        req = urllib.request.Request(url=url, headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')  # 解析

        item = {}
        item["Built-in signal light"] = self.getdesc_discount_bold(soup, "Built-in signal light")
        item["Folding type"] = self.getdesc_discount_bold(soup, "Folding type")
        item["Heated"] = self.getdesc_discount_bold(soup, "Heated")
        item["Towing mirror"] = self.getdesc_discount_bold(soup, "Towing mirror")
        item["Glass operation"] = self.getdesc_discount_bold(soup, "Glass operation")
        self.db.save(
            [ebayno, item["Built-in signal light"], item["Folding type"], item["Heated"], item["Towing mirror"],item["Glass operation"]])  # 保存到数据库


    def getdesc_deal_bold(self,soup, bold):
        boldstr = ""
        bold = soup.find("strong", text=bold) # strong + 字符串
        if bold is not None:
            boldstr = bold.find_next().string # 下一个标签
        return boldstr
    def getdesc_deal(self, ebayno):
        ebayno = str(ebayno)
        # 如果数据库中有的数据，直接返回不处理
        if self.db.is_exists_ebayno(ebayno):
            return
        url = "http://vi.vipr.ebaydesc.com/ws/eBayISAPI.dll?ViewItemDescV4&item=" + ebayno
        # webbrowser.open(url)
        req = urllib.request.Request(url=url, headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')  # 解析

        item = {}
        item["Built-in signal light"] = self.getdesc_discount_bold(soup, "Built-in signal light")
        item["Folding type"] = self.getdesc_discount_bold(soup, "Folding type")
        item["Heated"] = self.getdesc_discount_bold(soup, "Heated")
        item["Towing mirror"] = self.getdesc_discount_bold(soup, "Towing mirror")
        item["Glass operation"] = self.getdesc_discount_bold(soup, "Glass operation")
        self.db.save(
            [ebayno, item["Built-in signal light"], item["Folding type"], item["Heated"], item["Towing mirror"],item["Glass operation"]])  # 保存到数据库

    def getdesc_art(self,ebayno):
        ebayno = str(ebayno)
        # 如果数据库中有的数据，直接返回不处理
        if self.db.is_exists_ebayno(ebayno):
            return
        url = "http://vi.vipr.ebaydesc.com/ws/eBayISAPI.dll?ViewItemDescV4&item=" + ebayno
        # webbrowser.open(url)
        req = urllib.request.Request(url=url, headers=self.randHeader())
        webpage = urllib.request.urlopen(req)
        html = webpage.read()
        soup = BeautifulSoup(html, 'html.parser')  # 解析
        newsoup = soup.prettify()
        left = newsoup.find("Mirror Features:")  # 先字符串定位Mirror 再网页元素抽取
        soup = BeautifulSoup(newsoup[left:], 'html.parser')
        ul = soup.find("ul")
        stringto = ""
        if ul is not None:
            strings = []
            for string in ul.stripped_strings:
                strings.append(string)
            stringto = "|".join(strings)
        # print(stringto)
        self.db.save([ebayno, stringto])  # 保存到数据库
class ThreadCrawl(threading.Thread): #ThreadCrawl类继承了Threading.Thread类

    def __init__(self, queue):  #子类特有属性， queue
        FORMAT = time.strftime("[%Y-%m-%d %H:%M:%S]", time.localtime()) + "[AmazonSpider]-----%(message)s------"
        logging.basicConfig(level=logging.INFO, format=FORMAT)
        threading.Thread.__init__(self)
        self.queue = queue
        self.spider = AmazonSpider()  #子类特有属性spider， 并初始化，将实例用作属性

    def run(self):
        while True:
            success = True
            item = self.queue.get() #调用队列对象的get()方法从队头删除并返回一个项目item
            self.spider.getdesc_art(item)  # 调用实例spider的方法getDataById(item)
            # try:
            #     self.spider.getdesc(item) #调用实例spider的方法getDataById(item)
            # except :
            #     # print("失败")
            #     success = False
            # if not success :
            #     self.queue.put(item)
            logging.info("now queue size is: %d" % self.queue.qsize()) #队列对象qsize()方法，返回队列的大小
            self.queue.task_done() #队列对象在完成一项工作后，向任务已经完成的队列发送一个信号

class SpiderJob():
    def __init__(self , size , qs):
        self.size = size  # 将形参size的值存储到属性变量size中
        self.qs = qs
    def work(self):
        toSpiderQueue = Queue() #创建一个Queue队列对象
        for q in self.qs:
            toSpiderQueue.put(q)  #调用队列对象的put()方法，在对尾插入一个项目item
        for i in range(self.size):
            t = ThreadCrawl(toSpiderQueue)    #将实例用到一个类的方法中
            t.setDaemon(True)
            t.start()
        toSpiderQueue.join()    #队列对象，等到队列为空，再执行别的操作





3主函数


from  ebay_description import SpiderJob #从一个模块中导入类
import pymysql
import pandas as pd
from local_data import  Database
from local_data_carpartswholesale import Database_carpart
from local_data_primechoice import Database_primechoice
from local_data_martins import Database_martins

if __name__ == '__main__':
    #初次跑程序的时候，需要删除旧表，然后新建表，之后重启再跑的时候需要注释
    #----------------------
    # db = Database()
    # db.dropTables()
    # db.createTables()

    # db = Database_carpart()
    # db.dropTables()
    # db.createTables()

    # db = Database_primechoice()
    # db.dropTables()
    # db.createTables()
    # db = Database_martins()
    # db.dropTables()
    # db.createTables()

    #---------------------------
    df = pd.read_excel("ebaynos.xlsx")
    # print(df.info())
    qs = df["ebayno"].values
    # print(qs)
    print(len(qs))
    amazonJob = SpiderJob(8, qs)
    amazonJob.work()

zn505119020
关注
专栏目录
Ebay网站商家信息抓取爬虫-多进程
梅干菜扣肉的博客
01-14 776
Ebay网站商家信息抓取爬虫-多进程 使用selenium库进行ebay商家信息抓取，抓取结果保存到csv文件 # coding:utf-8 """ ebay网站商家信息抓取 2020.11.10 """ import time from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from lxml import etree from selenium.webdriver.chrome
python3 数据挖掘 之 爬取 智联招聘网站来巩固pandas
徐代龙的技术专栏
05-02 6352
写在前面 通过使用pandas对智联招聘上的数据进行分析，进一步的了解，熟悉pandas为后面学习数据挖掘打基础 更多学习链接可访问主页： https://blog.csdn.net/xudailong_blog 运行环境： python3 ，jupyter notebook ## 下面为jupyter notebook上代码（含详细注释） # 数据表基本信...
Python爬取商品评价-京东
m0_62428181的博客
03-18 3903
Python爬取商品评价-京东
网络爬虫-阿里淘宝-店铺基本信息-本地文件
我的博客
08-16 4148
1.采用Chrome无头浏览模式，后台自动运行 2.函数结构化，易于扩展改变 3.异常重启，防止崩溃已经封装完毕 import re from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverW...
C#实现爬取淘宝商品
极客神殿
06-15 7662
Program.cs代码: class Program { static void Main(string[] args) { string URL = @"https://s.taobao.com/search?q={0}&s={1}"; Console.WriteLine("请输入你要查找的商品:");
Python数据挖掘 之 数据处理（使用pandas对智联招聘上的北京地区python岗位进行数据清洗）
徐代龙的技术专栏
05-02 4401
上两篇我们爬了一篇智联招聘的数据，主要是北京地区python开发岗位的数据，数据量不是很大，几千条，这一篇文章我们队智联招聘的数据进行数据处理。 一直以来，我以为的数据处理是已经在python爬虫阶段已经做好了，其实并不是，python爬虫并没有把数据处理这一部分的工作完全给做好，数据处理只是数据挖掘的一小部分，接下来，就是在jupyter notebook上进行数据处理，到中途就卡壳掉...
虾皮shopee根据ID取商品详情 API 返回值说明
t79036912的博客
10-23 604
请求参数：num_iid=264070136/5637247041&country=.com.my。参数说明：num_iid:商品ID-country:网站后缀（.com.my;
亚马逊国际获得AMAZON商品详情 API
thankyou0790的博客
08-05 260
以下是行业内了解到的一些情况，本帖只展示部分代码，需要更多API调试请移步注册API账号i=Turbo。
Scrapy爬取京东，天猫商品详情数据，整站商品实时商品数据
最新发布
weixin_19970108018的博客
04-18 292
请求参数：num_iid=520813250866。参数说明：num_iid:淘宝商品ID。
【python 淘宝爬虫】python 淘宝店铺名称，旺旺，销售量 抓取
热门推荐
赖德发的博客
06-15 1万+
一、需求分析 抓取淘宝店铺名称，旺旺，销售量 二、效果展示 三、实现源代码# encoding: utf-8import sys reload(sys) sys.setdefaultencoding('utf-8')import pandas as pd import time import re time1=time.time()import requestsseller=[] shop=[]
淘宝爬取某人的所有购物订单
weixin_33923762的博客
07-14 2774
做风险控制和个人征信，需要做数据挖掘，第一步就是要爬到消费记录，当然还有很多其他项包括收货地址 宝贝收藏 快速退款额度 芝麻信用 绑定的手机等等，先要爬到数据才能分析。 淘宝直接请求登录接口不可行，不知道post参数加密规则，（大公司安全就是做得好），用selenium操作浏览器来登录得到driver的cookie，然后requests携带cookie去爬订单。如果全部都由selenium爬取无...
用Python获取Amazon亚马逊的商品信息
CorGi_8456的博客
01-18 5182
1.首先获取亚马逊列表页的信息 以视频游戏区为例： 获取列表内能获取到的商品信息，如商品名，详情链接，进一步获取其他内容。 用requests.get()获取网页内容，xpath选取相关标签的内容： import requests from parsel import Selector from urllib.parse import urljoin spiderurl = 'https://www.amazon.com/s?i=videogames-intl-ship' headers =
爬虫实战：9，爬取1688商家联系方式
shifanfashi的博客
05-18 1万+
# coding:utf-8 import requests import bs4 import time import xlwt import random def get_urls(url, page): """获取查询商品的每家店的地址""" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; W...
Python 教你识别淘宝刷单，买到称心如意的商品
12-09 1183
发际线堪忧的小 Q，为了守住头发最后的尊严，深入分析了几十款防脱洗发水的评价，最后综合选了一款他认为最完美的防脱洗发水。 一星期后，他没察觉到任何变化。 一个月后，他用卷尺量了量，发际线竟然后退了 0.5cm！难道防脱要经历一个物极必反的过程，先脱再长？小 Q 不甘心，决定继续坚持。 两个月后，小 Q 心如死灰，忍不住和小 Z 抱怨。 这句话，平地一惊雷，炸...
C# 程序爬取指定网页（可以在后台修改网页地址和xpath）图片
qq_35319925的博客
09-26 551
本程序爬取指定的网页图片 然后上传到程序修改桌面背景。修改桌面背景的代码可以在这下载：https://download.csdn.net/download/qq_35319925/10416245。（此文章限对于新手和专研C#爬虫技术的人。写的不好，请各位包涵。）   这篇主要写C#爬虫原理 以下就是效果图。   原理：把下载的网页html转为xml格式然后利用xpath的正则表达式爬取...
高效爬取快递信息的Python小工具
而描述“简单的爬取快递信息的小工具，效率不高，适合小批量但不太少的快递单号查取”说明该工具旨在提供一个基础的快递信息爬取功能，适用于处理少量至中等数量的快递单号。工具的效率不是特别高，意味着它可能不...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值