爬虫京东评论+可视化

最新推荐文章于 2024-08-24 17:03:21 发布
最新推荐文章于 2024-08-24 17:03:21 发布
阅读量4.1k 收藏 24
点赞数 9
文章标签： python 可视化 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengshuangyue/article/details/112061896
版权

前期工作

选取一个网站，最好是教育网站，因为教育网站很少有反爬虫机制。
在网站内打开开发者工具，不同的浏览器开发者工具也不同，但都大同小异(这里使用的是谷歌)。
在开发者工具中确定你要爬虫的部分，找到我们爬取数据所需要的URL。同时，你也可以找到你访问这个网站时的请求，可以使用自己的请求头。
前期工作有很多，但也简单，这里就不多赘述了。

导入我们开发需要的模块

安装模块方法

pip install + 模块名字

import requests
import re
from lxml import etree
import json
import random

多个请求

定义多个请求头，爬虫时随机选取一个(防止请求头被屏蔽导致爬虫失败)
这里的多个请求来自于
问题解决：如何获取京东页面请求到的json中的商品数据（爬虫请求json，提取数据）

#反爬虫
def get(url):
    proxy_list = [
         {"http" or "https": "112.115.57.20:3128"},
         {"http" or "https": '121.41.171.223:3128'},
    ]
    user_agent = [
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
        "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
        "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
        "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
        "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
        "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
        "UCWEB7.0.2.37/28/999",
        "NOKIA5700/ UCWEB7.0.2.37/28/999",
        "Openwave/ UCWEB7.0.2.37/28/999",
        "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
    ]

储存

正则表达式筛选出评论部分

t = re.findall(r'\"content\"\:\".*?\"', xbatext)

稍做切片，存入text文件中

for i in range(len(t)):
    title = eval(t[i].split(':')[1])
    file=open("conn.txt", 'a', encoding='utf-8')
    file.write(title)

爬虫部分完整代码

import requests
import re
from lxml import etree
import json
import random

#反爬虫
def get(url):
    proxy_list = [
         {"http" or "https": "112.115.57.20:3128"},
         {"http" or "https": '121.41.171.223:3128'},
    ]
    user_agent = [
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0",
        "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
        "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
        "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
        "Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
        "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        "Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        "Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
        "Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
        "Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
        "Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
        "Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
        "Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
        "Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
        "UCWEB7.0.2.37/28/999",
        "NOKIA5700/ UCWEB7.0.2.37/28/999",
        "Openwave/ UCWEB7.0.2.37/28/999",
        "Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999",
    ]
    header = {'User-Agent': random.choice(user_agent)}
    xba = requests.get(url, headers=header, proxies=random.choice(proxy_list))
    if xba.status_code == 200:
        #print(xba.text)
        return xba.text
    
    return None
def main():
    for i in range(1,10):
        url = 'https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=100014047052&score=0&sortType=5&page='
        finalurl = url+str(i)+'&pageSize=10&isShadowSku=0&fold=1'
        xbatext = get(finalurl)
        t = re.findall(r'\"content\"\:\".*?\"', xbatext)
        #print(t)
        print("第"+str(i)+"页爬取成功")
        for i in range(len(t)):
            title = eval(t[i].split(':')[1])
            #print(title)
            file=open("conn.txt", 'a', encoding='utf-8')
            file.write(title)
    print('finished')
main()

词云可视化

将图片放进本地中，即可运行词云部分。
在这里插入图片描述

#词云
from wordcloud import WordCloud
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt
import jieba
 
# 打开文本
text = open('conn.txt',encoding='utf-8').read()
 
# 中文分词
text = ' '.join(jieba.cut(text))
print(text[:100])
st = set(['非常','的','了','很','也','是','还是','都','我','就是','有','可以','用',
          '之前','就','一点','不','起来','但是','没有','这','在','和','已经','office','好'])
# 生成对象
mask = np.array(Image.open("win.jpg"))
wc = WordCloud(mask=mask,font_path=r'C:\Windows\Fonts\simhei.ttf',
               max_font_size=250,width=1300,height=800,
               background_color='white',stopwords=st).generate(text)
 
# 显示词云
plt.imshow(wc, interpolation='bilinear')
plt.axis('off')
plt.show()

# 保存到文件
wc.to_file('wordcloud2.png')

这是非常基础的爬虫，并没有多高级。作者能力有限，只能做到这个地步。爬虫还有好多部分没有做出，如数据清理，作者没有导入中文停用词文档，只是自己定义了几个停用词使用。作者也没有对评论进行其他筛选。

st = set(['非常','的','了','很','也','是','还是','都','我','就是','有','可以','用',
          '之前','就','一点','不','起来','但是','没有','这','在','和','已经','office','好'])

可视化也只使用了词云，类似于直方图，折线图等等都没有。
总之，能力有限，如有错漏，请见谅！

zhengshuangyue
关注
Python爬虫-京东商品评论数据
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
04-14 1262
本文是该专栏的第68篇，后面会持续分享python爬虫干货知识。​在本专栏之前，笔者有详细介绍京东滑块验证码的解决方法，感兴趣的同学，可以直接翻阅文章《Python如何解决“京东滑块验证码”(5)》进行查看。而本文，笔者以京东商品详情页的评论数据为例，通过python实现采集商品详情页的评论数据。废话不多说，具体细节部分以及详细思路逻辑，笔者将在正文结合完整代码进行详细说明。（附带完整代码）
京东爬虫，可抓取京东商品信息和评论
10-15
用scrapy框架写的京东爬虫，可以抓取京东商品信息和评论
python爬虫实战|京东商城评论
向阳-Y.的博客
10-19 745
1.发现网址url规律 productid="100014438267" def generate_urls(productid): """ 获取每一页连接 productid：商品编号 sortType：排序方式，取值为5,6（默认排序和时间排序） page：页码，由网页可知，从0开始 """ urls=[] template="https://club.jd.com/comment/productPageComments.action?c
淘宝，京东，京东评论爬虫项目
最新发布
m0_73690216的博客
08-24 975
京东，淘宝，京东评论爬虫项目自动化工具Python和Selenium库，应浏览器的WebDriver，如ChromeDriver。
京东商城评论爬虫
热门推荐
lpty的博客
11-28 1万+
一、前言 基于评论信息做情感分析模型第一步，收集数据。这里准备抓取京东商城的物品评论，大致可以分为两步。 1、获取商品id 2、获取商品评论 二、实战 接下来的代码都基于scrapy框架编写，请确保已经了解scrapy基础知识。 1、获取商品id 从京东商城首页随意点击进入一个子类，这里选取家电类： https://jiadian.jd.com/，可以看到这个页面已经有商品存在：
利用Python爬虫技术爬取京东商品评论
x彭不秃头
07-03 1万+
这是我第一次接触python时，我们学校做的项目实训，其实整个项目实训过程很简单，并没有什么难度，认真学学就会。 首先，我们要明确我们的目标：从京东上爬取产品的评论。一般评论都是进行情感分析，但我还没进行到那一步，只能先进行相关数据爬取下来，然后把爬到的数据以csv或者json格式保存成文件。 其次，找到数据源的京东官网首页，然后点击搜索框填入手机，拿苹果手机举例 由于可以看到我们的评论是动态的，且可能不断更新，我们便在谷歌网页右键，点击检查或者直接F12快捷键，之后就是显示以下这种界面： 点击右上角
python爬取京东商品评价信息+图表可视化
10-03
python爬取京东商品评价信息+图表可视化 目标网站：https://jd.com 使用的相关模块： # 使用import导入requests模块 import requests # 使用from...import从bs4模块中导入BeautifulSoup from bs4 import ...
京东评论爬虫，包含对数据的采集、清洗、可视化、分析等过程，作为数据库课程设计项目
09-03
该项目是关于京东评论数据的爬虫程序，涵盖了数据获取、预处理、可视化及分析的全过程，非常适合用作数据库课程设计的实践案例。以下将详细解释其中涉及的关键知识点： 1. **网络爬虫**：网络爬虫是自动化地从...
利用Python网络爬虫对京东商城爬取评论以及可视化分析.rar
01-12
在本项目"利用Python网络爬虫对京东商城爬取评论以及可视化分析"中，我们将探讨如何使用Python编程语言来抓取京东商城的商品评论，并进行数据处理与可视化分析。Python爬虫是获取网络数据的一种有效手段，它允许我们...
京东商品评论爬虫及可视化
11-27
本资源使用python爬取了京东欧莱雅洗面奶的评论数据，对数据进行各个维度的分析，并用Python进行可视化。
Python爬虫课程设计-爬取京东评论进行可视化分析（运行文档 + 源码 + 数据库文件）
05-28
基于requests+fake_useragent+BeautifulSoup+pyecharts实现，页面整洁美观，有完整的数据库文件和运行文档，实现的可视化分析有手机购买时段分析、手机热点评论词云分析、月消费与会员等级分析。
爬虫-京东消费者评论.py
02-24
爬虫-京东消费者评论.py
京东网站评论抽取的爬虫程序
04-20
对京东网站商品评论信息的抽取，输出后为xml格式文件。几乎可以抽取与评论相关的所有信息。用java写的爬虫程序。
京东商品评论爬虫源码
10-09
京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用 京东商品评论爬虫源码 亲测可用
爬虫初学——爬取京东商品的评论（二）
12-22
酱菜Seven7原创，转载请注明出处。 使用的手段：数据库Mysql， 语言python，正则表达式re 在获取了评论url的情况下（获取京东评论的url方法），现在我们可以来爬取用户昵称和url了。作为一个初学者，我用的正则表达式，来对那url的数据，进行匹配获取。 一、根据内容，编写合适的正则表达式 通过分析打开的url地址的数据，我们可以找到所需的两个规律： 1、用户昵称部分： 所以，我们针对提取用户的正则表达式如下： r'\"nickname\":\"([^",]+)\",\"replyCount2\"' 2、评论部分： 评论部分，因为会有无追评，而造成结尾不一致： 情况一： 情
04步python
jidawanghao的专栏
09-03 160
import requests from lxml import etree import time import csv from urllib.request import urlopen, Request from lxml import etree # 定义函数抓取每页前30条商品信息 # 构造每一页的url变化 url = 'https://search.jd.com/Search?keyword=%E6%89%8B%E6%9C%BA&enc=utf-8&qrst=1&.
python爬虫 - 京东评论
fangweijiex的博客
12-28 385
爬去京东某手机的评论 import urllib.request import urllib.parse import re import json import jsonpath import time item_list = [] def main(): start_page = int(input("开始页面：")) end_page = int(input("结束页面：...
京东商品评论信息爬取及词云图制作——python爬虫(步骤详细，初学可做)
2302_80061155的博客
11-26 3082
本篇内容主要介绍如何利用python在京东上爬取商品的评论信息及词云图的制作，案例选取了京东某店铺的新品小米十四手机两百多条评价，并采取了手动输入商品编号的方式可以实现"一码多用"进行不同商品信息爬取。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值