利用python爬虫和elk搭建国内 油价监控系统

已于 2023-02-17 16:13:01 修改
阅读量611 收藏 1
点赞数
分类专栏： elk python 文章标签： python 爬虫 es elk
于 2022-04-16 23:04:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zm024212/article/details/124221698
版权

效果图

流程：

1.获取油价信息

2.数据清洗汇总

3.导入es

4.kibana绘制表格以及图形

5.添加定时执行

一.获取油价信息

（1）寻找数据 目标网站：某某财富网

 网址：aHR0cHM6Ly9kYXRhLmVhc3Rtb25leS5jb20vY2pzai9vaWxfZGVmYXVsdC5odG1s==

（2）编写爬虫

经过分析该网站网页原代码内不包含我们想要的数据

所以我们请求下面这个接口得到数据

import requests
import pandas as pd
import time

headers = {
    'cookie': "em_hq_fls=js; HAList=f-0-000001-%u4E0A%u8BC1%u6307%u6570; qgqp_b_id=18eecc48c2e57ef2d6ae6d2cc9f6b5cb; cowCookie=true; st_si=78264701670991; cowminicookie=true; intellpositionL=80%25; st_asi=delete; st_pvi=59533332775251; st_sp=2021-09-18%2010%3A41%3A26; st_inirUrl=https%3A%2F%2Fwww.baidu.com%2Flink; st_sn=3; st_psi=20220415231055186-0-7396945763; intellpositionT=1754.2px; JSESSIONID=C99A64A4E8F7A501C224791082DC769A",
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'
}
time_s = time.time()
# 请求接口
url = f'https://datacenter-web.eastmoney.com/api/data/v1/get?callback=jQuery112306814927047418404_{time_s}&reportName=RPTA_WEB_YJ_JH&columns=ALL&filter=(dim_date%3D%27{date}%27)&sortColumns=cityname&sortTypes=1&token=894050c76af8597a853f5b408b759f5d&pageNumber=1&pageSize=100&source=WEB&_={time_s}'
resp = requests.get(url=url,headers=headers)
html = resp.text

# rule = re.compile('jQuery.*?\((.*?)\);',re.S)
# data = re.findall(rule,html)[0]
# 替换null
data = html.replace('null',"'null'").replace('true',"'true'")
data = eval(data)
data_list = data["result"]['data']
df = pd.DataFrame()
for i in data_list:
    df = df.append(i,ignore_index=True)

# 得到原始表格

print(df)

 二.数据清洗

# 主函数
def main(df):
    '''
    df : 原始df
    :return:  输出df字典列表
    '''

    def fun(col):
        # 处理 null  处理方法：填充平均值
        # 保留两位小数
        new_col = df[col][df[col] != 'null'].apply(lambda x: format('%.2f' % float(x)))
        # 取平均值
        mean = format('%.2f' % (new_col.apply(lambda x: float(x)).values.sum() / len(new_col)))
        # null替换为平均值
        df[col] = df[col].replace('null', mean).apply(lambda x: format('%.2f' % float(x)))
        # df[col][df[col] != 'null']
    cols = df.columns[3:-4]
    for i in cols:
        fun(i)
    # 其他列也转化为float
    for i in df.columns[3:-4]:
        df[i] = df[i].apply(lambda x: format('%.2f' % float(x)))
        df[i] = df[i].astype('float')
    # 计算变化值
    df['ZDE_89'] = df['V_89'] - df['QE_89']
    df['ZDE_0'] = df['V_0'] - df['QE_0']
    df['ZDE_92'] = df['V_92'] - df['QE_92']
    df['ZDE_95'] = df['V_95'] - df['QE_95']
    for x in df.columns[-4:]:
        df[x] = df[x].apply(lambda y: round(y, 2))  # 统一格式保留两位小数
    # 修改命名
    df.columns = ['地区', '更新时间', 'id', '原#0', '原#89', '原#92', '原#95', '现#0', '现#89', '现#92', '现#95', '变#0', '变#89',
                  '变#92', '变#95']
    # 时间格式化
    # df['更新时间'] = df['更新时间'].apply(lambda x:time.strftime(f"{x.replace('/','-')}T00:00:00+0800"))

    try:
        obj = df['更新时间'][1].split('/')
    except:
        print(df['更新时间'])
        return '000' # 原网站存在数据缺失，跳过即可
    if len(obj[1]) < 2:
        y = '0' + obj[1]
    else:
        y = obj[1]
    if len(obj[2]) < 2:
        d = '0' + obj[2]
    else:
        d = obj[2]
    date = time.strftime(f"{obj[0]}-{y}-{d}T00:00:00+0800")
    df['更新时间'] = date
    # 调整为字典
    dic = df.to_dict('records')
    return dic

三.导入es

# 链接es
es = Elasticsearch(hosts=['http://127.0.0.1:9200']) #需要替换这个ip
# 添加索引
body = {
    "mappings": {
        "properties": {
            "domain": {
                "type": "keyword"
            },
            "更新时间": {
                "type": "date"}}}}
es.indices.create(index='油价数据', ignore=400, body=body)  # 索引名必须都是小写
# 写入
for num, i in enumerate(dic):
    _id = f"{i['更新时间']}-{num}"
    es.index(index='油价数据', doc_type='_doc', id=_id, body=i, timeout='2m')

四.kibana绘制表格以及图形

步骤：建立数据视图——建立数据仪表盘——在仪表盘建立数据表格——创建筛选——建立时间间隔折线图

这里难度不大不做赘述，不懂的可以私聊

五.添加定时执行

这里推荐使用apscheduler模块

导入 pip install apscheduler

from apscheduler.schedulers.blocking import BlockingScheduler

# 需要执行的函数
def func():
    pass
# 设置定时每周一更新
scheduler1 = BlockingScheduler()
scheduler1.add_job(func, 'cron', day_of_week='1', hour=0, minute=0)
scheduler1.start()

六.完整代码

'''
目标网站：aHR0cHM6Ly9kYXRhLmVhc3Rtb25leS5jb20vY2pzai9vaWxfZGVmYXVsdC5odG1s==
'''
import requests
import pandas as pd
import time
from elasticsearch import Elasticsearch
from tqdm import tqdm
from apscheduler.schedulers.blocking import BlockingScheduler

# 获取时间筛选列表
def get_date():
    '''
    :return: 输出时间列表
    '''
    headers = {
        'cookie': "em_hq_fls=js; HAList=f-0-000001-%u4E0A%u8BC1%u6307%u6570; qgqp_b_id=18eecc48c2e57ef2d6ae6d2cc9f6b5cb; cowCookie=true; st_si=78264701670991; cowminicookie=true; intellpositionL=80%25; st_asi=delete; st_pvi=59533332775251; st_sp=2021-09-18%2010%3A41%3A26; st_inirUrl=https%3A%2F%2Fwww.baidu.com%2Flink; st_sn=3; st_psi=20220415231055186-0-7396945763; intellpositionT=1754.2px; JSESSIONID=C99A64A4E8F7A501C224791082DC769A",
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'
    }
    date = time.time()
    url = f' https://datacenter-web.eastmoney.com/api/data/v1/get?callback=jQuery112307287453425448425_{date}&reportName=RPTA_WEB_YJ_RQ&columns=ALL&sortColumns=dim_date&sortTypes=-1&token=894050c76af8597a853f5b408b759f5d&pageNumber=1&pageSize=5000&source=WEB&_={date}'
    resp = requests.get(url=url,headers=headers)
    html = resp.text
    # 替换null
    data = html.replace('null',"'null'").replace('true',"'true'")
    data = eval(data)
    data_list = data["result"]['data']
    d_list = []


    for i in data_list:
        日期 = i['DIM_DATE'].replace('/','-')
        d_list.append(日期)
    return d_list

# 爬取油价信息
def get_youjia(date):
    '''
    date:传入要查询的时间 （2022-01-01）
    :return: 输出原始df
    '''
    headers = {
        'cookie': "em_hq_fls=js; HAList=f-0-000001-%u4E0A%u8BC1%u6307%u6570; qgqp_b_id=18eecc48c2e57ef2d6ae6d2cc9f6b5cb; cowCookie=true; st_si=78264701670991; cowminicookie=true; intellpositionL=80%25; st_asi=delete; st_pvi=59533332775251; st_sp=2021-09-18%2010%3A41%3A26; st_inirUrl=https%3A%2F%2Fwww.baidu.com%2Flink; st_sn=3; st_psi=20220415231055186-0-7396945763; intellpositionT=1754.2px; JSESSIONID=C99A64A4E8F7A501C224791082DC769A",
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'
    }
    time_s = time.time()
    url = f'https://datacenter-web.eastmoney.com/api/data/v1/get?callback=jQuery112306814927047418404_{time_s}&reportName=RPTA_WEB_YJ_JH&columns=ALL&filter=(dim_date%3D%27{date}%27)&sortColumns=cityname&sortTypes=1&token=894050c76af8597a853f5b408b759f5d&pageNumber=1&pageSize=100&source=WEB&_={time_s}'
    resp = requests.get(url=url,headers=headers)
    html = resp.text

    # rule = re.compile('jQuery.*?\((.*?)\);',re.S)
    # data = re.findall(rule,html)[0]
    # 替换null
    data = html.replace('null',"'null'").replace('true',"'true'")
    data = eval(data)
    data_list = data["result"]['data']
    df = pd.DataFrame()
    for i in data_list:
        df = df.append(i,ignore_index=True)
    return df


# 主函数
def main(df):
    '''
    df : 原始df
    :return:  输出df字典列表
    '''
    # print(df.columns)
    # exit()
    def fun(col):
        # 处理 null  处理方法：填充平均值
        # 保留两位小数
        # print(df[col])
        # df.to_csv('yj.csv')
        # exit()

        new_col = df[col][df[col] != 'null'].apply(lambda x: format('%.2f' % float(x)))
        # 取平均值
        mean = format('%.2f' % (new_col.apply(lambda x: float(x)).values.sum() / len(new_col)))
        # null替换为平均值
        df[col] = df[col].replace('null', mean).apply(lambda x: format('%.2f' % float(x)))
        # df[col][df[col] != 'null']
    cols = df.columns[3:-4]
    # print(cols)
    for i in cols[1:]:
        fun(i)
    # 其他列也转化为float
    for i in df.columns[-12:-4]:
        df[i] = df[i].apply(lambda x: format('%.2f' % float(x)))
        df[i] = df[i].astype('float')
    # 计算变化值
    df['ZDE89'] = df['V89'] - df['QE89']
    df['ZDE0'] = df['V0'] - df['QE0']
    df['ZDE92'] = df['V92'] - df['QE92']
    df['ZDE95'] = df['V95'] - df['QE95']
    for x in df.columns[-4:]:
        df[x] = df[x].apply(lambda y: round(y, 2))  # 统一格式保留两位小数
    # 修改命名
    df.columns = ['地区', '更新时间', 'id','FIRST_LETTER' ,'原#0', '原#89', '原#92', '原#95', '现#0', '现#89', '现#92', '现#95', '变#0', '变#89',
                  '变#92', '变#95']
    # 时间格式化
    # df['更新时间'] = df['更新时间'].apply(lambda x:time.strftime(f"{x.replace('/','-')}T00:00:00+0800"))

    try:
        obj = df['更新时间'][1].split('-')
    except:
        print(df['更新时间'])
        return '000' # 原网站存在数据缺失，跳过即可
    if len(obj[1]) < 2:
        y = '0' + obj[1]
    else:
        y = obj[1]
    if len(obj[2]) < 2:
        d = '0' + obj[2]
    else:
        d = obj[2].replace(' 00:00:00','')
    date = time.strftime(f"{obj[0]}-{y}-{d}T00:00:00+0800")

    df['更新时间'] = date
    # 调整为字典
    dic = df.to_dict('records')
    return dic

# 导入es
def to_es(dic):
    # 链接es
    es = Elasticsearch(hosts=['http://110.40.213.106:9800'])
    # 添加索引
    body = {
        "mappings": {
            "properties": {
                "domain": {
                    "type": "keyword"
                },
                "更新时间": {
                    "type": "date"}}}}
    es.indices.create(index='油价数据', ignore=400, body=body)  # 索引名必须都是小写
    # 写入
    for num, i in enumerate(dic):
        _id = f"{i['更新时间']}-{num}"
        es.index(index='油价数据', doc_type='_doc', id=_id, body=i, timeout='2m')

if __name__ == '__main__':
    def func():
        date_list = get_date()
        print(date_list)
        for i in tqdm(date_list[:1]):
            df = get_youjia(i)
            dic = main(df)
            if dic == '000':
                continue
            to_es(dic)


    func()
    # 设置定时每周一更新
    scheduler1 = BlockingScheduler()
    scheduler1.add_job(func, 'cron', day_of_week='1', hour=0, minute=0)
    scheduler1.start()

七.说明

以上所有内容只用做个人笔记和学习交流，切勿用做其他途径，违者造成一切后果与

本人无关热心寻找志同道合的朋友

问题反馈 +w：py-open-cv

Hill.
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
采用ELK搭建日志分析系统.docx
10-13
采用ELK搭建日志分析系统
分布式爬虫与Prometheus + Grafana可视化监控系统设计
10-17
PPT里面分享了分布式爬虫的设计，实现了Github 爬虫，使用Redis 作为消息队列的，以及数据可视化，监控的实践。
构建Python中的分布式日志系统：ELK与Fluentd的结合
一键难忘的博客
04-17 2643
在现代软件开发中，日志系统是至关重要的组成部分。它们不仅用于故障排查和性能监控，还可以提供关键业务洞察。本文将介绍如何利用ELK（Elasticsearch、Logstash和Kibana）与Fluentd结合，构建一个高效的分布式日志系统，并提供Python案例代码来演示其用法。
使用Docker搭建ELK日志系统的方法示例
01-10
以下安装都是以 ~/ 目录作为安装根目录。 ElasticSearch 下载镜像： $ sudo docker pull elasticsearch:5.5.0 运行ElasticSearch容器： $ sudo docker run -it -d -p 9200:9200 -p 9300:9300 \ -v ~/elasticsearch/data:/usr/share/elasticsearch/data \ --name myes elasticsearch:5.5.0 特别注意的是如果使用v6以上版本会出现jdk的错误，我们查看日志 $ docker logs -f myes
快速搭建ELK日志分析系统
01-27
ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于ApacheLucene搜索引擎库之上。Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包
使用python爬取ELK数据，监控并保存至MySql
charles_zhang_的博客
08-29 822
想要通过python写一个可以监控ELK中账号注册的失败率，每过一段时间更新一次数据库中的账号，查找超过4个小时没有注册的账号。通过搬砖，从其他博主那里参考借鉴，基本完成功能，具体代码如下： # -*- coding:utf-8 -*- from bs4 import BeautifulSoup import re import pymysql from elasticsearch impo...
elkm1:ElkM1 Python软件包
05-23
Python ElkM1库 用于与ElkM1警报/自动化面板进行交互的库。 要求 Python 3.6（或更高版本） 描述 该软件包创建为一个库，用于与ElkM1警报/自动化模式进行交互。 编写此文件的动机是与Home Assistant自动化平台一起使用。 该库可用于编写其他ElkM1集成应用程序。 具有面板的IO通过TCP或串行端口异步。 安装 $ pip install elkm1_lib 概述 与麋鹿面板的基本连接： from elkm1_lib import Elk import logging # Print to STDOUT LOG = logging . getLogger ( __name__ ) logging . basicConfig ( level = logging . DEBUG , format = '%(
如何用Python爬虫持续监控商品价格
weixin_44617651的博客
08-25 298
在购物中，了解商品价格的变动对于节省成本和抓住优惠机会非常重要。本文将介绍如何使用Python爬虫建立一个某电商商品价格监控系统，帮助你持续跟踪商品价格的变动，并提供完善的方案和代码，让你能够轻松操作。
python爬虫和数据可视化,Python数据分析可视化
wenangou的博客
09-24 2760
2、比起MATLAB、R语言等其他主要用于数据分析语言，python语言功能更加健全Python具有强大的编程能力，这种编程语言不同于R或者matlab，python有些非常强大的数据分析能力，并且还可以利用Python进行爬虫，写游戏，以及自动化运维，在这些领域中有着很广泛的应用，这些优点就使得一种技术去解决所有的业务服务问题，这就充分的体现的Python有利于各个业务之间的融合。其次就可以学习一些基本的爬虫，进行数据采集，当然也有很多爬虫工具，直接使用即可。Numpy是python科学核算的根底包。
爬虫实战——爬取股价数据（以比亚迪为例）
Westbroobo的博客
04-19 929
基于requests和jsonpath采集比亚迪每日股价等数据。
python爬虫获取并购重组数据
weixin_44894162的博客
04-09 1826
通过python脚本，获取并购数据实例。
基于 Prometheus 和 ELK 的基础平台监控系统设计与实现
最新发布
05-13
并且需要实时的监控，及时掌握系统的运行状态、性能情况等。以及事后的信息查阅，便于之后的分析。 日常管理：包括对数据源的添加、报警规则的添加、报警后处理的跟踪等，一切都责任到人，进行全方位管理。以及对...
ELK入门——ELK详细介绍（ELK概念和特点、Elasticsearch/Logstash/beats/kibana安装及使用介绍、插件介绍）
热门推荐
Netceor的博客
03-11 1万+
主要参考链接 ES内容大全（Elastic中国社区官方博客） ES视频教程（Elastic中国社区官方博客） Elastic相关软件和插件（官网） ES中文社区（讨论和提问） 我的ELK专栏 Linux操作（鸟哥的私房菜） Linux常用命令 一、什么是ELK（端口9200） ELK学习总结——我们为什么要用ELK 一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢
066、爬虫常见问题
limengshi138392的博客
06-01 2257
1. 怎么监控爬虫的状态 1. 使用 python 的 STMP 包将爬虫的状态信心发送到指定的邮箱 2. Scrapyd、pyspider 3. 引入日志 集成日志处理平台来进行监控，如 elk 2. 列举您使用过的Python 网络爬虫所用到的网络数据包? requests、urllib、urllib2、httplib2。 3. 列举您使用过的Python 网络爬虫所...
pythonK线条件选股爬虫
qq_68341023的博客
07-22 1353
average30 = round(sum(last_thirty) / len(last_thirty), 2) # 计算平均值,计算平均值并保留两位小数。average30 = round(sum(last_thirty) / len(last_thirty), 2) # 计算平均值,计算平均值并保留两位小数。average30 = round(sum(last_thirty) / len(last_thirty), 2) # 计算平均值,计算平均值并保留两位小数。
2024年最新实战经验分享，Python 连接 Oracle 踩坑实录，2024年最新大厂算法面试
m0_61331237的博客
05-05 822
学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！
Python旅游景点数据大屏 爬虫+实时监控系统 旅游数据可视化 大数据 毕业设计
十多年程序猿资深互联网人，目前专注于Python/Java/大数据项目解决方案制定，提供各行业各编程语言的全套开发服务，喜爱code，喜爱分享，生命不止，编码不息！
06-12 2767
Python旅游景点数据大屏 爬虫+实时监控系统 旅游数据可视化 大数据 毕业设计
第2章 爬虫系列-爬取交易数据
wlj870705的博客
08-13 1115
交易数据的爬取
Python 爬取财务报表
Achernar0208的博客
04-13 6758
在本文中，我们将介绍如何使用Python编写一个简单的数据抓取器，用于爬取东方财富网上的各类财务报表数据。我们将利用requests和lxml库进行数据请求和解析，并将抓取到的数据保存到CSV文件中。
windows系统elk搭建
07-28
ELK是指Elasticsearch、Logstash和Kibana这三个开源软件的组合，用于构建实时数据分析和可视化的日志收集系统。ELK平台的搭建可以在Windows环境下进行。根据引用\[1\]，在Windows 11环境下，可以使用logstash 8.0.0、elasticsearch 8.0.0和kibana 8.0.0进行搭建。 首先，需要下载elasticsearch、logstash、kibana和filebeat。根据引用\[2\]，这些软件可以免费下载并使用。 接下来，打开一个新的shell，并执行命令切换到elk软件的安装目录。根据引用\[3\]，可以使用类似以下命令切换到kibana的安装目录： ``` cd F:\soft\elk .\kibana-7.16.0-windows-x86_64\kibana-7.16.0-windows-x86_64\bin\kibana.bat ``` 以上是在Windows系统下搭建ELK平台的简要步骤。具体的配置和使用方法可以参考相关文档或教程。 #### 引用[.reference_title] - *1* [Windows环境下搭建完整的ELK平台](https://blog.csdn.net/m0_52403371/article/details/129894030)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [ELK搭建开源日志系统（window版本）—图文详细](https://blog.csdn.net/likewiehyou/article/details/124438761)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值