Hill.-CSDN博客

原创 python实现超级大乐透（模拟中奖）

在5708621次中奖成本 5708621*20=114172420。：在224303次中奖成本 224303*20=4486060。无聊写了一个脚本，看看福彩大乐透的中奖几率如何。这辈子还能不能中奖了/(ㄒoㄒ)/~~？注：每次买10注成本20￥。

2023-08-26 23:01:41 1224 1

效果图流程：1.获取油价信息2.数据清洗汇总3.导入es4.kibana绘制表格以及图形5.添加定时执行一.获取油价信息（1）寻找数据目标网站：东方财富网网址：全国油价数据 _ 数据中心 _ 东方财富网（2）编写爬虫经过分析该网站网页原代码内不包含我们想要的数据所以我们请求下面这个接口得到数据import requestsimport pandas as pdimport timeheaders = { 'coo..

2022-04-16 23:04:25 656

原创【fastapi】搭建seo工具集合

效果图：1.安装fastaippip install fastapipip install uvicorn还没入门的小伙伴建议看fastapi官方文档2. get请求（以查收录为列）（1）导入已经写好的查收录模块和其他模块import timeimport uvicornfrom fastapi import FastAPI, File, UploadFileimport shoulu # 提前已经写好的程序（2）创建app对象（和flask...

2022-04-15 20:54:36 274

原创 elasticsearch 创建索引出现 ValueError: check_hostname requires server_hostname

File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\util\ssl_.py", line 432, in ssl_wrap_socket ssl_sock = _ssl_wrap_socket_impl(sock, context, tls_in_tls) File "C:\ProgramData\Anaconda3\lib\site-packages\urllib3\util\ssl_.py", line 474, in _s...

2022-04-14 19:46:44 3074

原创 python实现动态桌面壁纸（精简）

众所周知，一个良好的桌面壁纸能提高写代码的心情，也能加强在电脑面前吃泡面的食欲但是找到一个合适壁纸是多么麻烦是事情，所以很多小伙伴不想麻烦，于是我的想法诞生了先看效果图只需要双击图标就可以切换下一张图片还可以定时自动更换壁纸（后面详细介绍）执行逻辑：1.先去寻找高清壁纸网站2.编写爬虫将大量图片保存到本地3.编写代码将图片设置为壁纸4.增加定时更新模块一、目标地址https://pic.netbian.com二、爬虫代码''' ...

2022-04-12 23:30:20 4274 3

原创 python+selenium 破解滑动验证案列

之前在破解滑动验证的路上坎坎坷坷一直为图像识别感到烦恼，今在b站上看到一位博主的教课感觉非常有感悟，直接封装了一个方法处理滑动图像的识别，妙！能点击进来的估计对滑动验证码应该不陌生，这里就不说废话了，直接上教程，这里以QQ邮箱为例：步骤：1.分析缺块图和背景图，思路是这里有两个坐标，需要计算的距离是 b-a的横坐标即可这就是我们需要滑动的距离首先电脑下载一个picpick 打开里面的像素尺子，测一下a ，b 的距离2.下载缺块图和背景图，直接丢给模块slideV...

2021-10-08 22:26:26 2011 1

原创 scrapy框架 + MongoDB 实现数据大批量存储

MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。以上一个项目为例： scrap

2021-10-07 22:30:44 480

原创 scrapy框架之crawl spider

crawl spider继承Spider类，Spider类的设计原则是只爬取start_url列表中的网页，而CrawlSpider类定义了一些规则(Rule)来提供跟进link的方便的机制，从爬取的网页中获取link并继续爬取的工作更适合，也可以重写一些方法来实现特定的功能。简单来说就是简单高效的爬取一些url比较固定的网址This is the most commonly used spider for crawling regular websites, as it provides a...

2021-10-06 20:29:05 698

原创用selenium获取某东商品用户评论来做数据分析

如图需要获取小米11的用户评论网址：https://item.jd.com/100009958327.html1.分析网页会发现利用selenium不用处理复杂的反爬会比较好（不过在此需要对selenium有扎实的基本功）我们需要获取的信息有：买家昵称，手机颜色, 配置, 评论时间, 买家评星, 评论2.接下来导入模块创建浏览器对象：from selenium.webdriver import Chromefrom selenium.webdr...

2021-09-25 00:30:08 1840 2

zm024212的博客