Sliense__-CSDN博客

原创关于win10桌面图标位置错乱的原因及解决办法

(1)任务管理器–详细信息–explorer.exe–右击–结束任务（这时没有桌面了）(2)快捷键Win+R, 运行:regedit–定位到：HKEY_CURRENT_USER\Software\Microsoft\Windows\Shell\Bags\1\Desktop找到右侧的 IconLayouts 和 Sort，都删除掉！(3)按Ctrl+Alt+Del，注销。(4)重新登录后，你会发现桌面图标变回默认状态了，这时你可以手工排列图标，排好之后，再注销一次。(5)再重新登录后，桌面图标正常

2022-04-11 18:45:40 8007

原创 IP地址查询接口

http://ip-api.com/json/　　# 国际化英文显示http://ip-api.com/json/?lang=zh-CN　　# 中文显示http://ip-api.com/json/115.191.200.34?lang=zh-CN　　# 查询某个ip的信息

2021-02-28 18:13:42 1177

原创猿人学题目2：提取全部5页发布日热度的值，计算所有值的加和,并提交答案

import execjsimport requestsjs="""var document={};var location={};function $c(k) { var B = function () { var Y = true; return function (Z, a0) { var a1 = Y ? function () { if (a0) { var a2 = a0["apply"](Z, arguments)

2021-02-23 20:39:58 219

原创猿人学任务4：采集这5页的全部数字，计算加和并提交结果

import execjsimport requestsimport hashlibimport base64import reheaders = { 'User-Agent': 'yuanrenxue.project',}def get_sum(page): url = 'http://match.yuanrenxue.com/api/match/4?page=%s' %page response = requests.get(url,headers=header

2021-02-21 19:40:27 1893

原创猿人学任务3：抓取下列5页商标的数据，并将出现频率最高的申请号填入答案中

import requestsurl = "http://match.yuanrenxue.com/logo"HEADERS={ 'Host': 'match.yuanrenxue.com', 'Connection': 'keep-alive', 'Content-Length': '0', 'User-Agent': 'yuanrenxue.project', 'Accept': '*/*', 'Ori

2021-02-15 21:50:53 227

原创猿人学题目1：抓取所有（5页）机票的价格，并计算所有机票价格的平均值，填入答案。

import requestsimport execjsjs = """var hexcase = 0;var b64pad = "";var chrsz = 16;function hex_md5(a) { return binl2hex(core_md5(str2binl(a), a.length * chrsz));}function b64_md5(a) { return binl2b64(core_md5(str2binl(a), a.length * chrsz

2021-02-14 19:37:25 347

原创贝壳二手房爬虫

import requestsimport refrom fake_useragent import UserAgenturl = 'https://bj.ke.com/ershoufang/'headers = { 'User-Agent': UserAgent().random}response = requests.get(url,headers=headers)page = response.texttitle = r'<a class="VIEWDATA CLIC

2021-02-12 18:22:53 593 1

原创酷狗音乐爬虫

import requestsimport reimport timeimport randomfrom fake_useragent import UserAgentsongs = input("请输入歌曲名：")url = 'https://songsearch.kugou.com/song_search_v2?callback=jQuery112409090559630919017_1585358668138&keyword=%s&page=1&pagesize=

2021-02-10 19:14:36 278

原创正则表达式表示任意字符包括换行符

正则表达式匹配规则：([\s\S]*)注：[\s]表示，只要出现空白就匹配[\S]表示，非空白就匹配

2021-02-07 19:43:45 385

原创 Python解决使用requests请求网页乱码问题

url = 'https://zhidao.baidu.com/search?lm=0&rn=10&pn=0&fr=search&ie=gbk&word=%B8%D6%CB%BF%C9%FE'res = requests.get(url)print(res.encoding)print(res.apparent_encoding)res.text.encode(res.encoding).decode(res.apparent_encoding)

2021-02-03 13:54:48 53667 1

原创 2021-2-2有道翻译在线翻译爬虫

#encoding=utf-8#hashlib MD5加密import requests,fake_useragent,hashlib,timeclass youdao(object): def __init__(self,e): self.url = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule' self.headers = {

2021-02-02 21:28:50 183

原创 mangabz漫画网鬼灭之刃漫画爬虫

mangabz漫画爬虫遇到的问题1：多线程导致内存溢出2：下载不全需执行多次3：日志打印混乱import requestsimport fake_useragentimport timefrom lxml import etreeimport osfrom selenium import webdriverfrom selenium.webdriver.support import waitfrom selenium.webdriver.support import expected

2021-01-27 09:54:59 8522

原创 CrawlSpider全站数据爬取

CrawlSpider的使用:1.创建一个工程scrapy startproject 项目名称2.cd 至项目路径3.创建爬虫文件(CrawlSpider) :scrapy genspider -t crawl 爬虫名称 www . XXXx. com#allow 用正则匹配规则注意.要转义 #callback 回调函数#follow 是否全站爬取 rules = ( Rule(LinkExtractor(allow=r'wallpaper_0_0_10_\d+\.html

2021-01-02 19:04:27 184 1

原创 scrapy图片爬取ImagesPipeline

只需将spider类解析到的src地址 yield itempipelines.py写法from itemadapter import ItemAdapterfrom scrapy.pipelines.images import ImagesPipelineimport scrapyclass ImgPipeline(ImagesPipeline):#根据图片的src进行图片数据请求def get_media_requests(self,item,info): yield scrap

2020-12-28 20:22:23 97

原创 selenium规避被检测识别

现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的window.navigator.webdriver的值为undefined。而使用selenium访问则该值为true。那么如何解决这个问题呢?只需要设置Chromedriver的启动参数即可解决问题。在启动Chromedriver之前，为Chrome开启实验性功能参数excludeSwitches，它的值为[‘enable-automation']，完整代码如下∶from selenium.webdriver

2020-12-21 18:26:03 1615

zhangju414的博客