- 博客(13)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Scrapy报错：builtins.AttributeError: ‘Request‘ object has no attribute ‘dont_filter‘
Scrapy报错：builtins.AttributeError: 'Request' object has no attribute 'dont_filter'
2022-10-13 10:32:24
771
1
原创 ProxyHandler_处理器(代理设置)
ProxyHandler处理器(代理设置)很多网站会检测某一段时间某个ip的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个ip的访问。所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个ip继续爬取。urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：1、代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再转发给
2021-08-30 00:35:24
444
原创 常见反爬手段和解决思路（二）
反爬的三个方向 1. 基于身份识别进行反爬 2. 基于爬虫行为进行反爬 4. 基于数据加密进行反爬1、常见基于身份识进行反爬（1）通过headers字段来反爬 headers中有很多字段，这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫 - 通过headers中的User-Agent字段来反爬 反爬原理：爬虫默认情况下是没有User-Agent,而是使用模块默认设置 解决方法:请求之前添加User-Agent即可；更好的方式是使用User-Agent池来解决
2021-08-21 01:51:57
423
原创 常见反爬手段和解决思路（一）
一、服务器反爬的原因 1. 爬虫占总PV(PV是指页面访问的次数，每打开或刷新一次页面，就算作一个PV )比例较高，浪费资源（尤其是三月份爬虫）实际上就是流量压力，爬虫会对服务器造成许多虚假的流量 2. 资源被批量抓走，丧失竞争力 3. 法律灰色地带，通过技术手段降低爬取的难易度2、服务器常反什么样的爬虫 1. 十分低级的应届毕业生 做毕设写论文 2. 十分低级的创业小公司 3. 失控小爬虫 4. 成型的商业对手 6. 抽风的搜索引擎：请求量和网络攻击没什么区
2021-08-21 01:30:27
219
原创 -bash: man: command not found
在输入man命令的时候出现-bash: man: command not found[root@linux ~]# man 5 passwd-bash: man: command not found经过前面的经验，认为可能是没有安装，为了证实猜测去百度了一下，百度给出的解释有两种：（1）没安装man;（2）path环境变量没配置，我选择一个一个试[root@linux ~]# yum install man已加载插件：fastestmirror设置安装进程Loading mirror s
2021-05-03 18:34:28
2427
原创 systemctl: command not found
systemctl: command not found//安装完之后[root@linux ~]# yum -y install httpd//启动时输入命令显示找不到systemmctl[root@linux ~]# systemctl start httpd-bash: systemctl: command not found百度一番之后发现centos 使用 service 命令替代systemctl//用service 替换systemctl 重新启动[root@linux
2021-05-03 17:03:33
38688
原创 Vim终端编辑器工具（下）
Vim使用技巧：可以大大提高开发效率1、打开文件vim filename — 打开文件，并将光标定位到文件开头（1）若文件已存在，则直接打开（2）若文件不存在，则新建文件（不做修改的文件不会被创建）vim filename + n — 打开文件，将光标定位在文件第n行（命令带'+'）vim filename + —打开文件，并将光标定位在文件末尾(+后面什么都不写，光标定位在最后一行)2、光标定位（必须是按完esc,退出插入模式才有效）gg: 首行GG：尾行ngg: 第n行
2021-02-18 01:00:49
166
原创 电脑打开控制面板不显示内容
（一）原因分析 出现此现象的原因有两种，一是因为系统原因，二是因为可能被隐藏了。（二）解决方法 修改组策略或者重新注册系统文件即可。（三）详细步骤 1、误操作或者其他人修改了组策略而隐藏了控制面板，修改过来即可。 运行（快捷键Win+R）输入gpedit.msc进入组策略 用户配置-->管理模板-->控制面板-->显示，配置右侧窗口内的选项，正常情况下应...
2020-04-29 23:13:27
4959
原创 Windows10下载更新一直卡在0%解决方法
微软不断为windows10操作系统推送更新，我们可以通过windows更新检查有无可用更新，最近有用户反应在win10更新中检测到有可用fbl_impressive Professional 10159更新并选择下载更新，但在更新过程中一直卡在0%无法完成更新，出现这种情况最简单就是重启更新服务，具体操作方法如下：1、首先关闭windows10更新的“设置”窗口;2、 鼠标右键任务栏空白处，...
2020-04-17 00:58:42
25254
4
原创 安装PHPNow集成环境时MySQL端口号占用解决方法
1、当你在命令行安装phpnow时显示mysql端口号被占用2、此时只需在管理员命令行里输入taskkill /pid 端口号 -t -f 杀掉该进程即可3、然后继续安装就ok了...
2020-03-13 00:16:50
687
1
原创 win10文件夹 下打开命令行
老版的windows可以在文件夹下右键直接选择“在此处打开命令行”，新版win10已经不支持该功能了要想在win10文件夹下直接打开命令行1、鼠标点击该文件夹空白处2、按Alt + D，光标自动定至地址栏3、在地址栏输入cmd,回车4、搞定！...
2020-03-12 23:55:28
785
phpStudy20161103.zip
2020-04-29
centos6的 lftp-4.0.9-1.el6.x86_64安装包
2021-05-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人