zhsworld的博客

目标网站aHR0cDovL3FxZTIuY29tL1ZpZGVvL2RlZmF1bHQuaHRtbA==今天要分析的是一个视频解析网站，这一类网站大多都是借用别人写好的视频解析接口，再套上自己的 UI 就是一个新的解析站了，所以有时候解析服务一挂，很多类似的网站都用不了，而且这类解析的网站一般都有法律风险，不建议私自搭建（律师函警告）我们今天主要是分析这个网站的反爬措施，看下有...

写在最前边：Rule主要适用于爬取【列表页+详情页】的情况官方文档：https://docs.scrapy.org/en/latest/topics/spiders.html#crawlspider一 、结构1 Generic Spiders 通用蜘蛛Scrapy comes with some useful generic spiders that you can use t...

登录的实质就是朝着服务器发送含有登录表单数据的HTTP请求（通常都是POST）。scrapy提供了一个FormRequest类，是Request的子类，专门用来构造含有表单数据的请求，FormRequest的构造器方法有一个formdata参数，接受字典形式的表单数据。在spider中使用FormRequest的流程：覆写基类的start_requests方法，最先请求登录页面log...

一 Request objectsclassscrapy.http.Request(url, callback=None, method='GET', headers=None, body=None, cookies=None, meta=None, encoding='utf-8', priority=0, dont_filter=False, errback=None, flags=No...

目录Scrapy 框架介绍Scrapy 的运作流程制作 Scrapy 爬虫的简单流程Pycharm 中创建 Scrapy 项目Scrapy 框架介绍Scrapy Engine：引擎。负责Scheduler 、Downloader、Spider、ItemPipeline 中间的通讯、信号、数据传递等，是整个框架的核心 Scheduler：调度器。负责接受Scrapy ...

一、环境搭建：安装 Node.js + Cnpm + Express + Body-parser【Node.js 】是运行在服务端的 JavaScript，它基于Google的V8引擎的安装Node：官网https://nodejs.org/zh-cn/npm（node package manager）：nodejs自带的包管理器，用于node插件管理（包括安装、卸载、管理依赖等）【C...

一、Charles抓包原理：charles是通过将自己设置成代理服务器来完成封包截取的。1 抓包Https请求1.1 安装证书需将证书存储到“受信任的根证书颁发机构”1.2 设置SSL Proxying2 修改请求信息3 断点设置3.1 选择需要打断点的接口，右键“Breakpoint”3.2 断点详细配置参考链接：《Charles...

跟JS反扒相关的重点是如下三个面板一、Console控制台面板：在开发期间，可以使用控制台面板记录诊断信息，或者使用它作为 shell在页面上与JavaScript交互。1 console.log：用于输出普通信息2 console.info：用于输出提示性信息3 console.error：用于输出错误信息4 console.warn：用于输出警示信息5 console.deb...

一、构造函数二、原型链三、回调函数四、事件循环五、异步编程六、浏览器储存七、跨域八、Webpack打包一、构造函数1 定义：当任意一个普通函数用于创建一类对象时，它就被称作构造函数。在 JavaScript 中是指用 new 关键字来调用的函数2 执行流程：（1）当以 new 关键字调用时，会创建一个新的内存空间（2）函数体内部的 this ...

目录一、变量二、常用数据类型三、控制流四、函数五、特殊对象一、变量1、变量格式以字母、下划线（_）或者美元符号（$）开头；后续的字符也可以是数字（0-9） 大小写敏感2、注释格式// 单行注释/* 这是一个更长的, 多行注释*/3、声明方式var //声明一个局部变量或全局变量，可选初始化一个值// 如果不初始化会输出unde...

一、浏览器架构1、User Interface 用户界面主要提供用户与Browser Engine交互的方法。其中包括：地址栏(address bar)、向前/退后按钮、书签菜单等等。浏览器除了渲染请求页面的窗口外的所有地方都属于The User Interface2、Browser Engine 浏览器引擎协调（主控）UI和the Rendering Engine，在他...