Python 网络爬虫“盗亦有道”

已于 2022-11-15 19:53:41 修改
阅读量172 收藏
点赞数
文章标签： python 爬虫 开发语言
于 2022-10-31 22:30:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhf166/article/details/127624851
版权

网络爬虫的尺寸：

  • 爬取网页 玩转网页 

    小规模，数据量小，爬取速度不敏感，Requests库 > 90%

  • 爬取网站 爬取系列网站

    中规模、数据规模较大、爬取速度敏感 Scrapy库

  • 爬取全网

    大规模、搜索引擎，爬取速度关键，定制开发

网络爬虫引发的问题

  • 性能骚扰

  • 法律风险

  • 隐私泄露

网络爬虫的限制

  • 来源审查，判断User-Agent进行限制

    检查来访HTTP 协议头的User-Agent域，只响应浏览器或友好爬虫的访问

  • 公布公告：Robots协议

    告知所有网站的爬取策略，要求爬虫遵守

Robots协议 Robots Exclusion Standard，网络爬虫排除标准

作用：网站告知网络爬虫那些网页可以爬取，那些不行

形式：在网站根目录下的robots.txt

robots协议基本语法

# 注释，* 代表所有，/ 代表根目录

User-agent：*

Disallow：/

使用：

约束性：robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险

原则：类人行为可不参考robots协议

zhf166
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
前端安全相关
m0_46365130的博客
01-17 1825
以上主要是解决：除了数据泄露外，一些重要功能的接口如果没有做好保护措施也会被恶意调用造成DDoS、条件竞争等攻击效果一些营销活动类的Web页面，领红包、领券、投票、抽奖等活动方式很常见。此类活动对于普通用户来说应该是“拼手气”，而对于非正常用户来说，可以通过直接刷活动API接口的这种“作弊”方式来提升“手气”。这样对普通用户来说就很不公平。
python爬虫之盗亦有道
c15336023的博客
03-29 148
2.网络爬虫的“盗亦有道” 网络爬虫的尺寸： 小规模，数据量小； 爬取速度不敏感；Requests库 中规模，数据规模较大； 爬取速度敏感；Scrapy库 大规模，搜索引擎； 爬取速度关键；定制开发 爬取网页 玩转网页 爬取网站 爬取系列网站 爬取全网 网络爬虫的“骚扰”：受限于编写水平和目的，网络爬虫将会为Web服务器带来巨大的资源开销。 网络爬虫的法律风险：服务器上的数据有产权归属；网络爬虫获取数据后牟利将带来法律风险。 网络爬虫泄露隐私：网络爬虫可能具备突.
python 爬虫之“盗亦有道”
狮子雨恋
10-18 302
最近有一条消息炸了，因为一段爬虫代码，整个公司200多人被短了。那么什么爬虫是违法的？ 如果爬虫程序采集到个人信息并将之用于非法途径的，则构成非法获取公民个人的违法行为。 重点关注：以下情况，爬虫可能违法，严重的甚至构成犯罪。 爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。 2.爬虫程序干扰被访问的网站...
【Python爬虫】网络爬虫的“盗亦有道”
点滴记忆
07-05 380
python爬虫-盗亦有道（二）
weekeight
04-30 444
python爬虫-盗亦有道网络爬虫的风险网络爬虫的限制Robots协议 网络爬虫的风险 爬虫有风险，爬取需谨慎。 爬虫是否违法 除去一些个人及小规模的爬虫，大多数爬虫一直都是在法律的边缘，因爬虫进去的事件最近也是一起接一起，我个人也是对网络安全比较感兴趣，我从最开始接触网络就在自己的桌面放了一个《中华人民共和国网络安全法》的文档，让其时刻提醒着我 仔细看安全法的第二十七条 其中有几个点...
完整版精品Python网络爬虫教程 数据采集 信息提取课程 全套PPT课件 共12个章节.rar
11-21
Python网络爬虫教程 数据采集 信息提取课程 02-网络爬虫的盗亦有道（共19页）.pptx Python网络爬虫教程 数据采集 信息提取课程 03-Requests库网络爬取实战（共29页）.pptx Python网络爬虫教程 数据采集 信息提取课程...
完整版精品Python网络爬虫教程 数据采集 信息提取课程 02-网络爬虫的盗亦有道（共19页）.pptx
11-13
Python网络爬虫教程 数据采集 信息提取课程 02-网络爬虫的盗亦有道（共19页）.pptx Python网络爬虫教程 数据采集 信息提取课程 03-Requests库网络爬取实战（共29页）.pptx Python网络爬虫教程 数据采集 信息提取课程...
Python网络爬虫与信息提取.zip
07-02
WS02-网络爬虫的盗亦有道.pdf WS03-Requests库网络爬取实战，pdf WS04-Beautiful Soup库入门.pdf WS05-信息标记与提取方法.pdf WS06-实例1-中国大学排名爬虫.pdf WS07-Re（正则表达式）库入门.pdf WS08-实例2-淘宝...
慕课上嵩天老师课程【Python网络爬虫与信息提取】PPT集合
最新发布
11-02
00-网络爬虫课程内容导学.pdf ...02-网络爬虫的盗亦有道.pdf 03-Requests库网络爬取实战.pdf 04-Beautiful Soup库入门.pdf 05-信息标记与提取方法.pdf 06-实例1-中国大学排名爬虫.pdf 07-Re(正则表达式)库入门.pdf
完整版精品Python网络爬虫教程 数据采集 信息提取课程 12-实例4-股票数据定向Scrapy爬虫（共23页）.pptx
11-13
Python网络爬虫教程 数据采集 信息提取课程 02-网络爬虫的盗亦有道（共19页）.pptx Python网络爬虫教程 数据采集 信息提取课程 03-Requests库网络爬取实战（共29页）.pptx Python网络爬虫教程 数据采集 信息提取课程...
VUE项目添加robots.txt
起名真的烦
05-07 4180
将robots.txt文件添加到vue项目static文件夹下 打开build/webpack.prod.conf.js文件，定位到 new CopyWebpackPlugin([ { from: path.resolve(__dirname, '../static'), to: config.build.assetsSubDirectory, ignore:...
爬虫的“盗亦有道“-Robots协议
xiongshivigor的博客
03-12 589
网络爬虫的君子协议 执着 网络爬虫的尺寸 小规模，数量小，爬去速度不敏感，requests库 中规模，数据规模较大，爬取速度敏感scrapy库 大规模，搜索引擎,爬取速度关键定制开发 爬取网页 玩转网页 爬取网站 爬取系列网站 爬取全网 网络爬虫引发的问题 性能骚扰 法律风险 隐私泄露 网络爬虫的"性能骚扰" web服务器默认接受人类访问，受限于编写水平和目的，网络爬虫将会为web服务器带来巨大的资源的开销。 网络爬虫的法律风险 服务器上的数据有产权归属，网络爬虫获取数据后牟利将会带来法律的风险。
vue-cli项目中静态文件过大的问题
weixin_43844392的博客
04-23 3183
我们最近在做一个项目时，因为static 文件中含有几个视频文件，导致static 文件过大，build 的时候非常慢。 在这我大概介绍一下上面问题的解决方法： 首先我们先要了解一下 webpack 的一个插件 --拷贝插件 copy-webpack-plugin 第一步：插件的安装： npm install --save -dev copy-webpack-plugin 如果你是用脚手...
规则：网络爬虫的“盗亦有道”
m0_46844351的博客
11-13 248
网络爬虫引发的问题 网络爬虫的尺寸 爬取网页玩转网页 小规模，数据量小 爬取速度不敏感 Requests库 爬取网站爬取系列网站 中规模，数据规模较大 爬取速度敏感 Scrapy库 爬取全网 大规模，搜索引擎 爬取速度关键 定制开发 网络爬虫的“性能骚扰” Wed服务器默认接收人类访问 受限于编写水平和目的，网络爬虫将会为Wed服务器带来巨大的资源开销 网络爬虫的法律风险 服务器上的数据有产权归属 网络爬虫获取数据后牟利将带来法律风险 网络爬虫的隐私泄露 网络爬虫可能..
Vue配置文件vue.config.js配置前端代理
qq_45190444的博客
11-17 1845
//将此代码片段命名为 vue.config.js,放在项目根目录即可 //仅需修改target属性要访问的接口IP即可 <br>// vue.config.js 配置说明 //官方vue.config.js 参考文档 https://cli.vuejs.org/zh/config/#css-loaderoptions // 这里只列一部分，具体配置参考文档 module.exports = { // 部署生产环境和开发环境下的URL。 // 默认情况下，Vue CLI 会假设
网络爬虫入门
qq_43590003的博客
05-05 1499
网络爬虫入门学习（笔记） 2019.5.3 网络爬虫 学习笔记 request.get(url,params=None,**kwargs) response对象 # status_code:状态码 200 表示成功 # text: 返回字符串内容 # encoding:内容编码方式 # apparent_encoding:备选编码方式 encoding:header中没有charset，则...
robots.txt防爬虫使用
果冻先生的专栏
10-31 1503
robots.txt文件用法举例： 首先来看看robots.txt文件的使用位置情况，如github的robots使用情况。 下面参考https://blog.csdn.net/cc1254383393/article/details/48753961/ 1.robots.txt文件是什么 robots.txt是一个纯文本文件，是搜索引擎中访问网站的时候要查看的第一个文件。robots...
vue.config.js 配置
weixin_48691904的博客
12-09 661
‘use strict’ const path = require(‘path’) const defaultSettings = require(’./src/settings.js’) function resolve(dir) { return path.join(__dirname, dir) } const name = defaultSettings.title || ‘文件’ // 标题 const port = process.env.port || process.env.npm_conf
path.resolve()理解
热门推荐
kikyou_csdn的博客
10-18 8万+
学习webpack时遇到path.resolve()： webpack.config.js: output: { filename: '[name].bundle.js', //把一个路径或路径片段的序列解析为一个绝对路径 path: path.resolve(__dirname,'dist') }, 然后去看了node.js文档发现还是...
webpack打包中path.resolve和__dirname的含义
时清云的博客
06-03 6332
在webpack打包中，我们经常会有这样的配置， const path = require('path'); module.exports = { entry: './path/to/my/entry/file.js', output: { path: path.resolve(__dirname, 'dist'), // 对这一行代码有疑问 filename: 'my-first-webpack.bundle.js' } }; 那么我们来看一下path.resolve和__

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值