scrapy模拟登陆人人网

最新推荐文章于 2021-02-07 04:31:12 发布
最新推荐文章于 2021-02-07 04:31:12 发布
阅读量5.6k 收藏 1
点赞数
分类专栏： python 文章标签： scrapy模拟登陆人人网 scrapy模拟登陆
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangcongyi420/article/details/103106993
版权
python 专栏收录该内容
15 篇文章 29 订阅 ¥9.90 ¥99.00
订阅专栏
这篇博客介绍了如何使用Scrapy模拟登录人人网。在分析登录参数后，重点讲解了处理验证码的方法，并展示了创建Scrapy项目的步骤。此外，还对比了使用Scrapy和requests库进行登录豆瓣网的过程，强调了在实际应用中可以使用第三方库识别验证码。
摘要由CSDN通过智能技术生成

首先我们简单分析下人人网的登录时的参数
在这里插入图片描述

其实最重要的就是form data的那部分，即我们在向人人网发送登录的POST请求时候必传的一些参数，一目了然的展现出来，其中有几个参数是固定的，

email，origURL，domain，key_id，rkey在一定的时间内也是固定的，最后还剩下一个验证码需要解决，即icode，为了演示方便，这里我们通过提取到这个验证码的链接保存本地，并通过手动输入的方式进行读取来进行，

通过页面分析，可以拿到这个验证码的链接
在这里插入图片描述

快速创建一个scrapy的项目，具体过程不再赘述，贴上命令：

scrapy startproject reren_login
scrapy genspider renren_login "reren.com"

settings配置，可以参考如下：

BOT_NAME =
了解本专栏 订阅专栏 解锁全文
小码农叔叔
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
scrapy模拟登入
weixin_50589453的博客
02-03 187
使用scrapy模拟登入 第一种方法 从数据接口获取cookie 重新定义一个start_requests函数 把cookie整理成字典格式传入模拟登入代码的cookies参数里 第二种方法 以post形式去登入 1.查看网页登入失败后网页是否从login变成session --是 2.获取session数据接口里的data 3.查看data里是否有变数 --有 4.去网页中获取data里的变数（数据结构是固定的一会就被会换 ，而网页直接请求无论怎么变都可以） 5.使用formrequest方法
使用Scrapy模拟登陆人人网
JunsIr的技术栈
10-16 807
Python爬虫之Scrapy框架模拟登陆人人网 一. 新建项目(scrapy startproject) ​ 打开命令行，按以下步骤操作 C:\Users\JunSIr>d: D:\mkdir scrapyProject D:\>cd scrapyProject D:\scrapyProject>scrapy startproject renrenSpider --...
scrapy实战|模拟登录人人网实战
Kuls
03-04 531
1写在前面的话 前面我们学习了scrapy并且实战了爬取当当网的数据，相信大家对scrapy的基本操作还是掌握的OK的了，如果没看前面文章的朋友可以去...
python scrapy爬虫模拟登陆人人网
m0_46377561的博客
05-27 189
模拟登陆人人网 笔记部分： 1、想要发送post请求，那么推荐使用“scrapy.FormRequest”方法，可以方便的指定表单数据 2、如果想在爬虫的一开始就发送Post请求，那么应该重写start_requests 方法，在这个方法中发送post请求 代码展示： # -*- coding: utf-8 -*- import scrapy class RenrenSpider(scrapy.Spider): name = 'renren' allowed_domains = ['renr
scrapy之发送POST请求（人人网标准的模拟登陆步骤）
執筆冩回憶
06-19 418
1、创建Scrapy项目scrapy startproject renren2Spider 2.进入项目目录，使用命令genspider创建Spiderscrapy genspider renren2 "renren.com" 3、编写提取item数据的Spider（在spiders文件夹下：renren2.py）# -*- coding: utf-8 -*- # scrapy发送POS请求--人...
scrapy框架模拟登陆人人网带状态维持
12-15
**Scrapy框架模拟登录人人网并保持状态** 在Python的Web爬虫开发中，Scrapy是一个强大而灵活的框架，常用于数据抓取和网页解析。本教程将深入讲解如何使用Scrapy框架来模拟登录人人网，并实现状态维持，以便在抓取...
scrapy模拟淘宝登陆.zip
最新发布
01-06
在"scrapy模拟淘宝登陆.zip"这个压缩包中，我们可以推测它包含了一个使用Scrapy框架构建的项目，目的是模拟用户登录淘宝网站。这个项目可能包含了解析登录页面、提交登录表单、处理验证码以及存储登录状态等关键步骤...
Scrapy模拟登录赶集网的实现代码
09-16
在这个场景中，我们将探讨如何使用Scrapy模拟登录赶集网的过程，这对于抓取需要登录后才能访问的数据非常有用。 首先，我们需要理解模拟登录的基本步骤。在登录赶集网时，我们需要收集登录页面的POST请求参数。这...
scrapy模拟知乎登录并获取知乎用户的信息
04-27
在这个项目中，我们利用Scrapy来模拟登录知乎，并获取用户的特定信息。首先，我们需要理解整个流程的关键步骤。 1. **模拟登录**： - **Selenium**：在模拟登录时，我们使用Selenium库，这是一个自动化测试工具，...
python爬虫框架scrapy实现模拟登录操作示例
09-20
在处理需要登录才能访问的网站时，Scrapy 提供了模拟登录的功能，以允许爬虫在抓取数据前先完成用户身份验证。本篇文章将详细介绍如何使用 Scrapy 实现模拟登录操作。 一、模拟登录的背景 许多网站为了防止恶意...
PhotoPciker
07-22
用于浏览本地图片，功能很强大,大家可以试试
pythonscrapy爬虫_Python爬虫(七)--Scrapy模拟登录
weixin_39662834的博客
11-24 179
1. Cookie原理HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制Cookie是http消息头中的一种属性，包括：Cookie名字（Name）Cookie的值（Value）Cookie的过期时间（Expires/Max-Age）Cookie作用路径（Path）Cookie所在域名（Domain），使用Cookie进行安全连接（Secure）。前两个参数是Cooki...
scrapy模拟登陆
moon的博客
03-16 378
模拟浏览器登录start_requests()方法，可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls，start_requests()返回的请求会替代start_urls里的请求Request()get请求，可以设置，url、cookie、回调函数FormRequest.from_response()表单post提交，第一个必须参数，上一次响应cookie的respons...
scrapy模拟登录
weixin_42825585的博客
02-28 303
scrapy模拟登录 ###注意：模拟登录时，必须保证settings.py里的COOKIES_ENABLED(Cookies中间件) 处于开启状态 COOKIES_ENABLED = True或# COOKIES_ENABLED = False 策略一：直接POST数据（比如需要登录的账户信息) 只要是需要提供post数据的，就可以用这种方法。下面示例里post的数据是账户密码： 可以...
html登录页面源码_Scrapy笔记- 模拟登录
weixin_39594080的博客
11-30 110
Scrapy笔记- 模拟登录有时候爬取网站的时候需要登录，在Scrapy中可以通过模拟登录保存cookie后再去爬取相应的页面。这里我通过登录github然后爬取自己的issue列表来演示下整个原理。要想实现登录就需要表单提交，先通过浏览器访问github的登录页面https://github.com/login，然后使用浏览器调试工具来得到登录时需要提交什么东西。 我这里使用chrome浏览器...
scrapy 模拟登陆
木下瞳的博客
01-23 383
通过 cookies 登陆，以豆瓣的个人邮箱为例 # -*- coding: utf-8 -*- import scrapy from douban_movie_rank.items import DoubanMovieRankItem from scrapy.http import Request from scrapy.http import FormRequest class Basi...
scrapy用cookie模拟登录csdn
码猿技术专栏
02-28 1752
# -*- coding: utf-8 -*- import scrapy from scrapy.conf import settings class DemoSpider(scrapy.Spider): name = "demo" #allowed_domains = ["csdn.com"] start_urls = ["http://write.blog.csdn.n
scrapy mysql 模拟登录知乎_Scrapy 模拟登录新版知乎
weixin_39681058的博客
02-07 95
写这篇文章是因为知乎登录已经改版了，新版登录和老版登录区别还是挺大了，新版登录的 post 请求减少了一些字段的同时新增了一些字段，而且新增的字段如 signature 的值是通过一些算法得到的，比较难处理，因此记录一下自己的登录过程：第一步因为需要登录，所以重写 Scrapy 的入口函数，作用是验证当前登录是否需要验证码，并获取到 cookie；(老版知乎登录时直接访问登录首页得到 _xsrf ...
scrapy mysql 模拟登录知乎_详细的Python Scrapy模拟登录知乎
weixin_33552230的博客
02-07 189
之前爬取携程和51job都是免登陆就能爬取数据的，但是今天爬取知乎的时候就需要登录后才能爬到数据，那我们只能进行模拟登录了。知乎登录分为邮箱登录和手机登录两种方式，通过浏览器的开发者工具查看，我们通过不同方式登录时，网址是不一样的。邮箱登录的地址email_url = 'https://www.zhihu.com/login/email'，手机登录网址是phone_url = 'http://ww...
使用scrapy模拟登陆大众点评网
03-25
A：使用scrapy模拟登陆大众点评网的步骤如下： 1. 在settings.py中添加COOKIES_ENABLED=True，开启cookies支持； 2. 在spider中编写start_requests方法，发送GET请求到大众点评的登录页面，获取登录页面的cookie； ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码农叔叔

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值