scrapy模拟登陆人人网

最新推荐文章于 2022-03-13 16:06:24 发布
最新推荐文章于 2022-03-13 16:06:24 发布
阅读量5.7k 收藏 1
点赞数
分类专栏： python 文章标签： scrapy模拟登陆人人网 scrapy模拟登陆
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangcongyi420/article/details/103106993
版权
python 专栏收录该内容
15 篇文章 29 订阅 ¥9.90 ¥99.00
订阅专栏
这篇博客介绍了如何使用Scrapy模拟登录人人网。在分析登录参数后，重点讲解了处理验证码的方法，并展示了创建Scrapy项目的步骤。此外，还对比了使用Scrapy和requests库进行登录豆瓣网的过程，强调了在实际应用中可以使用第三方库识别验证码。
摘要由CSDN通过智能技术生成

首先我们简单分析下人人网的登录时的参数
在这里插入图片描述

其实最重要的就是form data的那部分，即我们在向人人网发送登录的POST请求时候必传的一些参数，一目了然的展现出来，其中有几个参数是固定的，

email，origURL，domain，key_id，rkey在一定的时间内也是固定的，最后还剩下一个验证码需要解决，即icode，为了演示方便，这里我们通过提取到这个验证码的链接保存本地，并通过手动输入的方式进行读取来进行，

通过页面分析，可以拿到这个验证码的链接
在这里插入图片描述

快速创建一个scrapy的项目，具体过程不再赘述，贴上命令：

scrapy startproject reren_login
scrapy genspider renren_login
了解本专栏 订阅专栏 解锁全文
小码农叔叔
关注
专栏目录
订阅专栏
爬虫Scrapy框架学习（七）-scrapy框架实现模拟登陆
沉梦昂志
07-17 344
目标：学习三种不同方式的scrapy框架模拟用户登陆 人人网案例-采用传统cookies设置方式进行模拟登陆。 post表单请求方式（自行定位表单位置） post方式调用scrapy.FormRequest.from_response函数进行自动定位表单方式进行模拟登陆. 1.采用传统cookies设置方式进行模拟登陆。 思考：苏宁图书案例中start_urls是谁发送的？ 在父类源码中 有...
scrapy模拟登入
weixin_50589453的博客
02-03 212
使用scrapy模拟登入 第一种方法 从数据接口获取cookie 重新定义一个start_requests函数 把cookie整理成字典格式传入模拟登入代码的cookies参数里 第二种方法 以post形式去登入 1.查看网页登入失败后网页是否从login变成session --是 2.获取session数据接口里的data 3.查看data里是否有变数 --有 4.去网页中获取data里的变数（数据结构是固定的一会就被会换 ，而网页直接请求无论怎么变都可以） 5.使用formrequest方法
使用Scrapy模拟登陆人人网
JunsIr的技术栈
10-16 818
Python爬虫之Scrapy框架模拟登陆人人网 一. 新建项目(scrapy startproject) ​ 打开命令行，按以下步骤操作 C:\Users\JunSIr>d: D:\mkdir scrapyProject D:\>cd scrapyProject D:\scrapyProject>scrapy startproject renrenSpider --...
scrapy实战|模拟登录人人网实战
Kuls
03-04 596
1写在前面的话 前面我们学习了scrapy并且实战了爬取当当网的数据，相信大家对scrapy的基本操作还是掌握的OK的了，如果没看前面文章的朋友可以去...
python scrapy爬虫模拟登陆人人网
m0_46377561的博客
05-27 197
模拟登陆人人网 笔记部分： 1、想要发送post请求，那么推荐使用“scrapy.FormRequest”方法，可以方便的指定表单数据 2、如果想在爬虫的一开始就发送Post请求，那么应该重写start_requests 方法，在这个方法中发送post请求 代码展示： # -*- coding: utf-8 -*- import scrapy class RenrenSpider(scrapy.Spider): name = 'renren' allowed_domains = ['renr
scrapy之发送POST请求（人人网标准的模拟登陆步骤）
執筆冩回憶
06-19 428
1、创建Scrapy项目scrapy startproject renren2Spider 2.进入项目目录，使用命令genspider创建Spiderscrapy genspider renren2 "renren.com" 3、编写提取item数据的Spider（在spiders文件夹下：renren2.py）# -*- coding: utf-8 -*- # scrapy发送POS请求--人...
scrapy框架模拟登陆人人网带状态维持
12-15
**Scrapy框架模拟登录人人网并保持状态** 在Python的Web爬虫开发中，Scrapy是一个强大而灵活的框架，常用于数据抓取和网页解析。本教程将深入讲解如何使用Scrapy框架来模拟登录人人网，并实现状态维持，以便在抓取...
自己整理的Scrapy爬虫笔记
05-21
6. 使用Cookie模拟登陆：Scrapy框架支持使用Cookie来模拟登陆，例如登陆人人网。 7. 实现人人网自动登录：Scrapy框架可以用来实现自动登录人人网，例如使用Cookie信息来模拟登陆。 二、requests库 1. 发送Get请求...
爬虫Scrapy笔记
Zikade0627的博客
03-13 1699
爬虫
PhotoPciker
07-22
用于浏览本地图片，功能很强大,大家可以试试
pythonscrapy爬虫_Python爬虫(七)--Scrapy模拟登录
weixin_39662834的博客
11-24 184
1. Cookie原理HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制Cookie是http消息头中的一种属性，包括：Cookie名字（Name）Cookie的值（Value）Cookie的过期时间（Expires/Max-Age）Cookie作用路径（Path）Cookie所在域名（Domain），使用Cookie进行安全连接（Secure）。前两个参数是Cooki...
scrapy模拟登陆
moon的博客
03-16 383
模拟浏览器登录start_requests()方法，可以返回一个请求给爬虫的起始网站，这个返回的请求相当于start_urls，start_requests()返回的请求会替代start_urls里的请求Request()get请求，可以设置，url、cookie、回调函数FormRequest.from_response()表单post提交，第一个必须参数，上一次响应cookie的respons...
scrapy模拟登录
weixin_42825585的博客
02-28 324
scrapy模拟登录 ###注意：模拟登录时，必须保证settings.py里的COOKIES_ENABLED(Cookies中间件) 处于开启状态 COOKIES_ENABLED = True或# COOKIES_ENABLED = False 策略一：直接POST数据（比如需要登录的账户信息) 只要是需要提供post数据的，就可以用这种方法。下面示例里post的数据是账户密码： 可以...
html登录页面源码_Scrapy笔记- 模拟登录
weixin_39594080的博客
11-30 113
Scrapy笔记- 模拟登录有时候爬取网站的时候需要登录，在Scrapy中可以通过模拟登录保存cookie后再去爬取相应的页面。这里我通过登录github然后爬取自己的issue列表来演示下整个原理。要想实现登录就需要表单提交，先通过浏览器访问github的登录页面https://github.com/login，然后使用浏览器调试工具来得到登录时需要提交什么东西。 我这里使用chrome浏览器...
scrapy 模拟登陆
木下瞳的博客
01-23 411
通过 cookies 登陆，以豆瓣的个人邮箱为例 # -*- coding: utf-8 -*- import scrapy from douban_movie_rank.items import DoubanMovieRankItem from scrapy.http import Request from scrapy.http import FormRequest class Basi...
scrapy用cookie模拟登录csdn
码猿技术专栏
02-28 1754
# -*- coding: utf-8 -*- import scrapy from scrapy.conf import settings class DemoSpider(scrapy.Spider): name = "demo" #allowed_domains = ["csdn.com"] start_urls = ["http://write.blog.csdn.n
scrapy mysql 模拟登录知乎_Scrapy 模拟登录新版知乎
weixin_39681058的博客
02-07 100
写这篇文章是因为知乎登录已经改版了，新版登录和老版登录区别还是挺大了，新版登录的 post 请求减少了一些字段的同时新增了一些字段，而且新增的字段如 signature 的值是通过一些算法得到的，比较难处理，因此记录一下自己的登录过程：第一步因为需要登录，所以重写 Scrapy 的入口函数，作用是验证当前登录是否需要验证码，并获取到 cookie；(老版知乎登录时直接访问登录首页得到 _xsrf ...
scrapy mysql 模拟登录知乎_详细的Python Scrapy模拟登录知乎
weixin_33552230的博客
02-07 197
之前爬取携程和51job都是免登陆就能爬取数据的，但是今天爬取知乎的时候就需要登录后才能爬到数据，那我们只能进行模拟登录了。知乎登录分为邮箱登录和手机登录两种方式，通过浏览器的开发者工具查看，我们通过不同方式登录时，网址是不一样的。邮箱登录的地址email_url = 'https://www.zhihu.com/login/email'，手机登录网址是phone_url = 'http://ww...
使用scrapy模拟登陆大众点评网
最新发布
03-25
A：使用scrapy模拟登陆大众点评网的步骤如下： 1. 在settings.py中添加COOKIES_ENABLED=True，开启cookies支持； 2. 在spider中编写start_requests方法，发送GET请求到大众点评的登录页面，获取登录页面的cookie； 3. 编写parse方法，解析登录页面的源代码，提取出登录时需要的参数、加密token等信息； 4. 编写一个登录方法，使用加密token和传递用户名和密码设置POST请求，将用户凭证提交到登录页面； 5. 再次编写parse方法，使用selenium打开登录页面，成功登录后，提取响应页面的cookie； 6. 在后续的请求中使用该cookie，以保持用户的登录状态。 具体实现代码如下： ```python import scrapy from scrapy.http import FormRequest from selenium import webdriver class DianPing(scrapy.Spider): name = 'dianping' allowed_domains = ['www.dianping.com'] start_urls = ['https://account.dianping.com/login'] def start_requests(self): yield scrapy.Request(url=self.start_urls[0], callback=self.parse, meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5}, }, 'selenium': True }) def parse(self, response): # 获取cookie cookie = response.headers.getlist('Set-Cookie') cookie = [c.decode('utf-8').split(';')[0] for c in cookie] cookie = '; '.join(cookie) # 获取加密token token = response.css('input[name="token"]::attr(value)').extract_first() # 提交登录请求 yield FormRequest.from_response(response, formdata={ 'account': 'your_username', 'password': 'your_password', 'token': token, 'redir': 'https://www.dianping.com', 'rememberMe': 'true', }, headers={ 'Cookie': cookie, }, callback=self.after_login, meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5}, }, 'selenium': True }) def after_login(self, response): # 使用selenium打开登录页面，获取cookie if '登录' not in response.body.decode('utf-8'): driver = response.meta['driver'] driver.get(response.url) cookies = driver.get_cookies() cookie_dict = {} for cookie in cookies: cookie_dict[cookie['name']] = cookie['value'] yield scrapy.Request( url='https://www.dianping.com/', cookies=cookie_dict, callback=self.parse_homepage, meta={ 'splash': { 'endpoint': 'render.html', 'args': {'wait': 0.5}, } } ) def parse_homepage(self, response): print(response.body) ``` 上述代码中，我们通过在start_requests的meta中添加了splash和selenium参数，使得start_requests方法使用splash和selenium的渲染能力来处理请求。在parse方法中，我们获取了登录页面的cookie和加密token，并设置了POST请求，将用户凭证提交到登录页面。在after_login方法中，我们使用selenium打开登录页面，并在parse_homepage方法中解析响应页面的源代码。最后，在后续的请求中使用获取到的cookie即可保持用户的登录状态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码农叔叔

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值