python系列之：基于paramiko和socks使用keytab登陆kerberos认证的HDFS

快乐骑行^_^

已于 2022-03-18 17:03:55 修改

阅读量961

点赞数 1

分类专栏：大数据大数据平台二次开发文章标签： python kerberos paramiko socks

于 2022-02-16 11:27:40 首次发布

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/122959210

版权

大数据同时被 2 个专栏收录

550 篇文章 558 订阅 ¥49.90 ¥99.00

订阅专栏

大数据平台二次开发

103 篇文章 146 订阅 ¥19.90 ¥99.00

订阅专栏

本文介绍了如何利用Python的paramiko和PySocks模块，结合keytab文件进行kerberos认证，以登陆服务器并执行HDFS相关操作。详细步骤包括下载模块、理解kerberos认证命令、实现认证过程以及展示完整代码。

摘要由CSDN通过智能技术生成

python系列之：基于paramiko和socks使用keytab登陆kerberos认证的HDFS

一、下载PySocks模块和paramiko模块
二、基于paramiko和socks使用私钥和代理登陆服务器
三、kerberos认证命令详解
四、实现kerberos认证
五、认证完执行hdfs相关操作
六、完整详细的代码如下所示

一、下载PySocks模块和paramiko模块

pip3 install paramiko
pip3 install PySocks

二、基于paramiko和socks使用私钥和代理登陆服务器

#参数是私钥用户名和密钥
def exec_ssh_command(user, privateKeyPath,hostName):
	#需要设置代理的话添加下面代码，如果本地已经开启代理，注视这两行代码
    socks.set_default_proxy

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

快乐骑行^_^

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

基于Paramiko和Socks的Keytab登录Kerberos认证的HDFS大数据

2301_79366435的博客

08-19

158

在本文中，我们将介绍如何使用Python库Paramiko和Socks来实现基于Keytab的Kerberos认证登录HDFS大数据系统。Paramiko是一个用于SSH协议的Python库，而Socks是一个用于代理服务器的库。要开始使用Paramiko和Socks进行Keytab登录Kerberos认证的HDFS大数据，我们需要安装相应的库。通过以上步骤，我们成功地使用Paramiko和Socks库进行了基于Keytab的Kerberos认证登录HDFS大数据系统。替换为实际的Keytab文件路径，

Python3学习（十九）：python Paramiko模块的离线安装与使用详解

最新发布

sx157559322的博客

07-03

2163

「目的描述」此篇文章目的是使用Python语言对启用Kerberos、High Availability的HDFS文件系统进行访问，主要介绍KerberosClient、pyarrow、hdfs3三种方式。「环境说明」Python运行环境为3.7.0集群环境为CDH6.2.1(已启用Kerberos认证)Namenode实例所在机器分别为cm111、cm112废话不多说,直接上代码1、HdfsCl...

基于kerberos认证的 python操作hdfs

Areigninhell的博客

09-23

1242

import json, os from hdfs.ext.kerberos import KerberosClient from krbcontext import krbcontext def _connect(self, host, port, sso_ticket=None): try: hdfs_url = 'http://' + host + ':' + port active_str = 'kinit -kt {0}

python2 连接hdfs 解决kerberos认证

qq_40771567的博客

11-04

902

首先安装包： pip2 install hdfs pip2 install requests_kerberos 然后代码认证 from hdfs.ext.kerberos import KerberosClient client = KerberosClient('http://xx.xx.xx.xx:50070', hostname_override="bj-gc3-arch-hadoop-namenode-01") client.list('/user') ...

kerberos体系单点登录

PK_666的博客

03-11

960

一、单点登录单点登录是安全凭证在多个应用系统之间的传递或共享，一次认证就可以访问其授权的所有网络资源。二、kerberos 密钥分配中心（KDC）三个阶段：获得票据许可票据、获得服务许可票据、获得服务。 ...

paramiko-expect:用于Paramiko SSH库的类似Python期望的扩展，它还支持跟踪日志

05-07

Paramiko Expect为Paramiko SSH库提供了一个类似于期望的扩展，该脚本库允许脚本通过真正的SSH连接与主机进行完全交互。该类由SSH客户端对象构造（将来可能会扩展为支持传输，以提供更大的灵活性）。快速开始要...

SSH-Interaction:使用paramiko和pexpect进行SSH交互

03-21

Paramiko和Pexpect是两个在Python中实现SSH交互的库，它们各有特色并能帮助开发者高效地自动化执行远程服务器的任务。 Paramiko是一个纯Python实现的SSHv2协议库，它提供了客户端和服务器端的功能，使得开发者可以...

HDFS集成Kerberos并使用Python调用

m0_67403073的博客

09-06

759

注意，主机名不要包含".“、“/”、”_"，否则启动hadoop无法识别。

Kerberos自动登录「Kerberos AutoLogin」-crx插件

03-22

自动将您登录到BU Kerberos。 **在本地存储器中以明文存储密码，这意味着有权访问您的计算机的人可以恢复您的密码。** 厌倦了输入密码进入学生链接？该脚本会自动将您登录到BU Kerberos受保护的页面。保存你的密码一次，你全部设置。要添加功能，只需在这里提交一个拉请求：https：//github.com/sean-smith/autologin 支持语言:English

python3.6.5基于kerberos认证的hive和hdfs连接调用方式

09-16

主要介绍了python3.6.5基于kerberos认证的hive和hdfs连接调用方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

Python对HDFS的一些基础操作

weixin_34405354的博客

09-13

链接:http://www.cnblogs.com/shoufengwei/p/5949791.html 转载于:https://www.cnblogs.com/CoolJayson/p/7513051.html

Python实现Kerberos用户的增删改查

周源的专栏

11-23

2890

1、首先模拟python类似shell命令行操作的接口： python安装subprocess（本地）、paramiko（SSH远程） #-*- coding: UTF-8 -*- #!/usr/bin/python import os, sys import subprocess import paramiko import settings class RunCmd(object):

Kerberos单点登录实现过程

q98798611的博客

02-04

1096

转自：[url]http://dsw.iteye.com/blog/333351[/url] 最近公司在做单点登录的选型，看了看Kerberos的技术实现。感觉网上Kerberos的相关资料不多，自己做了总结和大家分享，因为是在选型阶段，没做太深入的学习，学习了Kerberos的单点登录过程。 Kerberos基本原理 [b]先转几个链接[/b] 1.关于理解Kerberos原理的...

python3.6 通过pyhdfs操作HDFS

穿裤衩的文叔的专栏

07-30

5401

一、安装 pip install pyhdfs 二、链接： import pyhdfs fs = pyhdfs.HdfsClient('192.168.***.**:50070') 三、操作： import pyhdfs class PackageHdfs(): def __init__(self): self.fs = pyhdfs.HdfsClient...

python子进程进行kinit认证_python经过Kerberos认证连接hdfs

weixin_39807352的博客

12-10

1025

python经过Kerberos认证连接hdfs1. Kerberos认证最近在工作中，需要将备份数据上传到hdfs上，在服务器上需要进行Kerberos认证。在Hadoop1.0.0或者CDH3 版本之前，是不存在安全认证的，hadoop集群默认所有节点都是可信任的。这导致恶意用户可以伪装成正常用户入侵集群，恶意提交任务。使用了Kerberos认证后，将认证的秘钥事先放在可靠的节点上，集群运行...

PySpark+HDFS+Kerberos

aidway的专栏

02-24

658

pyspark读取开了Kerberos的HDFS上的文件

Python paramiko模块：SSH远程登录与文件传输指南

Paramiko模块是Python编程中用于实现SSH2（Secure Shell）协议的开源库，它支持加密和认证功能，使得开发者能够在不同的操作系统之间，如Linux、Solaris、BSD、MacOS X和Windows，进行安全的远程服务器连接。...