运维
文章平均质量分 75
小果运维
个人长期从事服务器软硬件运维,熟悉windows及linux常见服务设置和bug调试,熟悉大数据管理,熟悉基于nodejs,react和express的全栈开发;长期从事生物信息学尤其是扩增子和宏基因组学方面的生物信息学分析,欢迎有意合作者骚扰。
展开
-
Windows11 或windows server 16及以上如何配置ssh实现sftp服务搭建
现在,您已经成功配置了SSH以实现SFTP服务搭建。您可以使用SFTP客户端连接到Windows服务器,并使用配置的用户名和密码进行身份验证。在Windows 11或Windows Server 2016及更高版本上安装OpenSSH。配置防火墙以允许SFTP连接。配置OpenSSH服务器。配置SFTP访问权限。原创 2024-04-30 11:57:14 · 308 阅读 · 0 评论 -
内部服务器无公网IP情况下 SSH 通过 外部服务器直接登陆跳转到内部服务器
注意:在这个示例中,你需要将命令中的external_server_ip替换为实际的外部服务器IP地址,internal_server_ip替换为内部服务器的IP地址,user替换为你在外部服务器和内部服务器上的用户名。首先,你需要在外部服务器上创建一个SSH隧道,让它监听一个特定的端口,并将流量转发到内部服务器。假设外部服务器的IP地址是external_server_ip,内部服务器的IP地址是internal_server_ip。这将通过外部服务器的SSH隧道连接到内部服务器。原创 2024-04-15 10:32:19 · 266 阅读 · 0 评论 -
linux下tar命令的压缩和解压详细使用方法
在Linux系统中,tar命令用于创建、查看、提取和解压 tar 存档文件。以下是tar。原创 2024-03-29 08:19:08 · 1722 阅读 · 0 评论 -
如何实现对存储在MinIO上的数据的高效搜索与查询
假设你正在使用Python的boto3库与MinIO交互。原创 2024-01-20 20:11:31 · 2117 阅读 · 1 评论 -
git 常规操作及设置
Git是一个分布式版本控制系统,可以用来跟踪文件的修改历史并与其他人进行协作开发。下面是一些常见的Git操作及设置:初始化仓库:使用命令git init在当前目录创建一个新的Git仓库。克隆仓库:使用命令从远程仓库克隆一个本地仓库。添加文件:使用命令将文件添加到暂存区。提交更改:使用命令将暂存区的更改提交到本地仓库。查看状态:使用命令git status查看当前仓库的状态信息。查看历史:使用命令git log查看提交历史。切换分支:使用命令切换到指定的分支。创建分支:使用命令。原创 2024-01-17 20:36:30 · 755 阅读 · 0 评论 -
Gitlab集成openLDAP统一认证登录
vim /etc/gitlab/gitlab.rb, 可以配置很多个server,因此与sssd服务一样可以配置多个ldap作为高可用。原创 2024-01-14 08:45:00 · 523 阅读 · 0 评论 -
gitlab_rails[‘smtp_tls‘] and gitlab_rails[‘smtp_enable_starttls_auto‘] are mutually exclusive. Set o
则GitLab将使用SMTP的纯TLS模式(也称为SMTPS)连接到邮件服务器,通常使用端口465。这种情况下,连接建立后立即进行加密,无需STARTTLS命令升级连接。,则GitLab将在已建立的未加密SMTP连接上尝试发送STARTTLS命令来升级连接至加密状态。这种方式常用于端口587。选项分别用于不同的SMTP安全传输方式。修改配置文件后,别忘了执行。在GitLab配置中,原创 2024-01-14 06:30:00 · 771 阅读 · 0 评论 -
代码仓库gitlab的数据迁移步骤
获取源GitLab的访问令牌:进入源GitLab的个人设置页面,选择“Access Tokens”,创建一个新的访问令牌。使用源GitLab的API导出数据:使用源GitLab的API,通过GET请求获取仓库、分支、标签、合并请求等相关数据。根据源数据的格式,创建新的仓库、分支、标签、合并请求等。安装新的GitLab服务器:在目标服务器上安装新的GitLab实例,确保版本与源GitLab服务器相同。获取目标GitLab的访问令牌:同样地,在目标GitLab中获取一个访问令牌,确保给予相同的权限。原创 2024-01-13 06:30:00 · 955 阅读 · 0 评论 -
openLDAP统一认证在nodejs或flask等web系统中的配置使用
根据OA系统的需要,可能需要设计特定的LDAP目录结构来映射OA中的部门、角色或权限。例如,创建不同的组织单位(OU)对应OA中的部门,或者使用ldap属性来标识用户的角色。然后,我们设置一个登录路由,使用Passport的LDAP认证策略来处理认证请求。类,用于存储登录用户的信息。请注意,这只是一个示例代码,你需要根据自己的实际情况来修改LDAP服务器的配置信息、路由逻辑和返回的用户信息。在配置openLDAP统一认证与Flask结合的认证示例之前,您需要确保已经安装了相关的依赖库,如。原创 2024-01-12 09:39:49 · 1178 阅读 · 0 评论 -
LDAP密码加密字符串生成器slappasswd命令的详细使用方法
之所以要使用生成密码的方式来设置密码,主要是为了安全,我们直接以明文的方式存储在任何配置文件都可能被人看到而造成密码泄露,使用密码生成的方式即可按自己规则将明文密码转换为指定形式的加密字符串,这样无法获取到明文密码,相对来说就安全很多,但即使是这样,也不建议大家使用简单的明文密码来生成密码字符串,因为简单密码的各类加密字符串早已进入各类解密人员的字典里slappasswd是 OpenLDAP 提供的一个命令行工具,用于生成 LDAP 密码散列值。原创 2024-01-12 09:03:35 · 1135 阅读 · 0 评论 -
大数据版本管理工具数据湖文件存储系统LakeFS客户端的安装和配置使用
以上就是安装和配置LakeFS客户端的步骤。你可以使用LakeFS客户端来管理和操作数据湖文件存储系统,例如创建/删除仓库、上传/下载文件、管理版本等。LakeFS的客户端使用Python编写,因此需要安装Python来运行客户端。LakeFS是一个开源的数据湖文件存储系统,它提供了版本控制和数据管理的功能。该命令将在用户主目录下创建一个名为".lakefs"的目录,并在该目录下生成一个名为"credentials"的配置文件。接下来,你可以使用LakeFS客户端来管理和操作数据湖文件存储系统。原创 2024-01-10 07:00:00 · 650 阅读 · 0 评论 -
ERROR Unable to use the drive /data: Drive /data: found backend type fs, expected xl or xl-single -
docker启动新版容器minio后使用docker logs minio出现如下报错。将容器目录更改成 /mnt/data。原创 2024-01-09 06:15:00 · 1162 阅读 · 0 评论 -
开源、云原生且实时分析型的现代数据仓库DataBend的介绍,及其与其它开源文件存储的结合使用实例
Databend 是一个开源、云原生且实时分析型的现代数据仓库,旨在提供高效的数据存储和处理能力。它采用 Rust 语言开发,并支持 Apache Arrow 格式以实现高性能列式存储与查询处理。原创 2024-01-08 06:30:00 · 1600 阅读 · 0 评论 -
数据版本控制利器LakeFS的介绍,以及其使用方法,与其它工具结合案例
LakeFS 是一个开源的数据湖版本控制系统,可以帮助用户管理和控制数据湖中的数据版本。以下是LakeFS的一些主要用处和功能介绍:数据版本控制:LakeFS 提供了类似于 Git 的版本控制功能,可以跟踪和管理数据湖中的数据版本。用户可以轻松地创建、回滚、合并和分支数据版本,确保数据一致性和可追溯性。数据库快照管理:LakeFS 支持管理数据湖中的各个快照,包括数据表、文件和目录。用户可以方便地创建和管理快照,以便于数据湖中的数据查询和分析。原创 2024-01-08 05:00:00 · 1573 阅读 · 0 评论 -
高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例
MinIO 是一款流行的开源对象存储系统,设计上兼容 Amazon S3 API,主要用于私有云和边缘计算场景。它提供了高性能、高可用性以及易于管理的对象存储服务。MinIO是一个强大的、面向云原生应用的理想存储解决方案,尤其适合那些寻求低成本、高可用和灵活扩展的私有云存储需求的组织。不过,在实际使用中需注意权衡其优缺点,并根据具体业务场景采取合适的策略和技术手段来克服潜在挑战。原创 2024-01-07 09:32:43 · 1681 阅读 · 0 评论 -
centos 9下/proc/sys/vm目录下文件的说明和配置详解。
与NUMA(Non-Uniform Memory Access)架构相关的参数,前者用于统计NUMA节点信息,后者控制内存区域在不同NUMA节点上的分配顺序。:若设置为1,在系统内存耗尽发生OOM(Out Of Memory)时,内核会立即 panic,这对于调试或安全性要求高的场景有用。:与大页相关的参数,前者用于限制进程mempolicy所能使用的预留大页数量,后者是针对过载情况下可超额分配的大页数量。: 设置大页面的数量,大页面是比普通页面更大的内存区域,常用于减少TLB miss,提高性能。原创 2024-01-04 08:34:51 · 1071 阅读 · 0 评论 -
物理内存不够怎么办???centos9下如何设置大的swap空间
在做数据分析时,大家除了cpu速度不够以外,还有就是内存经常会爆掉,下面就介绍一下如何利用硬盘空间给物理内存扩容。当然硬盘的速度要慢很多,如果要使用硬盘扩容也建议使用性能较高的ssd盘来做。原创 2024-01-01 11:01:20 · 774 阅读 · 0 评论 -
linux下基于指定目录及子目录下所有文件中指定字符串进行替换
【代码】linux下基于指定目录及子目录下所有文件中指定字符串进行替换。原创 2023-12-28 11:12:39 · 741 阅读 · 0 评论 -
centos 9 stream下编译安装openssh-9.3.2p2版本出现“auth-pam.c:710: undefined reference to `pam_get_item‘”错误解决方法
以下所有关于pam的函数未定义的情况都适用。原创 2023-12-22 15:29:54 · 1012 阅读 · 0 评论 -
服务器raid中磁盘损坏或下线造成阵列降级更换新硬盘重建方法
服务器raid中磁盘损坏或下线造成阵列降级更换新硬盘重建方法原创 2023-12-22 12:14:57 · 2362 阅读 · 0 评论 -
centos9 升级 openssh版本到 9.3.2p2 后 sshd重新启动后出现不断重启,表现状态一直处于Active: activating(auto-restart)的处理方式
因管理要求要将openssh升级到最新版,所以手动下载了openssh 9.3.2p2的版本,编译安装后再重新启动sshd时sshd状态一直处于不断的重启中,systemctl status sshd查看一直处于activating(auto-restart)状态,sshd.service前面显示灰色,不正常。原创 2023-12-21 06:00:00 · 1890 阅读 · 0 评论 -
Let‘s Encrypt免费安全证书的步骤及使用-基于centos9, 包括工具certbot安装及使用,获取apache、nginx、iis等服务器安全证书
Certbot 是一个由 Electronic Frontier Foundation(EFF)支持的免费、开源的工具,用于自动化获取、部署和更新 HTTPS 证书。它是为了方便使用 Let's Encrypt 服务而开发的,允许用户在 Web 服务器上快速设置 SSL/TLS 加密连接。原创 2023-12-07 11:38:27 · 4477 阅读 · 1 评论 -
什么是https加密协议,相比http的好处在哪?
HTTPS(Hypertext Transfer Protocol Secure)是一种用于在网络上安全传输数据的通信协议。它是HTTP的加密版本,通过使用SSL(Secure Sockets Layer)或其后续协议TLS(Transport Layer Security)来加密数据,确保在客户端和服务器之间传输的信息是加密的、安全的,从而防止数据被窃听、篡改或伪造。对称加密:用于加密大量数据的传输,提供高效率的加密和解密操作。非对称加密:主要用于密钥协商、数字签名和安全的密钥交换。原创 2023-12-07 09:49:36 · 1120 阅读 · 0 评论 -
轻快小miniconda3在linux下的安装配置-centos9stream-Miniconda3 Linux 64-bit
Miniconda 和 Anaconda 是用于管理环境和安装软件包的 Python 发行版。原创 2023-12-06 16:44:31 · 2844 阅读 · 0 评论 -
unsuccessful attempt using repodata from current_repodata.json, retrying with next repodata source
这个错误信息通常出现在使用 Conda 或 Mamba 更新或安装软件包时。它表明 Conda 在尝试使用当前的 repodata 文件(用于存储软件包元数据和信息的文件)时遇到了问题,因此它会尝试使用下一个可用的 repodata 源。这个问题可能是由于网络问题、repo 源配置错误、或者是当前 repo 数据损坏所致。原创 2023-12-06 09:50:06 · 4798 阅读 · 0 评论 -
pip命令的使用-超详细使用方法
8. 从文件中安装包:`pip install -r requirements.txt`7. 导出已安装的包:`pip freeze > requirements.txt`例如:`pip install --upgrade numpy`2. 升级包:`pip install --upgrade 包名`4. 查看包:`pip freeze` 或 `pip list`例如:`pip install numpy`3. 卸载包:`pip uninstall 包名`5. 查看包的详细信息:`pip show 包名`原创 2023-12-05 14:34:47 · 2686 阅读 · 0 评论 -
yum方式安装Mariadb多主集群安装和配置-centos9stream-mariadb10.5.16(实战建议配置)
mariadb是mysql的另外一个选择了,具体就不再介绍,这里主要介绍主主集群的配置方式,大家要注意,尽管为主主集群,原创 2023-11-29 21:36:57 · 2113 阅读 · 0 评论 -
SLURM资源调度管理系统REST API服务配置,基于slurm22.05.9,centos9stream默认版本
前面给大家将了一下slurm集群的简单配置,这里给大家再提升一下,配置slurm服务的restful的api,这样大家可以将slurm服务通过api整合到桌面或者网页端,通过桌面或者网页界面进行管理。原创 2023-11-28 11:49:11 · 1819 阅读 · 0 评论 -
SLURM超算集群资源管理服务的安装和配置-基于slurm22.05.9和centos9stream,配置slurmdbd作为账户信息存储服务
slurm介绍就不再赘述了,这里看官网链接,其他的自己搜索吧。这里主要将slurm集群配置的一般步骤,重点是slurmd的conf文件的配置;官网的内容比较全但不太好选择哪些是必须的,所以这里主要配置大家常用的东西,方便大家尽快上手。另外,这里写了slurm的版本,大家要注意一下尽量使用相同的版本,跨版本的服务容易引起莫名其妙的错误。原创 2023-11-27 23:26:10 · 2514 阅读 · 1 评论 -
OpenLDAP配置web管理界面PhpLDAPAdmin服务-centos9stream
之前已经发了一篇关于centos9下面配置openldap多主高可用集群的内容,不会配置ldap集群的请参考:这里跟着前篇文章详细说明如何配置openldap的web管理界面PhpLDAPAdmin;原创 2023-11-21 12:07:28 · 1323 阅读 · 0 评论 -
服务器集群配置LDAP统一认证高可用集群(配置tsl安全链接)-centos9stream-openldap2.6.2
因之前集群为centos6,已经很久没升级了,所以这次配置统一用户认证也是伴随系统升级到centos9时一起做的配套升级。新版的openldap配置大致与老版本比较相似,但有些地方配置还是有变化,另外,铺天盖地的帮助文档有相当一部分是直接搬砖过来的,所以参考时容易出错,这里将自己实践的内容一一共享,让大家更方便,更实用。另外,openldap的配置一般都采用ldif文件配置后使用命令导入,如果有人写的是要直接修改config目录下的文件的话赶紧绕道吧,那不是推荐的写法,会把你的配置搞乱的。原创 2023-11-16 22:41:39 · 1951 阅读 · 0 评论 -
win10 任务栏图标左击无效,右击有效,windows徽标键无效的处理办法
这个只在部分系统有效,但也能解决一部分问题。原创 2023-11-13 16:45:38 · 1125 阅读 · 0 评论 -
Linux下程序后台运行程序或脚本的方式-脚本执行-不建议screen
Screen是一个多路复用的终端程序,可以在一个终端会话中创建多个终端窗口,每个窗口都可独立运行不同的程序或命令,即使在远程连接断开后,程序不会停止运行,而是仍然在后台运行。screen在共享窗口和交互式操作的时候挺好用,但本质上是一个多窗口管理器,需要占用资源,不会使用的人可能都不知道自己创建了多少个窗口,对于多用户使用的公共集群来说是个灾难。所以这里给大家推荐使用脚本方式来后台运行程序,无状态,及时释放资源,操作记录也持久化。原创 2023-11-07 16:41:26 · 178 阅读 · 0 评论 -
centos9 stream 下 rabbitmq高可用集群搭建及使用
RabbitMQ是一种常用的消息队列系统,可以快速搭建一个高可用的集群环境,以提高系统的弹性和可靠性。下面是搭建RabbitMQ集群的步骤:基于centos9 stream系统。原创 2023-11-03 12:52:16 · 1915 阅读 · 0 评论 -
网站及服务器安全加固常用手段
使用网络流量分析工具:网络流量分析工具可以捕获、分析和识别流量特征,可以通过检查数据包的来源和目的地、协议、端口、流量带宽等特征识别和拦截攻击流量。请注意,为了更好的安全性,建议尽可能地将密钥保存在安全的地方,并按照最佳实践来确保应用程序和服务器的安全性。使用网络防火墙:网络防火墙可以过滤和阻止进入网络的恶意流量,包括拒绝来自未知来源或特定来源的流量,限制流量的带宽和协议类型等。5. SNMP服务 - 默认端口为161和162,这是一个用于监控网络设备的服务,但它容易受到攻击,因此应该限制访问权限。原创 2023-10-20 21:53:13 · 378 阅读 · 0 评论 -
linux截取文本内容方法
linux环境下分割文件方法,测试环境为centos9。原创 2023-10-20 15:21:38 · 1748 阅读 · 1 评论 -
linux系统创建用户、调整权限及用户和用户组id(centos 9 stream)
本测试环境为centos9 stream,一般条件下linux系统创建及id调整与本文实例一致。创建及设置用户是需要使用root账户或者具有sudo权限的用户。原创 2023-10-16 16:05:09 · 819 阅读 · 1 评论 -
centos9 stream 设置默认启动内核
在系统升级时或特意安装多内核时容易遇到系统默认启动内核与自己想运行的内存环境不一致,或者默认启动的内核启动失败。尽管在系统启动时可以在启动菜单中选择自己想要启动的内核环境,但在系统自动启动时可能没有人值守,因此需要设置系统默认启动内核。首先选择正常启动的内核启动系统。原创 2023-10-16 09:51:06 · 731 阅读 · 1 评论 -
windows server 2019,IIS10配置或更新域名SSL安全证书(https)
如果是新站点,直接点击添加,如果是已有站点更新证书,则选择https对应的绑定项,点击“编辑”点击SS证书下的下拉框或者点击选择按钮选择指定的证书,默认阿里证书导入后名为“alias”打开“帮助”,查看“关于Internet信息服务”,查看IIS版本信息。浏览器网站https访问无警告,左侧小锁表示启用安全证书且证书有效。中间空白处右键选择 或者点击右上方操作内的“导入”在左侧选择指定网站,点击右侧“绑定”选项。配置完成后刷新网页就行了。原创 2023-10-15 19:53:16 · 2432 阅读 · 0 评论 -
centos9安装配置zfs文件系统(使用zfs-release)
ZFS文件系统的英文名称为Zettabyte File System,也叫动态文件系统(Dynamic File System),是第一个128位文件系统。最初是由Sun公司为Solaris 10操作系统开发的文件系统。作为OpenSolaris开源计划的一部分,ZFS于2005年11月发布,被Sun称为是终极文件系统,经历了 10 年的活跃开发。而最新的开发将全面开放,并重新命名为 OpenZFS。没啥好说的直接百度了。原创 2023-10-13 17:31:45 · 449 阅读 · 0 评论