- 博客(67)
- 收藏
- 关注
RSS订阅原创 【云原生】Docker网络原理及Cgroup硬件资源占用控制
(3 ) Docker将 veth pair 设备的一端放在新创建的容器中，并命名为eth0(容器的网卡)，另一端放在主机中，以veth*这样类似的名字命名，并将这个网络设备加入到docker0网桥中。Cgroups 只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。创建容器时可以使用选项 --cpu-shares 数值（该数值要为1024的倍数，1024代表一份，当个容器占用cpu的份额由自身分配的份数除于所有容器占用cpu的份数，就为该容器所占用cpu资源的百分比）进行分配。
2023-06-05 10:41:26
194
原创 分布式存储Ceph介绍及搭建
提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此不同用户的存储桶不允许同名；用来保存OSD的元数据。Ceph从Nautilus版本（14.2.0）开始，每年都会有一个新的稳定版发行，预计是每年的3月份发布，每年的新版本都会起一个新的名称（例如，“Mimic”）和一个主版本号（例如，13代表Mimic，因为“M”是字母表的第13个字母）。
2023-06-05 10:39:16
843
原创 【云原生】Docker的初步认识，安装与基本操作
仓库是集中存储镜像文件的沧桑，registry是仓库主从服务器，实际上参考注册服务器上存放着多个仓库，每个仓库中又包含了多个镜像，每个镜像有不同的标签（tag） 仓库分为两种，公有参考，和私有仓库，最大的公开仓库是docker Hub，存放了数量庞大的镜像供用户下载，国内的docker pool，这里仓库的概念与Git类似，registry可以理解为github这样的托管服务。Docker客户端则扮演着Docker服务端的远程控制器，可以用来控制Docker的服务端进程。运维生成环境中：docker化。
2023-06-05 10:38:22
195
原创 分布式运用之ELK企业级日志分析系统
轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat，并指定目录与日志格式，Filebeat 就能快速收集数据，并发送给 logstash 进行解析，或是直接发给 Elasticsearch 存储，性能上相比运行于 JVM 上的 logstash 优势明显，是对它的替代。一般大型系统是一个分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，构建一套集中式日志系统，可以提高定位问题的效率。
2023-06-05 10:38:02
172
原创 zabbix监控之java&&snmp&&自定义监控
2、在被监控主机配置文件目录/etc/zabbix/zabbix_agent2.d/ 中编写以 .conf 为结尾的监控项配置文件自定义获取监控数据的 KEY 和 值的命令/脚本。【宏】输入 {$SNMP_COMMUNITY}，【值】 输入 public（要与网络设备设置的团体名一致），【描述】输入 网络设备snmp的团队名。【Interfaces】点击【添加】选择 SNMP ，【IP地址】输入 127.0.0.1，【端口】输入 161。sysname：为 snmp 的 key，用于查看系统名称；
2023-06-05 10:37:27
128
原创 分布式应用之监控平台zabbix
zabbix agent安装在被监控的主机上，zabbix agent负责定期收集客户端本地各项数据，并发送至 zabbix server 端，zabbix server 收到数据后，将数据存储到数据库中，用户基于 Zabbix WEB 可以看到数据在前端展现图像。zabbix具备常见商业监控软件所具备的功能，主机性能监控，网络设备性能监控，数据库性能监控，ftp、http等通用协议的监控，当被监控的指标异常可以发送基于 E-mail的报警。Zabbix Proxy 在 Zabbix 的部署是可选部分。
2023-06-05 10:36:50
153
原创 分布式运用之rsync远程同步
而rsync是同步，比较两边文件是否相同，相同的话，就什么都不做，若存在差异就直接更新。rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf * 可能就不好用了，因为要等待很长一段时间。
2023-05-22 11:19:39
76
原创 nginx缓存
缓存可以非常有效的提升性能，因此不论是客户端（浏览器），还是代理服务器（ Nginx ），乃至上游服务器都多少会涉及到缓存。存储一些之前被访问过、而且可能将要被再次访问的资源，使用户可以直接从代理服务器获得，从而减少上游服务器的压力，加快整个访问速度。语法：proxy_cache_path path [level=levels] ...可选参数省略，下面会详细列举。步骤三 nginx四层反向代理服务器设置（同时也是web缓存服务器）默认值：proxy_cache_path off。
2023-05-22 11:19:03
75
原创 web缓存—Squid代理服务
squid从一个缓存变成了一个Web服务器反向代理加速模式，这个时候squid在80端口监听请求，同时和web server的请求端口(vhost vport)绑定，这个时候请求到了squid，squid是不用转发请求的，而是直接要么从缓存中拿数据要么向绑定的端口直接请求数据。---------------- 虚线内是注释 ----------------------------------------------------------------------------------------
2023-05-22 11:17:59
168
原创 redis的主从复制，哨兵和cluster集群
负载均衡： 在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；2、当主节点出现故障，此时哨兵节点会通过Raft算法（选举算法）实现选举机制共同选举出一个哨兵节点为leader，来负责处理主节点的故障转移和通知。（6台起步，成双成对，3主3从）自动故障转移： 当主节点不能正常工作时，哨兵会开始自动故障转移操，它会将失效主节点的其中一个从节点升级为新的主节点，并让其它从节点改为复制新的主节点。
2023-05-22 11:17:23
60
原创 NOSQL——redis的安装，配置与简单操作
（数据一般存储在本地的文件系统中。buffer： 缓冲也叫写缓冲，一般用于写操作，可以将数据先写入内存再写入磁盘，buffer 一般用于写缓冲，用于解决不同介质的速度不一致的缓冲，先将数据临时写入到里自己最近的地方，以提高写入速度，CPU会把数据先写到内存的磁盘缓冲区，然后就认为数据已经写入完成看，然后由内核在后续的时间在写入磁盘，所以服务器突然断电会丢失内存中的部分数据。首先要明确的是Redis单线程指的是网络IO和键值对读写是由一个线程来完成的，但Redis持久化、集群数据等是由额外的线程执行的。
2023-05-22 11:16:47
70
原创 mysqld之mha高可用
-----------------------------以下都是注释-----------------------------------------------------------------------------虚线以内是注释-------------------------------------------------------------- 虚线内是注释 -------------------------------------------------------
2023-05-22 11:16:37
119
原创 MySQL 数据库之 MMM 高可用架构构建
MMM 使用 Perl 语言开发，主要从来监控和管理 MySQL Master-Master（双主）复制，虽然叫做双主复制，但是业务上同一时刻只允许一个主进行写入，另一台备选主上提供部分读服务，以加速在主主切换时备选主的预热，可以说 MMM 这套脚本程序一方面实现了故障切换的功能，另一方面其内部附加的工具也可以实现多个 Slave 的 read 负载均衡。MMM 提供了自动和手动两种方式移除一组服务器中复制延迟较高的服务器的虚拟 ip，同时它还可以备份数据，实现两节点之间的数据同步等。
2023-05-22 11:16:10
146
原创 mysql的主从复制和读写分离
MySQL默认的复制即是异步的，主库在执行完客户端提交的事务后会立即将结果返给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。高并发的情况可能会出现执行顺序的误差，事务的死锁。uuid一致的原因：虚拟机中是克隆主机时，MySQL的uuid会一致，或者是本机的数据库进行完全备份，数据迁移到另一台主机上，重启mysql服务后，两台主机的MySQL的uuid会发生一致的现象。
2023-05-22 11:16:02
107
原创 mysql之存储过程
存储过程在使用过程中是将常用或者复杂的工作预先使用SQL语句写好并用一个指定的名称存储起来，这个过程经编译和优化后存储在数据库服务器中。CREATE PROCEDURE Proc () #创建存储过程，过程名为Proc，不带参数。INOUT 输入输出参数： 既表示调用者向过程传入值，又表示过程向调用者传出值。DELIMITER;#仅当存在时删除，不添加If EXISTS 时，如果指定的过程不存在，则产生一个错误。#存储过程内容的修改方法是通过删除原有存储过程，之后再以相同的名称创建新的存储过程。
2023-05-11 16:44:03
54
原创 mysql的高级查询语句
视图的好处：创建视图的过程虽然和高级查询语句（通过两个select语句进行组合条件划分生成派生表）一样，过程是复杂的，但是如果该查询操作是需要经常使用的，创建视图就很有必要，不仅能简化查询过程，还能对该查询进行进一步操作，而且十分简便。数据库是用来存储数据，更新，查询数据的工具，而查询数据是一个数据库最为核心的功能，数据库是用来承载信息，而信息是用来分析和查看的。本文将围绕数据的高级查询语句展开。SELECT "字段" FROM "表名" WHERE "字段" IN ('值1'， '值2'， ...);
2023-05-11 16:43:31
87
原创 mysql数据库之备份和恢复
增量备份：磁盘占用小，可针对短时间的备份，但是一旦全有增量备份组成的备份，操作难度会大大提高，易出错。mysqlbinlog --no-defaults --start-datetime='起始时间点' --stop-datetime'结束时间点' 文件名 | mysql -u root -p。mysqlbinlog --no-defaults --start-position='xxx'--stop-position='位置点' 文件名 | mysql -u root -p。效率高，但数据可能有误差。
2023-05-11 16:43:00
145
原创 mysql数据库之索引
那么，在第一个事务中的两次读数据之间，由于第二个事务的修改，那么第一个事务两次读到的的数据可能是不一样的。例如，A的账户有1000元，B的账户有1000元，现在A转账200元给B，不管事务成功还是失败，转账前后A和B的存款总额都应该是2000元。当一个事务正在访问数据，并且对数据进行了修改，而这种修改还没有提交到数据库中，这时，另外一个事务也访问这个数据然后使用了这个数据。总的来说，事务 就是一种机制，包含了一组操作命令，会作为一个不可分割的整体，要么都执行，要么都不执行 ，它保证了数据库的安全可靠性。
2023-05-11 16:41:49
51
原创 mysql数据库之存储引擎
动态表包含可变字段，记录不是固定长度的，这样存储的优点是占用空间较少，但是频繁的更新、删除记录会产生碎片，需要定期执行OPTIMIZE TABLE语句或myisamchk-r命令来改善性能，并且出现故障的时候恢复相对比较困难（因为会产生磁盘碎片，而且存储空间不是连续的）。Mrg_Myisam Merge存储引擎，是一组MyIsam的组合，也就是说，他将MyIsam引擎的多个表聚合起来，但是他的内部没有数据，真正的数据依然是MyIsam引擎的表中，但是可以直接进行查询、删除更新等操作；因为它们不经常被读取。
2023-05-11 16:41:35
66
原创 Mysql数据库中的用户管理与授权
grant 权限列表/ALL ON 库名.表名 to 'username'@'address' identified by '密码';GRANT ALL PRIVILEGES ON *.* TO '用户名'@'来源地址' IDENTIFIED BY '密码';CREATE USER 'lisi'@'localhost' IDENTIFIED BY PASSWORD '加密的密码';GRANT 权限列表 ON 数据库名.表名 TO '用户名'@'来源地址' [IDENTIFIED BY '密码'];
2023-05-11 16:40:25
934
原创 MySql数据库的初步安装与数据表结构数据管理
（2）当数据表中有自增型约束字段时，delete清除表数据后，在插入数据时，自增字段的数值会接着被删除表数据的最后一个自增数，计数。两者区别：（1）delete清空属于按照行清空，一行一行进行，效率低，速度慢（对于表数据较多的情况） truncate相当于删除表数据，保留表结构，重新创建一个与原表结构相同的表。我们将这两张表分为主表和从表，主表的主键作为从表的外键。--------------初始化数据库------------------------------------------------
2023-05-11 16:39:33
67
原创 负载均衡的综合部署练习（LVS-DR模式+keepalived+Nginx七层反向代理+Tomcat多实例）
满足某公司，想搭建一套高可用的负载均衡DR模式的集群，同时该集群收到用户访问请求时能够自主判断用户发送的请求是动态资源还是静态，依次划分进行动静分离：Nginx处理静态资源，Tomcat处理动态资源。Tomcat多实例节点服务器： Tomcat01：192.168.73.109：8080 Tomcat02： 192.168.73.109：8081。--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02。
2023-05-11 16:39:12
69
原创 Haproxy负载均衡集群
默认haproxy的日志是输出到系统的syslog中，查看起来不是非常方便，为了更好的管理haproxy的日志，我们在生产环境中一般单独定义出来。---------------------参数说明---------------------------------------------------------------------------将haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。
2023-05-11 16:38:58
56
原创 LVS+KeepAlived高可用负载均衡集群
在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP（VIP），主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性。两者比较后：高可用集群只需要在调度器上多进行一台或两台（服务器本身的价格比较昂贵，一般备用的服务器的数量会和当前业务创造的价值对等）的设置，就可避免因调度器瘫痪业务中断的风险，所以实现了真正的高可用的效果。
2023-05-11 16:37:47
87
原创 LVS负载均衡群集——NAT模式实操
（3）真实的服务器将响应数据包返回给LVS调度器，调度器在得到响应的数据包后会将源地址和源端口修改为VIP及调度器相应的端口，修改完成后，由调度器将响应数据包发送回终端用户，另外，由于LVS调度器有一个连接Hash表，该表中会记录连接请求及转发信息，当同一个连接的下一个数据包发送给调度器时，从该Hash表中可以直接找到之前的连接记录，并根据记录信息选出相同的真实服务器及端口信息。群集的负载调度技术有三种工作模式：地址转换（NAT模式） ，直接路由（DR模式），IP隧道（IP-TUN）。
2023-04-24 14:00:28
163
原创 Nginx+Tomcat负载均衡、动静分离
Nginx 静态处理优势：Nginx 处理静态页面的效率远高于 Tomcat 的处理能力若 Tomcat 的请求量为1000次，则 Nginx 的请求量为6000次Tomcat 每秒的吞吐量为0.6M，Nginx 的每秒吞吐量为3.6MNginx 处理静态资源的能力是 Tomcat 处理的6倍。动静分离原理：服务端接收来自客户端的请求中，既有静态资源也有动态资源，静态资源由 Nginx 提供服务，动态资源由 Nginx 转发至后端。在通过浏览器访问Tomcat服务器的Web应用时，使用的就是这个连接器。
2023-04-24 13:59:30
51
原创 Tomcat部署及优化
Servlet ：是Java Servlet 的简称，可以理解为是一个服务连接器，是用 Java 编写的服务器端程序，具有独立于平台和协议的特性， 简单的理解：servlet 就是一个中间件，包含了接口和方法，将客户端和数据库连接，从而实现动态网页的创建。Tomcat 是 Java 语言开发的，Tomcat 服务器是一个免费的开放源代码的 Web 应用服务器，是 Apache 软件基金会的 Jakarta 项目中的一个核心项目，由 Apache、Sun 和其他一些公司及个人共同开发而成。
2023-04-24 13:59:18
97
原创 Nginx中location规则 与 URL重写（rewrite）详解
为精确匹配 / ，主机名后面不能带任何字符串，例如想访问该location制定的匹配网页时，只能访问该主机IP或域名下的"/"（网页也只能存放在/var/www/html/ 下）,而像"/abc,/data，/test"这一类和location等于号后面路径有任何一点差别的，都不会被匹配到。需求：现在访问的是 http://yang.wang.com/post/，现在需要将这个域名下面的访问都跳转到http://www.yang.com/bbs/post/root /var/www/html;
2023-04-24 13:45:11
1015
原创 Nginx的优化，安全与防盗链
在企业网站中，为了避免同一个客户长时间占用连接，造成资源浪费，可设置相应的连接超时参数，实现控制连接访问时间。#将每个worker子进程与特定CPU物理核心绑定，优势在于，避免同一个worker子进程在不同的CPU核心上切换，缓存失效，降低性能。当Nginx将网页数据返回给客户端后，可设置缓存的时间，以方便在日后进行相同内容的请求时直接返回，避免重复请求，加快了访问速度。//设置连接超时时间。占用过多就会影响性能。在高并发场景，需要启动更多的Nginx进程以保证快速响应，以处理用户的请求，避免造成阻塞。
2023-04-18 08:27:09
41
原创 LNMP网站框架搭建（yum方式安装）
本次实验中测试lnmp连接问题，起初连接失败，我将所有的默认配置，以及mysql的相关日志检查了一遍，并没有发现是设置或者主机配置的问题。yum -y remove mysql57-community-release-el7-10.noarch #为了防止每次yum操作都会自动更新，卸载这个软件。粗略计算过，源码编译搭建lnmp时消耗了10G的存储空间，yum大概在2-3G。3.yum源搭建lnmp时，与本地源不同。1. yum搭建lnmp时，不需要特地的添加系统服务，但是会触及到下载相关yum源。
2023-04-18 08:26:15
113
原创 LNMP网站框架搭建（编译安装的方式）
2. Nginx对该请求进行判断，如果是静态请求,Nginx会自行处理，并将处理结果返回给用户浏览器3. Nginx判断的请求如果为php请求，则调用FastCGI客户端，并且把请求也抛给FastCGI服务器，也就是php-fpm（扩展名是php的往后抛）#PHP-FPM(FastCGI Process Manager：FastCGI 进程管理器)是一个 PHPFastCGI 管理器， 由于Nginx服务器不能处理动态页面，需要由 Nginx 把动态请求交给 php-fpm 进程进行解析。
2023-04-18 08:25:48
71
原创 LAMP框架的架构与环境配置
grant all privileges //表示授予所有权限 #on *.* //第一个星表示数据库名，第二个星表示表名，*.*即为所有数据库的所有表 #'root'@'%' //给所有主机的root用户，%表示所有 #identified by 'abc123' //使用"abc123"密码进行登录验证。首先安装好Linux系统，为架构提供平台。--with-mysql-sock=/usr/local/mysql/mysql.sock \ #指定mysql 数据库连接文件的存储路径。
2023-04-18 08:24:52
157
原创 Nginx网站服务配置
Nginx: 采用单线程来异步非阻塞处理请求（管理员可以配置Nginx主进程的工作进程的数量）(epoll)，不会为每个请求分配cpu和内存资源，节省了大量资源，同时也减少了大量的CPU的上下文切换。Nginx： 采用单线程来异步非阻塞处理请求（管理员可以配置Nginx主进程的工作进程的数量），不会为每个请求分配cpu和内存资源，节省了大量资源，同时也减少了大量的CPU的上下文切换。同步：一个服务的完成需要依赖其他服务时，只有等待被依赖的服务完成后，才算完成，这是一种可靠的服务序列。
2023-04-18 08:24:11
439
原创 Apache网页的优化，安全与防盗链
在企业中，部署Apache后只采用默认的配置参数，会引发网站很多问题，换言之默认配置是针对以前较低的服务器配置的，以前的配置已经不适用当今互联网时代。如果没有安装mod_deflate 模块，重新编译安装 Apache 添加 mod_deflate 模块。为了适应企业需求，就需要考虑如何提升Apache的性能与稳定性，这就是Apache优化的内容。先将game.jpg文件传到/usr/local/httpd/htdocs目录下。#检查 mod_deflate 模块是否已安装。#验证配置文件的配置是否正确。
2023-04-18 08:23:29
44
原创 Apache的配置与运用
例如，在服务器站点的file文件夹下中存在名为hello.jpg和hello.html的两个文件，此时用户输入 http://localhost/file/hello ，如果在 file文件夹下并没有 hello子目录，那么服务器将会尝试在 file目录下查找形如 hello.*的文件，然后根据用户请求的具体情况返回最匹配要求的 hello.jpg或者 hello.html。访问日志可以帮我们记录访问者的信息，错误日志一般在服务搭建，服务配置，启动时能够快速寻找错误原因的日志，也是运维人员的助手。
2023-04-18 08:22:41
207
原创 shell编程之函数以及函数中的递归
如果使用source或 . 执行脚本，那么该变量在命令行也会生效，因为这两种方式没有打开子shell环境，而是在当前shell环境中执行脚本。我们可以事先创建一个函数库文件，在里面定义各种常用的函数，然后可以在别的shell脚本中直接引用这个函数库文件，使得不需要再次定义函数即可直接调用函数。因为return的返回值的范围是0-255，超过部分除以256取余，得不到我们想要的结果，此时可以直接在函数体中使用echo命令。这样变量只在当前函数内有效，不影响脚本中的其他函数和变量。
2023-04-17 08:51:12
28
原创 shell脚本
Linux系统中的Shell 是一个特殊的应用程序，它介于操作系统内核与用户之间，充当一个”命令解释器“的角色，负责接收用户输入的操作指令（命令）并进行解释，将需要执行的操作传递给内核执行，并输出结果。/etc/skel/是用来存放新用户配置文件的目录，当我们添加新用户的时候，这个目录下的所有文件会自动被复制到新添加的用户的家目录下。(3) && 逻辑与，当用此连接符连接多个命令时，前面的命令执行成功，才会执行后面的命令，前面的命令执行失败，后面的命令不会执行，与 || 正好相反。2+2" | bc。
2023-04-17 08:50:22
107
原创 部署YUM仓库与NFS（文件共享服务）
先在yum服务器上创建 yum repository（仓库），在仓库中事先存储了众多rpm包，以及包的相关的元数据文件（放置于特定目录repodata下），当yum客户端利用yum/dnf工具进行安装时包时，会自动下载repodata中的元数据，查询远数据是否存在相关的包及依赖关系，自动从仓库中找到相关包下载并安装。如果挂载的参数是RO 只度，如果要可以读可写，则要修改配置文件/etc/exports。元数据（存放在元数据文件夹repodata中，其中包含：目录（软件的目录），软件的依赖关系，软件的分组）
2023-04-17 08:49:23
79
原创 Linux网络服务之SSH
以ssh为例，每当有ssh的连接请求时，tcpd即会截获请求，先读取系统管理员所设置的访问控制文件，符合要求，则会把这次连接原封不动的转给真正的ssh进程，由ssh完成后续工作；A通过ssh首次连接到B，B会将公钥1（host key）传递给A，A将公钥1存入known_hosts文件中，以后A再连接B时，B依然会传递给A一个公钥2，OpenSSH会核对公钥，通过对比公钥1与公钥2 是否相同来进行简单的验证，如果公钥不同，OpenSSH会发出警告， 避免你受到DNS Hijack之类的攻击。
2023-04-17 08:48:40
115
原创 Linux域名解析（DNS）
5）、对应的顶级名称服务器在收到DNS查询请求后，也是先查询自己的缓存，如果有所请求的DNS域名的记录项，则相接把对应的记录项返回给本地名称服务器，然后再由本地名称服务器返回给DNS客户端，否则向本地名称服务器返回所请求的DNS域名中的二级域名所对应的二级名称服务器地址。顶级名称服务器在收到DNS查询请求后，先查询自己的缓存，如果有所请求的DNS域名的记录项，则相接把对应的记录项返回给DNS客户端，否则通过查询后把对应域名中二级域名所对应的二级名称服务器地址信息以一条DNS应答报文返回给DNS客户端。
2023-04-17 08:47:59
2965
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人