fastdfs分布式服务器搭建(高可用集群)

最新推荐文章于 2024-05-28 20:29:58 发布

置顶 zhangpan_soft

最新推荐文章于 2024-05-28 20:29:58 发布

阅读量1.9w

点赞数 2

分类专栏：运维文章标签： fastdfs 分布式集群高可用 nginx

本文链接：https://blog.csdn.net/zhangpan_soft/article/details/81252358

版权

运维专栏收录该内容

3 篇文章 0 订阅

订阅专栏

这里在虚拟机上搭建的,真正服务器搭建同理,废话少说,开始正文
首先准备一台母机(192.168.150.10),此母机上不搭建东西,只是为了后续虚拟机的克隆,我的是centos7.x
准备基本环境
- 检查c/c++ 环境
  yum -y install gcc gcc-c++
- 检查zip/unzip
  yum -y install zip unzip
- 检查vim(因为fastdfs会用到vim,否则安装失败)
  yum -y install vim*
- 检查nginx所需包
  yum -y install pcre* zlib* opssl*
- 关闭防火墙
  systemctl stop firewalld.service
- 禁止防火墙开机启动
  systemctl disable firewalld
- 准备软件压缩包所在文件夹
  makdir -p /usr/local/apps
- 下载软件(按我的版本来,因为fastdfs存在版本兼容问题)
  wget https://codeload.github.com/happyfish100/fastdfs/tar.gz/V5.05
  wget https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.36
  wget http://219.239.26.11/files/1095000009284083/nginx.org/download/nginx-1.8.1.tar.gz
  wget https://codeload.github.com/happyfish100/fastdfs-nginx-module/tar.gz/V1.20
  wget https://codeload.github.com/FRiCKLE/ngx_cache_purge/tar.gz/2.3
- 所有从github下载的东西,需要重新命名文件名,后缀为tar.gz
以母机(192.168.150.10)为镜像克隆出第一台tracker服务器(192.168.150.20)
修改ipconfig
vim /etc/sysconfig/network-scripts/[静态网卡名]
搭建第一台tracker
- 解压
  tar -zxvf libfastcommon.tar.gz
- 移动
  mv libfastcommon ../
- 安装
  进入 libfastcommon目录,执行:./make.sh && ./make.sh install
- 安装fastdfs
- 解压
  tar ...
- 移动到/usr/local目录下
- 进入fastdfs-5.0.5目录
- 执行:./make.sh && ./make.sh install
- 创建tracker所在目录mkdir -p /opt/fastdfs_tracker
- 修改配置文件
  cd /etc/fdfs
  cp tracker.conf.sample tracker.conf
  vim tracker.conf
  disabled=false #启用配置文件（默认启用） port=22122 #设置tracker的端口号，通常采用22122这个默认端口 base_path=/opt/fastdfs_tracker #设置tracker的数据文件和日志目录 http.server_port=8080 #设置http端口号，默认为8080
- 创建软引用(因为tracker的脚本里面路径是/usr/local/bin然而,实际安装却是在/usr/bin)
  ln -s /usr/bin/fdfs_trackerd /usr/local/bin ln -s /usr/bin/stop.sh /usr/local/bin ln -s /usr/bin/restart.sh /usr/local/bin
- 配置ngx_cache_purge
  - 解压ngx_cache_purge-2.3移动到/usr/local目录下
  - 解压nginx-1.8.1移动到/usr/local目录下
  - 进入nginx-1.8.1目录
  - 执行:./configure --add-module=/usr/local/ngx_cache_purge-2.3
  - 编译安装make && make install
  - 创建缓存目录
    mkdir -p /fastdfs/cache/nginx/proxy_cache
    mkdir -p /fastdfs/cache/nginx/proxy_cache/tmp
  - 修改配置文件
    vim /usr/local/nginx/conf/nginx.conf
    user root; worker_processes 1; events { worker_connections 1024; use epoll; } http { include mime.types; default_type application/octet-stream; sendfile on; tcp_nopush on; keepalive_timeout 65; # 设置缓存 server_names_hash_bucket_size 128; client_header_buffer_size 32k; large_client_header_buffers 4 32k; client_max_body_size 300m; proxy_redirect off; proxy_set_header Host $http_host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_connect_timeout 90; proxy_send_timeout 90; proxy_read_timeout 90; proxy_buffer_size 16k; proxy_buffers 4 64k; proxy_busy_buffers_size 128k; proxy_temp_file_write_size 128k; # 设置缓存存储路径，存储方式，分别内存大小，磁盘最大空间，缓存期限 proxy_cache_path /fastdfs/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:200m max_size=1g inactive=30d; proxy_temp_path /fastdfs/cache/nginx/proxy_cache/tmp; # group1的服务设置 upstream fdfs_group1 { server 192.168.150.22:8888 weight=1 max_fails=2 fail_timeout=30s; server 192.168.150.23:8888 weight=1 max_fails=2 fail_timeout=30s; } # group2的服务设置 upstream fdfs_group2 { server 192.168.150.24:8888 weight=1 max_fails=2 fail_timeout=30s; server 192.168.150.25:8888 weight=1 max_fails=2 fail_timeout=30s; } server { listen 8000; server_name localhost; # charset koi8-r; # access_log logs/host.access.log main; # group1的负载均衡配置 location /group1/M00 { proxy_next_upstream http_502 http_504 error timeout invalid_header; proxy_cache http-cache; proxy_cache_valid 200 304 12h; proxy_cache_key $uri$is_args$args; # 对应group1的服务设置 proxy_pass http://fdfs_group1; expires 30d; } location /group2/M00 { proxy_next_upstream http_502 http_504 error timeout invalid_header; proxy_cache http-cache; proxy_cache_valid 200 304 12h; proxy_cache_key $uri$is_args$args; # 对应group2的服务设置 proxy_pass http://fdfs_group2; expires 30d; } location ~/purge(/.*) { allow 127.0.0.1; allow 192.168.150.0/255; deny all; proxy_cache_purge http-cache $1$is_args$args; } location / { root html; index index.html index.htm; } # error_page 404 /404.html; # redirect server error pages to the static page /50x.html # error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
  - 注意:listen端口监听要和tracker一样,
关闭(192.168.150.20)虚拟机,以(192.168.150.20)为镜像克隆第二台tracker(192.168.150.21,修改ipconfig前面说过了)
以母机克隆第一台storage(192.168.150.22)
同上安装libfastcommon和fastdfs(不需要配置tracker)
配置storage
- 修改storage配置文件
  vim /etc/fdfs/storage.conf
  disabled=false #启用配置文件（默认启用） group_name=group1 #组名，根据实际情况修改 port=23000 #设置storage的端口号，默认是23000，同一个组的storage端口号必须一致 base_path=/opt/fastdfs_storage #设置storage数据文件和日志目录 store_path_count=1 #存储路径个数，需要和store_path个数匹配 store_path0=/opt/fastdfs_storage_data #实际文件存储路径 tracker_server=192.168.150.20:22122 #tracker 服务器的 IP地址和端口号，如果是单机搭建，IP不要写127.0.0.1，否则启动不成功（此处的ip是我的CentOS虚拟机ip） http.server_port=8888 #设置 http 端口号
- 创建storage存放目录:
  mkdir -p /opt/fastdfs_storage
  mkdir -p /opt/fastdfs_storage_data
- 创建软引用
  ln -s /usr/bin/fdfs_storaged /usr/local/bin
- 解压fastdfs-nginx-module移动到/usr/local
- 进入fastdfs-nginx-modul
- 修改配置
  vim src/config
  去掉CORE_INCS中的local,因为实际安装在/usr/bin目录
- 安装nginx
  - 解压nginx-1.8.1移动到/usr/local
  - 进入nginx-1.8.1,
  - 执行:
    ./configure --prefix=/usr/local/nginx --add-module=/usr/local/fastdfs-nginx-module-master/src
  - 安装:make && make install
  - cp -r /usr/local/fastdfs-5.05/conf/http.conf /etc/fdfs/
  - cp -r /usr/local/fastdfs-5.05/conf/mime.types /etc/fdfs/
  - cp -r /usr/local/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/
  - vim /etc/fdfs/mod_fastdfs.conf
    connect_timeout=10 tracker_server=192.168.150.20:22122 tracker_server=192.168.150.21:22122 storage_server_port=23000//默认就是2300，不用做修改 url_have_group_name=true store_path0=/opt/fastdfs_storage_data group_name=group1 group_count=2 [group1] group_name=group1 storage_server_port=23000 store_path_count=1 store_path0=/opt/fastdfs_storage_data [group2] group_name=group2 storage_server_port=23000 store_path_count=1 store_path0=/opt/fastdfs_storage_data
  - 修改nginx配置
    listen 8888; location ~/group([0-9])/M00 { ngx_fastdfs_module; }
  - 注意:此nginx监听端口要和storage中配置的http端口一样
以(192.168.150.22)为虚拟机克隆第二台storage(192.168.150.23),不要做任何修改
以(192.168.150.22)为虚拟机克隆第三台storage(192.168.150.24),修改storage.conf中group_name=group2,修改mod_fastdfs.conf中group_name=group2
以第三台storage(192.168.150.24)克隆第四台storage(192.168.150.25),不要做任何修改
以nginx为代理配置统一出口
以母机为镜像克隆一台nginx虚拟机(192.168.150.26)
解压nginx-1.8.1移动到/usr/local
进入nginx-1.8.1
执行:
./configure --prefix=/usr/local/nginx --with-http_ssl_module

vim /usr/local/nginx/conf/nginx.conf


# 以下在http模块里面

upstream fastdfs_tracker {
       server 192.168.150.20:8080 weight=1 max_fails=2 fail_timeout=30s;
       server 192.168.150.21:8080 weight=1 max_fails=2 fail_timeout=30s;
}

# 以下在server模块里

    listen       80;
    server_name  localhost;

    #charset koi8-r;

    #access_log  logs/host.access.log  main;

    location / {
       root html;
       index index.html index.htm;
       proxy_pass http://fastdfs_tracker/;
       proxy_set_header Host $http_host;
       proxy_set_header Cookie $http_cookie;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       proxy_set_header X-Forwarded-Proto $scheme;
       client_max_body_size 300m;
    }

到此所有配置以及完成了,下面配置开机启动脚本

在两台tracker服务器中执行

chmod +x /etc/rc.d/rc.local
cd /root

vim tracker.sh


#!/bin/bash

service network restart;# 重启network,因为配置双网卡,不知道为什么每次都需要重启
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf;# 启动nginx
service fdfs_trackerd start;# 启动tracker服务

chmod +x /root/tracker.sh
vim /etc/rc.d/rc.local
最后一行添加/root/tracker.sh

在4台storage做如下配置

chmod +x /etc/rc.d/rc.local
cd /root

vim storage.sh


#!/bin/bash

service network restart;# 重启network,因为配置双网卡,不知道为什么每次都需要重启
/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf;# 启动nginx
service fdfs_storaged start;# 启动storage

chmod +x /root/tracker.sh
vim /etc/rc.d/rc.local
最后一行添加/root/storage.sh

在最后一台nginx反向代理服务器做如下配置
- chmod +x /etc/rc.d/rc.local
- vim /etc/rc.d/rc.local
  最后一行添加/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
至此整个服务分布式集群已经搭建好了,当然可以搭建n个tracker,方法同理,m个storage方法也同理,注意:我们虽然有4个storage,但是只有2个group,这样等于主-备,同一个组的一个storage挂了,另外一台立马顶上,当然也可搭建h个nginx反向代理,在加一层slb或者lvs等等,都可以
下面说下启动顺序,因为storage是基于tracker的,所以要先启动两台tracker,再启动4台storage,至于最后一台nginx服务,什么时候启动都可以
检查tracker,storage是否启动成功
netstat -unltp|grep fdfs看是否有22122,23000端口
测试:
- 在第一台tracker上准备一张图片,比如test.jpg
- 修改client.config配置(默认是client.config.sample,需要拷贝一份为client.config)
- 修改base_path为tracker的base_path,tracker_server修改为实际的tracker服务器ip(不要写127.0.0.1)
- /usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/timg.jpg
- 如果有结果返回就说明上传成功,比如:group1/M00/00/00/wKiWh1tawuqAAjwEAADX0sGyaUA511.jpg
- 则可以通过nginx反向代理服务器访问:
  http://192.168.150.26/group1/M00/00/00/wKiWh1tawuqAAjwEAADX0sGyaUA511.jpg
如此就是整个fastdfs分布式服务器搭建(高可用集群)
本屌已搭建好的一套,请点击这里,提取码:id6a

zhangpan_soft

关注

2
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
fastdfs分布式服务器搭建(高可用集群)

这里在虚拟机上搭建的,真正服务器搭建同理,废话少说,开始正文首先准备一台母机(192.168.150.10),此母机上不搭建东西,只是为了后续虚拟机的克隆,我的是centos7.x准备基本环境检查c/c++ 环境 yum -y install gcc gcc-c++检查zip/unzip yum -y install zip unzip检查vim(因为fastdfs会用到vim,...
复制链接

扫一扫

专栏目录