搭建两个ceph集群

搭建两个集群
创建一个系统账户
#run on rgw1
./radosgw-admin realm create --rgw-realm=earth
./radosgw-admin zonegroup create --rgw-zonegroup=us --endpoints=http://rgw1:8000 --master
./radosgw-admin zonegroup default --rgw-zonegroup=us
./radosgw-admin zone create --rgw-zonegroup=us --rgw-zone=us-1 --access-key=0555b35654ad1656d804 --secret=h7GhxuBLTrlhVUyxSPUKUV8r/2EI4ngqJxD7iBdBYLhwluN30JaT3Q== --endpoints=http://rgw1:8000
./radosgw-admin zone default --rgw-zone=us-1
./radosgw-admin zonegroup add --rgw-zonegroup=us --rgw-zone=us-1
./radosgw-admin user create --uid=zone.jup --display-name="Zone User" --access-key=0555b35654ad1656d804 --secret=h7GhxuBLTrlhVUyxSPUKUV8r/2EI4ngqJxD7iBdBYLhwluN30JaT3Q== --system
./radosgw-admin period update --commit
./radosgw --rgw-zone=us-1 --rgw-frontends="civetweb port=8000"

#run on rgw2
./radosgw-admin realm pull --url=http://rgw1 --access-key=0555b35654ad1656d804 --secret=h7GhxuBLTrlhVUyxSPUKUV8r/2EI4ngqJxD7iBdBYLhwluN30JaT3Q==
./radosgw-admin realm default --rgw-realm=earth
./radosgw-admin zonegroup default --rgw-zonegroup=us
./radosgw-admin zone create --rgw-zonegroup=us --rgw-zone=us-2 --access-key=0555b35654ad1656d804 --secret=h7GhxuBLTrlhVUyxSPUKUV8r/2EI4ngqJxD7iBdBYLhwluN30JaT3Q== --endpoints=http://rgw2:8000
./radosgw-admin period update --commit

./radosgw --rgw-zone=us-2 --rgw-frontends="civetweb port=8000"

以下是总结

设置admin节点要求可以免密码SSH登录到全部host节点

在10.183.97.128生成key ssh-keygen
ssh-copy-id 10.183.97.128输入密码后，再次登录就OK


admin节点可以通过hostname访问host节点

例如10.183.97.144通过hostname访问10.183.97.128节点，
144的host配置如下：
[root@bj-yz-ceph-97-144 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.183.97.144 localhost localhost.localdomain localhost4 localhost4.localdomain4
10.183.97.144 bj-yz-ceph-97-144
10.183.97.124 bj-yz-ceph-97-124
10.183.97.128 bj-yz-ceph-97-128

128的host配置如下：
vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
10.183.97.144 bj-yz-ceph-97-144
10.183.97.128 localhost localhost.localdomain localhost4 localhost4.localdomain4

在144上直接ssh bj-yz-ceph-97-128即可直接登录
注意自己访问自己也要加上


ceph-deploy new bj-yz-ceph-97-144 bj-yz-ceph-97-128 bj-yz-ceph-97-124

// 清除之前的数据
ceph-deploy purgedata bj-yz-ceph-97-144 bj-yz-ceph-97-128 bj-yz-ceph-97-124


centos7中启动radosgw
systemctl restart ceph-radosgw@radosgw.gateway

//批量查询修改文件内容
grep "bukcet" * -rl|xargs sed -i 's/bukcet/bucket/g'

// 批量修改名称
rename  log  history  log*
这句命令的意思很明白了，把 以 log开头的所有文件中的 log字符替换为 history

//特殊符号
cat getacl.markdown | sed -n "s/\,/\，/g"

生成key ssh-keygen
cat ~/.ssh/id_rsa.pub 查看key


[client.radosgw.gateway]
host = bj-yz-ceph-97-144
rgw dns name = bj-s3-leengine.lecloud.com
keyring = /etc/ceph/ceph.client.radosgw.keyring
rgw socket path = /var/run/ceph/ceph.radosgw.gateway.fastcgi.sock
log file = /var/log/radosgw/client.radosgw.gateway.log
rgw enable usage log = false
rgw usage log tick interval = 30
rgw usage log flush threshold = 1024
rgw usage max shards = 32
rgw usage max user shards = 1
rgw_cache_enabled = false
rgw_thread_pool_size = 8000
rgw_override_bucket_index_max_shards = 64
rgw frontends = civetweb port=8080 access_log_file=/var/log/radosgw/access.log request_timeout_ms=90000  

set args -c /usr/code/ceph/ceph-10.0.4/src/ceph.conf --log-file=/usr/code/ceph/ceph-10.0.4/src/out/rgw.log --debug-rgw=20 --debug_ms 20

./ceph-mon -i a -c /usr/code/ceph/ceph-10.0.4/src/ceph.conf
./ceph-osd -i 0 -c /usr/code/ceph/ceph-10.0.4/src/ceph.conf
./ceph-mds -i a -c /usr/code/ceph/ceph-10.0.4/src/ceph.conf
/usr/code/ceph/ceph-10.0.4/src/.libs/lt-radosgw -c /usr/code/ceph/ceph-10.0.4/src/ceph.conf --log-file=/usr/code/ceph/ceph-10.0.4/src/out/rgw.log --debug-rgw=20 --debug-ms=1


ceph_mon.cc
rpm -qa | grep php 产品是否安装过相关包
0~18446744073709551615  UInt64

保存dns，防止被修改的方法：
使用传统方法，手工修改 /etc/resolv.conf
修改 /etc/NetworkManager/NetworkManager.conf 文件，在main部分添加 “dns=none” 选项：
[main]
plugins=ifcfg-rh
dns=none

NetworkManager重新装载上面修改的配置
# systemctl restart NetworkManager.service

手工修改 /etc/resolv.conf
nameserver 127.0.0.1
vim /etc/resolv.conf
vim /etc/dnsmasq.conf

第一次启动时
MDS=0 ./vstart.sh -d -x -r
下次直接用vstart.sh启动





./vstart.sh -x -n -r --rgw_port 80 --mon_num 1 --mds_num 0

radosgw-admin user create --uid=admin --display-name="admin"

radosgw-admin user info --uid=admin

调整日志级别
../ceph --admin-daemon client.admin.9590.asok config set debug_rgw 20/20
../ceph --admin-daemon client.admin.26016.asok config set debug_rados 20/20
../ceph --admin-daemon client.admin.10743.asok config get debug_rgw