benjen-CSDN博客

原创 firewalld 造成 mesos slave不断disconnect

从日志观察是master和slave不断的在重练，实际原因是firewalld阻止了slave的端口访问，要吸取教训slave log：I0521 20:30:23.741531 6615 group.cpp:837] Syncing group operations: queue size (joins, cancels, datas) = (0, 0, 0)I0521 20:

2017-05-21 20:52:45 526

原创 swap

启用swap：ddif=/dev/zero of=/mnt/swap bs=block_size count=number_of_blockmkswap /mnt/swapswapon /mnt/swap修改文件 /etc/fstab /mnt/swap swap swap defaults 00修改swap使用

2017-05-19 13:52:19 526

原创 mesos Agent disconnected

原因：时区不对查看时区：$date -R修改时区；cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 同步时间：$yum install ntp$vi /etc/ntp.confadd "server 172.18.128.11 perfer"$systemctl start ntpd

2017-03-24 16:36:42 618

原创部署nexus

1、下载nexus-3.0.2-02.tar.gz2、解压3、修改data路径vi ./bin/nexus.vmoptions-Dkaraf.data=/home/user/tools/nexus/data-Djava.io.tmpdir=/home/user/tools/nexus/data/tmp4、将原来的data文件全部拷贝到当前文件目录下手5、vi /

2017-02-16 09:44:12 650

原创 http: server gave HTTP response to HTTPS client

docker出现一下错误；Error getting v2 registry: Get https://10.27.1.55:8887/v2/: http: server gave HTTP response to HTTPS client看这个错误我真的以为是没加--insecure-registry 10.27.1.55:8887导致的看看我的sys

2017-01-18 15:42:46 7174

原创静默安装服务器搭建

1、首先要关闭firwalld和selinuxsystemctl stop firwalldsetenforce 02、安装dhcpyum -y install dhcpcat /etc/dhcp/dhcpd.conf## DHCP Server Configuration file.# see /usr/share/doc/dhcp*/dhcpd.

2017-01-06 11:58:14 791

原创 cpu gpu混合集群搭建

分布式集群搭建，管理cpu和gpu集群系统：master－》centos7cpu－》cenos7gpu －》ubuntu1、master 安装systemctl stop firewalld && systemctl disable firewalld

2016-12-29 13:04:50 3302 1

原创 Gitlab服务器迁移详解

系统：centos7安装gitlabyou三种办法：docker安装yum安装源码安装这里推荐yum安装，docker安装其次这里详细说明yum安装下的gitlab迁移1、首先确认旧gitlab的版本信息：sudo gitlab-rake gitlab:env:infoSystem informationSystem: Curre

2016-12-28 14:19:50 4467

原创 centos 7 修改hostname正确做法

修改／etc/sysconfig/network之流的完全无用用hostnamectl才是王道The syntax is:# hostnamectl set-hostname Your-New-Host-Name-Here# hostnamectl set-hostname "Your New Host Name Here" --pretty# hostna

2016-12-02 18:34:15 1492

原创 singularity deploy

当需要删去singularity deploy重新部署的时候发现，新的deploy与之前的重名，这是一个很头疼的问题：我目前的解法是进入zookeeper删掉singluarity之前的历史：[user@stg3 bin]$ ./zkCli.sh -server 172.18.128.33:2181[zk: 172.18.128.33:2181(CONNECTED) 1

2016-11-24 17:53:18 861

原创修改kafka broker id产生的错误

错误：[2016-10-13 13:49:56,746] FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerStartable)kafka.common.InconsistentBrokerIdException: Configured br

2016-11-24 17:46:19 6012

原创 mongodb nginx代理问题

在代理mongodb的端口的时候出现以下error：recv(): message len 1347703880 is invalid. Min 16 Max: 48000000这是因为mongodb接口走的是tcp，但是之前我把nginx代理设置为了http.conf改成如下,就ok了stream { server { list

2016-11-21 17:07:23 6158

原创 docker和iptables关系

1、首先了解一下docker的网络机制docker有4中网络模式：a.hostb.containerc.noned.bridgedocker使用linux中的namespace隔离资源，一个docker容器会分配一个独立的network namespace。但是如果容器采用host时，那么这个容器会和宿主机公用一个network namespqce，容器将不会虚拟出自己的网

2016-11-18 14:56:49 20371

原创 mongodb 在centos7里用systemctl起不来

两个问题造成1、／var/run/mongodb/mongod.pid 文件已存在2、logpath和dbpath下的文件的权限问题：都得用sudo chown mongod:mongod /mongo/data /mongo/journal /mongo/logsystemctl status mongod.service● mongod.service - SYSV:

2016-11-14 17:58:17 14448 1

原创 singualrity 部署

1、下载jar包http://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22com.hubspot%22%20AND%20a%3A%22SingularityService%22下载一个最新的 shaded.jar2、新建yaml配置文件，如下：# Run SingularityService on port 7099 and lo

2016-11-10 18:14:14 655

原创 ERROR Prevent proxy cycle, rejecting request

It looks like the problem is that the instances are all registering themselves as 'localhost.localdomain' rather than their correct externally available hostnames. Thus when you visit a non-master ins

2016-11-07 18:26:30 631

原创 mac如何通过x server连接server端的google－chrome

由于需要通过公网连接堡垒机后端的机器的网页ui，这里通过远程显示server端的google chrome实现：在server端操作（操作系统为centos7.2）：安装 google chrome:首先加repocat EOF > /etc/yum.repos.d/google-chrome.reposudo yum install google

2016-11-05 18:53:32 2177

原创修改mesos-agent资源

环境：centos 7.2需求：mesos agent的resource修改：在／etc/mesos-slave下增加文件resourcesfile:///home/user/tools/mesos/resources.conf然后在上面目录下增加文件resources.conf[ { "name": "cpus", "type": "SCAL

2016-10-24 11:38:25 1507

原创 systemctl start mesos-slave problem

在安装配置mesos agent的过程中发现配置docker_config的问题：当执行$systemctl start mesos－slave.service的时候，发现报错，然后不断重启 mesos－slave问题在于：docker_config没有正确配置。在该机器上没有login docker导致所以修正步骤是：1、$vi /etc/sysconfig/

2016-10-21 12:00:39 759

原创 nginx反向代理nexus的时候ui问题

在使用nginx反向代理，后段服务器上nexus的ui时，发现问题：当从外部浏览器输入：http://**.**.**.**:8081时，返回的html的里的端口都是80，那就意味着网页请求的图片或者链接都去找**.**.**.**:80下面的东西，而我代理的是8081的端口所以接下去的图片链接都找不到后段服务器的东西。先看看我之前的nginx.conf nexus 8081...

2016-10-19 14:49:25 7786 4

原创 squid代理yum，docker，rpm

跳板机上设置1、squid配置$vi /etc/squid/squid.conf 设置# And finally deny all other access to this proxy by benjenhttp_access allow all# Squid normally listens to port 3128http_port 10.47.11

2016-10-17 17:32:42 870

原创局域网内部署mesos，marathon，通过nginx反向代理访问

集群组成：环境：centos 7 10.27.2.8： mesos master ，mesos slave ，zookeeper,docker10.27.3.4: mesos slave, zookeeper,docker10.27.1.180:mesos slave ,zookeeper,docker10.27.1.55:mesos slave,zookeeper,doc...

2016-10-17 16:55:31 1047

原创 mesos介绍

当公司里有很多框架例如spark、mapreduce、mpi等等，当这些框架需要部署到一个公共的集群中，让它们共享集群资源，并对资源进行统一使用，这就诞生了mesos、yarn、k8s等资源管理器。资源管理器的特点：资源管理和调度平台应该提供一个全局的资源管理器。所有接入的框架要先向该全局资源器申请资源，申请成功后，再由框架自身的调度器决定交由哪个任务使用，也就是整个大的系统是个双层调用器，第

2016-10-09 19:51:44 538

原创 docker系统时间和host系统时间有drift问题解决

今天在制作docker image的时候遇到一问题发现docker run起来的系统时间和host 的系统时间不一致。这种分分钟的事情因为我用了os x beta而头疼一阵。解决过程：1、时区设置问题：在ubuntu下的dockerfile写成RUN echo "Asia/shanghai" > /etc/timezone抑或debian下ENV TZ=As

2016-10-08 22:50:35 3026

原创 replication factor: 3 larger than available brokers: 1

bug log：[2016-07-31 23:50:48,022] ERROR [KafkaApi-0] Error when handling request {group_id=kafka-python-default-group} (kafka.server.KafkaApis)kafka.admin.AdminOperationException: replication fac

2016-09-23 17:06:38 11743 1

原创 printf重定向后的Log机制

嵌入式开发中通常采用printf来调试或者输出log。在分级log中通常要求保留log等级最高的输出，但是printf只能通过串口或者控制台输出，并不能很好的保留log信息。那么这时候我们需要重构printf函数，将其二进制的输出重定向到写flash操作或者其他存储介质。那么接下来通过重构linux下的printf源码来实现这一功能。

2016-05-05 21:43:55 806

原创设置python 模块调用路径

python初学者通常写完模块后，不知道放在那个路径下能被shell调用，这里有几个很简单的命令来查询和改变python库的路径：首先import sys接着查询sys.path如果显示的结果没有你想要的路径如果你想加入/home/pythonlib这个路径，那么就输入 sys.path.append('/home/pythonlib')这样就OK啦

2016-05-05 21:27:28 944

翻译 GitHub新手教程

记录一下GitHub的Hello Wrold1、必然是创建GitHub的帐号2、创建新的仓库2.1点击new repository创建新的仓库啦2.2取个姓名2.3加个描述2.4选择README的选项3、创建新的Branch默认情况下有个master的分支，master是稳定版本的分支，如果你需要并行处理一些事物那么就需要单独创建一个分支，当处理完后可以将分

2016-03-06 19:15:42 392