基于 Distcc 的android分布式编译环境的搭建

最新推荐文章于 2022-05-25 22:48:19 发布
最新推荐文章于 2022-05-25 22:48:19 发布
阅读量9k 收藏 8
点赞数 1
文章标签： android distcc
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zimingjushi/article/details/23430023
版权
关于Ditscc分布式编译环境的搭建，网上也有不少文章，但是基本上都过时了。所以看了很多文章，走了不少弯路，最后总算梳理清楚了一条正确的环境搭建的步骤，而且可以实现zeroconf。本文不涉及负载均衡的实现。

本文所述环境的搭建是基于Ubuntu 12.04 64bit，android版本是4.1(其他版本估计也一样)。android编译环境的搭建就不再赘述了，请参考尽量参考官方文档https://source.android.com/source/initializing.html

1.Distcc简介

Distcc 是一个将 C、C++等程序的编译任务分发到网络中多个主机的程序。 Distcc的工作原理为: GCC 编译C/C++构建一个execualble分为四个阶段: 预处理：.c 到.i，由cc完成 汇编：.i到.s ，由cc完成 编译：.s到.o，由as完成 链接：.o 到可执行文件，由collect2完成 其中第三阶段是效率瓶颈。distcc是一个编译器驱动器。它在”gcc -c”阶段把预处理输出分发到指定的服务器阵列并收集结果。GNU Make的”-j”并行编译可以利用distcc来加速编译。distcc本身事实上并不参与任何编译过程,而只是一个编译器的前端。为编译器加入分布式特性,并参与部分管理和简单的负载均衡的功能。distcc在本地完成预处理(使用gcc -E，完成头文件、宏的展开)，把结果发给集群中的工作主机，由工作主机完成编译（使用gcc -c）并发回编译结果，最后在本地做链接。 distcc分布式编译程序可以将包含两个部分： distcc:在客户端分发编译任务到编译主机 distccd:编译主机启动distccd守护进程接收编译任务，并返回编译结果。

2.安装Distcc

如果不想走弯路，请不要

sudo apt-get install distcc

也不要在https://code.google.com/p/distcc/downloads/list这里下载安装包。
我通过这两种方式安装后都会在编译主机上产生编译错误，结果几乎所有任务都在本地编译了。这样就没意义了。

我推荐的方法是：

svn checkout http://distcc.googlecode.com/svn/trunk/ distcc-read-only

代码checkout下来自己编译。拿到代码后，要仔细阅读INSTALL文件，里面很详细，胜过任何网上的其他介绍distcc环境搭建的文章，当然android涉及交叉编译，会有所不同。
为了顺利编译处安装包，按照INSTALL文档所述，安装以下依赖：

sudo apt-get install gcc make python python-dev binutils-dev alien libavahi-client-dev

为了编译出deb安装包，要安装alien。
Ubuntu 12.04是支持zeroconf的，可以ps查看下，是有avahi-daemon在运行的，但是为了编译出支持zeroconf的安装包，需要安装libavahi-client-dev依赖。zeroconf是什么东西我就不赘述了。万事具备只差make了，执行以下：

./autogen.sh
./configure --with-avahi
sudo make deb

with-avahi参数表明build出的包支持zeroconf。如果一切顺利，你将在源码的packaging目录下得到build出来的安装包
distcc_3.2rc1-1_amd64 distcc-server_3.2rc1-1_amd64
安装他们：

dpkg -i distcc_3.2rc1-1_amd64 distcc-server_3.2rc1-1_amd64

注意：
为了实现zeroconf，我最初在虚拟机和本机上做实验，按照下文继续配置好后，可以找到主机。相同的环境在另一台电脑上搭建，zeroconf却找不到那台电脑。我使用avahi-discover查看Distributed Compiler下的所有主机，确实是可以看到的。这就说明zeroconf的实现程序avahi是可以找到这个主机的，distcc利用avahi寻找主机，理论上也应该可以找到的。继续追踪/var/log/syslog
文件,看到类似下面这一行

(daemon_proc) Browsing for 'x86_64-unknown-linux-gnu_4.4.3_distcc._tcp'.

也就是说，distcc通过avahi寻找主机的时候，要求主机和gcc的版本都要一致，但是实际上gcc小版本不一致并不会影响编译结果。果断改代码，zeroconf.c文件中：

......
# if (dcc_get_gcc_version(version, sizeof(version)) &&
# dcc_get_gcc_machine(machine, sizeof(machine))) {
#
# dcc_make_dnssd_subtype(stype, sizeof(stype), version, machine);
# } else {
rs_log_warning("Warning, failed to get CC version and machine type.\n");

strncpy(stype, DCC_DNS_SERVICE_TYPE, sizeof(stype));
stype[sizeof(stype)-1] = 0;
# }
......

这样distcc找主机时，参数就是"_distcc._tcp"了。这样修改至少在我这边是OK的

3.配置distcc

涉及到的配置文件主要在"/etc/distcc/"文件夹下
client.allow中内容为

#表明192.168.*的IP都能发给自己编译任务
192.168.0.0/16

拷贝android源码包prebuilts下的编译工具到指定目录：/usr/local/distcc/prebuilts/
修改commands.allow.sh的内容为：

numwords=1
allowed_compilers="
/usr/bin/cc
/usr/bin/c++
/usr/bin/c89
/usr/bin/c99
/usr/bin/gcc
/usr/bin/g++
/usr/bin/*gcc-*
/usr/bin/*g++-*
/usr/local/distcc/prebuilts/gcc/linux-x86/arm/arm-linux-androideabi-4.6/bin/arm-linux-androideabi*
/usr/local/distcc/prebuilts/gcc/linux-x86/host/i686-linux-glibc2.7-4.6/bin/i686-linux*
"
......

注意保证新添加的那两行的内容真是存在，否则服务端会发生编译错误。

在"/etc/distcc/"文件夹下
hosts文件的内容为：

localhost
+zeroconf

貌似zeroconf能找到的IP只能匹配一个网段，所以可以自己在文件中继续添加其他IP地址。

在"/etc/init.d/"文件夹下
distcc文件的内容为：

......
OPTIONS="--zeroconf --log-file=/var/log/distccd.log --daemon --stats --job-lifetime=1200"
USER=distcc
PROG="distccd"
PIDFILE=/var/run/$PROG.pid
EXEC="/usr/bin/distccd"
......

"--zeroconf --log-file=/var/log/distccd.log"参数是为了支持zeroconf和log。
最后重新重启distccd

sudo /etc/init.d/distcc reload

以上步骤完成后就基本完成了服务端的配置(客户端也要进行那些配置)，客户端要想启动distcc编译，还需要继续以下步骤：

4.android的distcc编译配置

以下只是叙述了android要成功启动distcc编译任务所以要的必备条件，很多改动并不优雅。

首先确保编译前

export PATH=/usr/bin/distcc:$PATH

不建议写到环境变量中

在"build/core/combo"文件夹下
TARGET_linux-arm.mk文件：

......
ifeq ($(strip $(TARGET_TOOLS_PREFIX)),)
TARGET_TOOLCHAIN_ROOT := /usr/local/distcc/prebuilts/gcc/$(HOST_PREBUILT_TAG)/arm/arm-linux-androideabi-4.6
TARGET_TOOLS_PREFIX := $(TARGET_TOOLCHAIN_ROOT)/bin/arm-linux-androideabi-
endif
......

select.mk文件：

......
include $(BUILD_COMBOS)/$(combo_target)$(combo_os_arch).mk

$(combo_target)CC := distcc $($(combo_target)CC)
$(combo_target)CXX := distcc $($(combo_target)CXX)
......

最后启动编译

. ./build/envsetup.sh
lunch
make -jN

即可

5.监视distcc编译任务
distcc自带distccmon-text，可以启动文本化监视

#3秒刷新一次
distccmon-text 3

也可以使用distccmon-gnome启动图形化监视程序

sudo apt-get install distccmon-gnome
distccmon-gnome &

即可


zimingjushi
关注
android ndk-build IncrediBuild 分布式编译设置
github_29493355的博客
07-03 1716
以前只知道IncrediBuild可以通过分布式加速vs的编译, 近来才发现， 此工具还是很强大的， android 的 ndk 也能用它来作加速处理(windows环境) 操作如下: 1.安装此软件并设置环境变量 2.修改 android-ndk 目录下的 ndk-build.cmd 文件 把其中的 "%NDK_ROOT%prebuilt/%NDK_WIN_HOST%/bin/mak
分布式编译distcc
最新发布
hzgdiyer的专栏
12-20 1357
工程代码编译速度太慢，决定采用分布式编译来提高编译速度.distcc ，请参考。
Android系统分布式编译(distcc)
hui5110的博客
06-30 3641
1. 搭建distcc分布式编译环境（适用Android 4.4） 最好的方式是参考官网，网上其他指导书都不全：https://raw.githubusercontent.com/distcc/distcc/master/INSTALL 1.1 安装distcc（distcc client和server均需要安装） 从官网下载distcc压缩包，拷贝到服务器上，tar -zxvf 解压缩 tar -zxvf distcc-3.3.2.tar.gz sudo apt-get install autoconf
Distcc 介绍
翊轩LeOn
05-04 2780
Distcc 介绍 distcc是一个非常快且免费的分布式C/C++编译工具，distcc分为两个部分： distcc：distcc是一个类似客户端的程序，不过它的角色是个编译器，可以让C/C++代码在很多网络服务器上进行分布式的编译，就像本地编译一 样，当然比本地编译快很多。 distccd：distccd是一个守护进程，每个网络服务器上都需要安装这个守护进程，用来处理di
Android基于distcc的分布式编译及负载均衡的实现
Embeded system Development
06-13 5660
distcc简介 distcc distcc源起于著名开源项目samba，是一款有着较长历史的跨平台开源分布式编译解决方案。 对于大多数c语言及其衍生语言来说，编译过程主要分为三个步骤： 预编译 编译 链接 distcc的作用就是将第二步的编译（3.0版本后通过pump支持部分第一步）过程采用网格计算的模式，将编译任务分配至其它主机，并在编译结束后回传，以供第
搭建android源码编译开发服务器
害羞雏田
05-20 579
1.android服务器，其实也就是台式机器的增强版本。基本上和本地机器的安装差不多。不过吐槽下服务器的配置就是不一样，16核，16G RAM，2.4T硬盘，羡慕我了。我的电脑要是这么给力多好。 2.安装Ubuntu，由于不是做web服务器，android编译完了我不想只是拷贝生成的img文件，到本地刷机，而是想看到所编译后的full-eng版本，所以我安装了destop版本。 3.安装ubu...
distcc 链接失败_Android基于distcc的分布式编译及负载均衡的实现(4.ccache的加入极大的改......
weixin_35797963的博客
01-17 348
distcc简介distccdistcc源起于著名开源项目samba，是一款有着较长历史的跨平台开源分布式编译解决方案。对于大多数c语言及其衍生语言来说，编译过程主要分为三个步骤：预编译编译链接distcc的作用就是将第二步的编译(3.0版本后通过pump支持部分第一步)过程采用网格计算的模式，将编译任务分配至其它主机，并在编译结束后回传，以供第三步链接使用。并由此降低了发起编译的机器的负载，并提...
使用distcc进行分布式编译来提高编译速度
把握自己。
10-04 1万+
早期的时候通过C++的前置声明可以提高一些。但是后期发现还是跟不上，故搭建一个分布式编译环境。 环境：centos6.3  1. 要使用distcc当然需要先去安装。这里使用官方源码编译安装。 下载地址：https://code.google.com/p/distcc/downloads/list     这里选择需要下载的内容，我选择的是distcc-3.2rc1.tar.bz
gentoo下利用distcc分布式编译
ninesnow_c的博客
07-17 867
distccdistccdistcc介绍注意事项源码安装windows上安装服务端使用客户端使用 顶不住了，用了gentoo，感觉编译好慢啊，顶不住了。chromium编译了差不多6个小时。必须找了点办法加速一下。 distcc distcc介绍 Distcc 是一个被设计用来将编译任务发布到网络上特定主机的程序。 它由一个服务器 distccd和一个客户端 distcc>程序组成. 说白了就是能利用空闲的的电脑，服务器加快编译速度。 distcc项目地址 distcc文档地址 注意事项 想要运行di
搭建分布式Android编译环境
moruite的专栏
07-14 9636
<br />由于通过google git提取的android源代码没有配置分布式编译，需要借助一些工具搭建一个分布式编译环境来提升android编译速度,下面的步骤是在centos 5.2上进行的，我们可以参考一下。<br />1）  安装distcc RPM包<br />rpm –ivh distcc-2.18.3-2.el5.rf.i386.rpm<br />rpm –ivh distcc-server-2.18.3-2.el5.rf.i386.rpm<br />2) 让系统启动时默认加载distccd
分布式编译工具distcc-2.18.3
04-01
distcc-2.18.3 分布式编译工具 distcc-2.18.3 分布式编译工具
android 分布式架构设计,基于Android的分布式控制系统的设计与实现
weixin_39916379的博客
06-03 655
摘要：机器视觉缺陷检测系统正在被广泛的应用于各行各业,正在替代传统的人工挑选残次品的分拣模式.本论文针对机器视觉应用对自动化控制平台的需求出发,旨在设计一个自动化通用控制平台加速机器视觉技术的应用和推广.本论文的主要研究内容和工作如下: 从机器视觉检测系统实现自动化的需求出发,设计了Android工控终端作为主控站,嵌入式软硬件实现分布式节点的分布式控制系统方案.并从Android系统的实时...
Android分布式编译学习（三）dmucs实现负载均衡 —— Ubuntu12.04上部署distcc分布式编译
阿强的一亩三分地，一分耕耘一分收获
12-09 3299
上接 http://blog.csdn.net/eqiang8271/article/details/17166769 Android分布式编译学习（二）—— Ubuntu12.04上部署distcc分布式编译 三. dmucs实现负载均衡      I. 选中某台主机作为dmucs 服务器，进行配置：       1.  开机启动dmucs: 修改 /etc/default/d
Android分布式编译学习（一）distcc实现分布式编译 —— Ubuntu12.04上部署distcc分布式编译
热门推荐
阿强的一亩三分地，一分耕耘一分收获
12-05 1万+
Android代码庞大，如果你是做android系统开发的会经常做full build, 代码编译时间一般4核CPU你得2个小时左右吧，一天你也就编译那么几次了得了，象我们用的40核的服务器一般做full build 18分钟左右，但是一般的工程师在自己的PC上如何编译的更快呢？网上查看了一些资料大部分都是用的distcc，distcc已经好几年的使用时间了，其主要是针对C, C++进行分布式编译
使用distcc进行分布式编译来提高编译速度。
JCracker 在路上
09-08 7472
最近公司的项目快上线了《战甲online》 由于在GameServer中添加的业务模块太多，导致编译速度越来越慢。早期的时候通过C++的前置声明可以提高一些。但是后期发现还是跟不上。 公司的主程安排我来搭建一个分布式编译环境。 环境：centos6.3  1. 要使用distcc当然需要先去安装。这里使用官方源码编译安装。 下载地址：https://code.google.com/p/dist
distcc
abc198999的专栏
09-07 1054
安装  yum install distcc  yum install distcc-server 比如我们在A机器编译, 想借用B机器的cpu, 则A叫做master, B叫做slave 配置: 在slave机器上: 新建账号  adduser distcc vim  /etc/sysconf/distcc  加上: OPTIONS="--nice 5 --jo
Ubuntu分布式编译distcc配置
林多
02-26 3529
Ubuntu分布式编译distcc配置Distcc分布式编译配置Server端Client端测试 Distcc分布式编译配置 在Ubuntu上，可以使用distcc，搭建分布式编译环境。 简单来说就是：让多台电脑，一起进行编译，从而加快编译速度。 以下为Server端（Server端，帮助编译的其他PC），及Client端（客户端，就是自己的PC）。 Server端 这里假定有2个Serve...
Android分布式编译学习（四）各种编译测试对比表 —— Ubuntu12.04上部署distcc分布式编译
阿强的一亩三分地，一分耕耘一分收获
12-12 2154
上接 http://blog.csdn.net/eqiang8271/article/details/17225765  Android分布式编译学习（三）—— Ubuntu12.04上部署distcc分布式编译 引入 distcc + ccache + dumcs  提高编译效率。    如下三个表格针对使用 ccache 和 dmucs 与普通编译的测试比较， 从测
Xmake v2.6.6 发布，分布式编译和缓存支持
TBOOX开源工程
05-25 293
Xmake 是一个基于 Lua 的轻量级跨平台构建工具。 它非常的轻量，没有任何依赖，因为它内置了 Lua 运行时。 它使用 xmake.lua 维护项目构建，相比 makefile/CMakeLists.txt，配置语法更加简洁直观，对新手非常友好，短时间内就能快速入门，能够让用户把更多的精力集中在实际的项目开发上。 我们能够使用它像 Make/Ninja 那样可以直接编译项目，也可以像 CMake/Meson 那样生成工程文件，另外它还有内置的包管理系统来帮助用户解决 C/C++ 依赖库的集成使用问题。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值