关于开源云计算平台软件的一些个人想法

最新推荐文章于 2024-09-26 07:28:45 发布

天府云创

最新推荐文章于 2024-09-26 07:28:45 发布

阅读量1w

点赞数 1

分类专栏：服务器架构

本文链接：https://blog.csdn.net/enweitech/article/details/50403100

版权

服务器架构专栏收录该内容

82 篇文章 4 订阅

订阅专栏

综观许多云计算服务模式，比如用户云（又叫软件即服务）、开发云（又叫平台即服务）和系统云（又叫基础设施即服务），有大量多种多样的应用程序可供选择，既有商业产品，又有免费的开源产品。本文列举目前主流的开源云计算软件，让你可以精挑细选应用程序，为贵企业构建一套可靠、整合的云计算解决方案。

云计算是当今IT界最火热和突出的词汇概念，开源云计算更是被认为是IT的趋势。我们熟知的几个IT巨头的云计算平台，如亚马逊EC 2、IBM的蓝云、微软的Azure、Google的GFS、甲骨文的Sun Cloud等，那么开源云计算的平台又有哪些呢?以下列举了开源中国社区收录的5款知名的开源云计算平台。

关键字：云计算，开源，云计算平台

云管理软件比较产品：Eucalyptus, OpenNebula, OpenStack, OpenQRM, XenServer, Hadoop、Oracle VM, CloudStack, ConVirt

云管理软件比较

产品：

Eucalyptus,

OpenNebula,

OpenStack,

OpenQRM,

XenServer,

Oracle

VM,

CloudStack, ConVirt

1、AbiCloud企业级开源云计算平台

　　Abiquo公司推出的一款开源的云计算平台——“abiCloud”，使公司能够以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施(包括虚拟服务器，网络，应用，存储设备等等)。AbiCloud较之同类其他产品的一个主要的区别在于其强大的Web界面管理。你可以通过拖拽一个虚拟机来部署一个新的服务。这个版本允许通过VirtualBox部署实例，它还支持VMware，KVM和Xen。　　

　　abiCloud架构如下图所示:　

2、Eucalyptus 开源云计算平台

　　Eucalyptus 项目(Elastic Utility Computing Architecture for LinkingYour Programs To Useful Systems)是 Amazon EC2 的一个开源实现，它与商业服务接口兼容。和 EC2一样，Eucalyptus 依赖于 Linux 和 Xen 进行操作系统虚拟化。Eucalyptus 是加利福尼亚大学(SantaBarbara)为进行云计算研究而开发的。您可以从该大学的网站上下载它，或者通过 Eucalyptus Public Cloud体验它，不过后者有一些限制。

　　
3、10gen MongoDB 开源高性能存储平台

　
　　10gen 既是一个云平台，又是一个可下载的开放源代码包，可用于创建您自己的私有云。10gen 是类似于 App Engine的一个软件栈，它提供与 App Engine 类似的功能 — 但有一些不同之处。通过 10gen，可以使用 Python 以及JavaScript 和 Ruby编程语言开发应用程序。该平台还使用沙盒概念隔离应用程序，并且使用它们自己的应用服务器的许多计算机(当然，是在 Linux上构建)提供一个可靠的环境。

　　
4、Enomalism 弹性计算平台

　
5、云计算平台 Nimbus

　　Nimbus由网格中间件Globus提供，Virtual Workspace演化而来，与Eucalyptus 一样，提供EC2的类似功能和接口。

　　Enomaly's Elastic Computing Platform (ECP)是一个可编程的虚拟云架构，ECP平台可以简化在云架构中发布应用的操作。
　　云计算平台是一个 EC2 风格的 IaaS 。Enomalism 是一个开放源代码项目，它提供了一个功能类似于 EC2的云计算框架。Enomalism 基于 Linux，同时支持 Xen 和 Kernel Virtual Machine(KVM)。与其他纯IaaS 解决方案不同的是，Enomalism 提供了一个基于 TurboGears Web 应用程序框架和 Python 的软件栈。

五种主要开源云计算平台特征与性能比较如下表：

Abiquo公司平台	1)abiCloud可以创建管理资源并且可以按需扩展，具有强大的Web界面管理，支持VMware，KVM和Xen。 2）abiNtense，类似于Grid的架构，可用来减少大量高性能计算的执行时间。 3）abiData 由Hadoop，hBase，Pig开发而来，可以用来搭建分析大量数据的应用，是低成本的云存储解决方案。
Eucalyptus	Amazon EC2的一个开源实现，与商业服务接口兼容，依赖于Linux和Xen进行操作系统虚拟化。
10gen MongoDB	可用于创建自己的私有云，类似于App Engine的一个软件栈，提供与App Engine 类似的功能，可使用Python以及JavaScript和Ruby语言开发应用程序。还可使用沙盒概念隔离应用程序，并且使用它们自己的应用服务器的许多计算机（在Linux上构建）提供一个可靠的环境。
Enomalism	可编程的虚拟云架构，EC2风格的IaaS，功能类似于EC2的云计算框架。基于Linux，同时支持Xen和KVM。与其他纯IaaS解决方案不同的是，提供了一个基于TurboGears Web 应用程序框架和Python的软件栈。
Nimbus	Nimbus由网格中间件Globus提供，Virtual Workspace演化而来，与Eucalyptus一样，提供EC2的类似功能和接口。

云计算拥有无限潜力有待人们开发挖掘，云计算的发展将给信息社会的发展带来历史性的飞跃，本文在介绍云计算及云计算平台构架的基础上，总结分析了当前主要的开源云计算平台的特征，通过简单的对比和初步分析，得出：Abiquo公司的abiCloud, abiNtense和abiData都可以用来架构和开发公有私有混合云，其中AbiCloud较之同类其他产品的一个主要的区别在于其强大的Web界面管理。abiNtense可减少大量高性能计算的执行时间。而abiData是一种低成本的云存储解决方案；Eucalyptus和Nimbus有EC2的类似功能和接口，但Nimbus由网格中间件Globus提供；Enomalism是一种可编程的虚拟云架构，与其他纯IaaS解决方案不同的是，提供了一个基于TurboGears Web 应用程序框架和Python的软件栈；10gen MongoDB可用于创建自己的私有云，类似于App Engine的一个软件栈，提供与App Engine 类似的功能。

开源云计算软件的若干优点

虽然市面上有数量众多的商业软件可用于构建云基础设施，但是在你开始花血汗钱之前，也许应该看一下可供使用的开源方案。虽然开源云软件常常被称为是商业云软件的“替代品”，其实根本不是这样。而在许多情况下，开源应用程序是同类软件中率先使用云技术的。

有许多理由求助于开源软件来满足你的云计算要求。如果求助于一个或多个这样的开源应用程序，贵公司可以省下一大笔费用，具体取决于公司规模。此外，你可能会发现自己在与大规模企业竞争，对方其实在运行与你一样的开源软件，实际上让竞争环境变得了公平一点。

但是也有其他理由可能迫使你试一下这些方案。许多云计算开源项目有更庞大的用户群。由于实施软件的门槛很低，有更多数量和类别的人在使用它，而且软件背后常常有充满活力的社区，充当支撑体系。开源项目通常具有创新精神，很短的发布周期推动技术前进。实际上，用户常常根据实际的商业要求来决定下一个特性发布周期。

另外，开源意味着可以随意享用应用编程接口（API）和编写它们所使用的开放标准。应用程序代码库更透明，这常常有助于推动创新前进，加大社区支持。

综观许多云计算服务模式，比如用户云（又叫软件即服务）、开发云（又叫平台即服务）和系统云（又叫基础设施即服务），有大量多种多样的应用程序可供选择，既有商业产品，又有免费的开源产品。你可能会注意到，许多开源项目有着更崇高的目标，原因在于庞大、开发的社区，广大开发者致力于编写创新的软件，希望进一步推动云计算技术。幸好，有开放标准，许多开源应用程序可以彼此联系，让你可以精挑细选应用程序，为贵企业构建一套可靠、整合的云计算解决方案。

这样的应用程序和解决方案就包括如下：Salesforce.com、Google Docs、Red Hat Network、VMware Cloud Foundry、Google AppEngine、Windows Azure、Rackspace Sites、Red Hat OpenShift、Active State Stackato、AppFog、EC2、Rackspace Cloud Files、OpenStack、CloudStack、Eucalyptus、OpenNebula及另外许多。

不妨更近距离地看一看如今市面上的主流开源云计算软件。

一、开源虚拟机管理程序

Xen云平台（XCP）

XCP含有思杰公司的商业发行版XenServer的一小部分功能。它包括Xen API工具堆栈，提供了主机系统池管理、多租户模式、存储库、支持SLA以及预先整合网络和磁盘功能（比如Open vSwitch）。 XCP可以通过ISO来安装，类似XenServer，附有所有一样的驱动程序。虽然与XenServer不一样，但是代码库大部分一样。XCP还可以通过安装在Debian GNU/Linux和Ubuntu Linux中的程序包管理器下的XCP-XAPI程序包来获得和配置。ISO基于CentOS 5.x，使用XAPI本地管理，支持XenServer的大多数功能。然而，它是类似黑盒的设备，只能在CentOS上工作，而XCP-XAPI程序包易于定制、易于从源代码来构建，并以程序包的形式存在，那样你就能围绕它们组装自己的系统。缺点就是，相比ISO，XCP-XAPI在功能方面有一些限制，而且只支持数量有限的存储库类型，而ISO支持大多数类型。

相关链接：http://www.xenproject.org

KVM

基于内核的虚拟机（KVM）是一个开源项目，为在x86硬件上运行的GNU/Linux开发。由于可装入的Linux内核模块（kvm.ko），KVM可与安装有KVM的GNU/Linux系统整合起来，包括针对特定处理器的Linux内核模块（kvm-intel.ko或kvm-amd.ko）。作为一套完整的虚拟化系统，编写了许多外部程序来管理KVM映像。KVM可以运行GNU/Linux或微软Windows系统的多个映像，包括可访问专有的网卡、磁盘、显卡和USB等。虽然KVM与Linux内核整合起来（自Linux 2.6.20起，KVM就是主线代码的一部分），Xen之类的虚拟机管理程序却是外部的，不得不控制安装有KVM的机器，并利用资源管理；KVM充当系统的一部分，使用Linux调度程序和内存管理。目前，KVM需要QEMU（开源模拟器）才能工作，但是撰写本文时，该项目在努力摈弃这种依赖。

云计算平台管理的三大利器

综合利用Nagios、Ganglia和Splunk搭建起的云计算平台监控体系，具备错误报警、性能调优、问题追踪和自动生成运维报表的功能。有了这套系统，就可轻松管理Hadoop/HBase云计算平台。

　　云计算早已不是停留在概念阶段了，各大公司都购买了大量的机器，开始正式的部署和运营。而动辄上百台的性能强劲的服务器，为运营管理带来了巨大的挑战。

　　如果没有方便的监控报警平台，对于管理员而言犹如噩梦，每天都将如救火队员一样，飞快地敲击键盘，用原始的 Unix命令在多台机器中疲于奔命。如果没有好的日志管理平台，对于开发者Troubleshooting更是一件泪流满面的事情。而如果你是运维团队的总负责人，简洁清晰的 Report则非常重要。Stakeholder们动不动就可能问起系统的SLA、机器的利用率等诸多问题，毕竟，公司为此投入了巨大的资金和人力。

　　朋友们，当我们管理起公司寄予厚望的云计算平台时，当我们面对如此多充满挑战的实际问题时，该怎么办？

　　概述

　　我们在搭建趋势云计算平台时，遇到了很多的问题和挑战。开始搭建时，第一次来了那么多性能强劲的机器，我们在感到兴奋的同时，也不免有些顾虑。大家坐在一起讨论，问题就列了满满一白板。

　　出了问题怎么办，有没有预警机制？有没有可视化的管理界面？管理平台需要自己开发吗？开发难度有多大？有没有开源的管理工具？那么多日志分布在各个机器上，有没有更有效的方法管理？能否生成好的报表？机器宕机，管理员能否收到短信通知？如何做性能调优？扩容升级时，能否给出依据？

　　带着这些问题，我们开始了自己的云计算平台管理和运营之旅，一路走来，收获颇丰。现在基本上形成了如图1所示的一整套云计算平台监控体系。

　　图1 云计算平台监控架构

　　在这个系统中，我们综合利用了Nagios、Ganglia和Splunk，搭建起云计算平台监控体系，使其具备错误报警、性能调优、问题追踪和自动生成运维报表的功能。有了这套系统，我们终于能够轻松管理Hadoop/HBase云计算平台了。接下来将简单介绍它们的特点和功能。

　　Nagios：云计算平台的智能报警器

　　总不能天天盯着机器看吧，因此我们首先关心的是机器的监控与报警。最理想的境界是：如果机器出故障了，我能第一时间处理；如果机器没有问题（最好永远没有问题），我能去喝茶、钓鱼和睡大觉。

　　发现机器有没有问题，对我们而言不是什么难事。写个脚本，Ping一下IP，Telnet每台机器的Service端口，如果增加了新机器就改改配置即可。但这样也太原始了吧，可视化效果差，不好维护，没有层次，不好管理，出不来报表，总不能老是用Excel人工写报表吧。有没有更好的方法呢？

　　有，你可以用Nagios。

　　Nagios是一个可运行在Linux/Unix平台之上的开源监视系统，可以用来监视系统运行状态和网络信息。Nagios可以监视所指定的本地或远程主机以及服务，同时提供异常通知功能。

　　Nagios可以提供以下几种监控功能。

　　监控网络服务（ SMTP、POP3、HTTP、NNTP、Ping等）。监控主机资源（处理器负荷、磁盘利用率等）。简单的插件设计使得用户可以方便地扩展自己服务的检测方法。并行服务检查机制。具备定义网络分层结构的能力，并使用“ parent”主机定义来表达网络主机间的关系，这种关系可被用来发现和明晰主机宕机或不可达状态。当服务或主机问题产生与解决时将告警发送给联系人（通过电子邮件、短信、用户定义方式）。具备定义事件处理功能，可以在主机或服务的事件发生时获取更多问题定位。自动的日志回滚。可以支持并实现对主机的冗余监控。可选的 Web界面用于查看当前的网络状态、通知和故障历史、日志文件等。

　　Nagios最好用的地方就是它将这些每天管理员做的工作自动化，你只需设定好要监听的端口即可，它会默默地工作，帮忙定时地去检测服务端口的状态，一旦发现问题，会及时发出报警。报警可以是电子邮件也可以是手机，从而使得管理员第一时间就能收到系统的状况。

　　Nagios的报表功能也很强大。管理员可以很容易地得到每天、每周和每月的Service运行状况。

　　图2 SPN 后台运行的所有Service的当前状态

　　如图2所示，红色部分清楚地标注有问题的机器，点开链接，就可以得到有问题机器的情况。虽然在HBase中，几台Region Server宕机不会对整体服务产生大的影响，但多少会影响到系统的Performance。而且，如果某几台Region Server频繁宕机，对整个系统的稳定性也会产生不好的影响。有了Nagios，我们可以快速定位有问题的机器，及时地将一些机器移除出HBase系统，待调整好了再上线运行，以保证系统的稳定性。

　　现在，Nagios已经成为了很多公司必备的监控工具。只需要简单地配置，就可以实现强大的功能，将管理员从日常烦琐的工作中解放出来。

　　有了Nagios，哪怕就是管理上千台机器，也不会手忙脚乱，而是有一种统领千军、运筹帷幄的感觉。

　　Ganglia：看到云计算平台的方方面面

　　Nagios的确不错，但你是不是真的可以喝茶、钓鱼、睡大觉呢？显然还不行。有了Nagios，你基本上可以做个优秀的救火队员，能在事发第一时间到达现场、处理事故。但如何防患于未然，真正做到运筹帷幄、游刃有余呢？

　　我们需要更加精确的数据，能够看到云计算平台的方方面面，能根据这些数据，做出性能调整、升级、扩容等的决策，从而保证Service能够满足不断增长的业务需求。

　　这时候，你需要Ganglia。

　　Ganglia是UC Berkeley发起的一个开源实时监视项目，用于测量数以千计的节点，为云计算系统提供系统静态数据以及重要的性能度量数据。Ganglia系统基本包含以下三大部分。

　　Gmond：Gmond运行在每台计算机上，它主要监控每台机器上收集和发送度量数据（如处理器速度、内存使用量等）。

　　Gmetad：Gmetad运行在Cluster的一台主机上，作为Web Server，或者用于与Web Server进行沟通。

　　Ganglia Web前端：Web前端用于显示Ganglia的Metrics图表。

　　Hadoop和HBase本身对于Ganglia的支持非常好。通过简单的配置，我们可以将Hadoop和HBase的一些关键参数以图表的形式展现在Ganglia的Web Console上。这些对于我们洞悉Hadoop和HBase的内部系统状态有很大的帮助。

　　在Hadoop的conf文件夹下面，找到hadoop-metrics.properties，配置好Ganglia的Server即可。这里要注意，Ganglia 3.0和Ganglia 3.1的区别，它们使用了不同的class。

　　dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31

　　dfs.period=10

　　dfs.servers={Ganglia_Server}:8649

　　有了这些图表，Hadoop和HBase就不再是一个黑盒。无论是Hadoop的Namenode、Datanode，还是HBase的MasterServer、RegionServer任何时刻的情况，都会一目了然。由于图标的跨度可以是小时、天、月甚至是年，这样，就可以非常方便地定期生成周报、月报和年报。同时，根据图中Metrics的状况，我们可以通过调整参数、增加内存和硬盘、增加机器等的方法调整单个机器或者整个Service的性能。

　　图3 Hadoop其中一个DataNode的Metrics

　　Nagios 最大的问题在于不能洞悉到Service内部的状况。像Hadoop、HBase这样的分布式系统，一个节点的故障并不等于整个Service的故障，影响的只是Service的性能。所以，在测定Service的SLA时，我们不能以某一台机器的故障作为Service故障的评判标准。比如在我们的HBase SLA的设定上，我们定义了HBase Service完全不能工作的评判标准如下。

　　Master Server 联系不上。所有 RegionServer 都无法联系上。-ROOT- 表无法访问。.META. 表无法访问。

　　图4 Ganglia对Hadoop/HBase使用情况的监测

　　那么，我们就可以根据这个规则定义SLA，通过定期调用HBaseAdmin相应API ，将测试的结果发给Ganglia。采用同样的方法，我们还可以自定义一些规则，监视HBase Master、Zookeeper等的情况。

　　通过这些方法，我们完全能够针对Hadoop/HBase使用的实际情况，做出Service级别而不是机器级别的监控系统并生成报表。

　　此外，Ganglia还可以通过Server反馈回来的Load信息，给出各个机器的Load情况，给我们做升级和扩容提供依据。

　　如图5所示，Ganglia分别会用不同颜色，标注出当前时刻的机器Load分布情况。如果Load过重，就应该检查机器的具体使用情况。

　　图5 HBase Cluster Load Metrics

　　Ganglia的安装配置，可以参考：http://www.spnguru.com/?p=604。

　　Splunk：像查Google一样查日志

　　有了Nagios和Ganglia，算是成功了一大半。作为一名优秀的管理员，我们需要具备一定的Troubleshooting能力，对一些常见的问题能给出解决方案。那么，对日志的分析就必不可少。

　　但Hadoop/HBase的日志分布在各个机器上面，而日志之间关联性强。Client端的错误有可能是Region Server引起，而Region Server的错误有可能是Zookeeper导致。有没有一个统一的日志管理平台呢？

　　众里寻它千百度，蓦然回首，我们找到了Splunk——日志界的Google。

　　很遗憾，Splunk不是开源的，但它的免费版本提供每天500MB日志索引。如果数据量较小，通过定义好Log的级别，基本上也能满足需求。但对于数据量较大的公司，就有些捉襟见肘。

　　Splunk支持AdHoc的日志搜索，而且可以与Nagios配合使用。比如Nagios报警某台RegionServer端口不可达，我们收到Notification后，登录Splunk，直接搜索shutdown和host名称，找到RegionServer退出的日志。点击详细信息，分析日志，就能快速定位问题。如图6所示。

　　图6 Splunk与Nagios配合使用进行日志搜索

　　对Hadoop和HBase有了进一步了解后，我们可以利用Splunk实时检测日志中的关键字，定义关键字规则，如监控“shutdown”、“quit”、“ERROR”、“Zookeeper Session Expired”等，一旦出现，利用Splunk的Notification功能，发出邮件通知管理员，管理员通过Splunk定位问题，就可以在系统真正出现问题之前，对系统进行调整，防患于未然。

　　具体Splunk的设置，可以参考：http://www.spnguru.com/?p=122。

　　总结

　　搭建一套云计算平台，强大的监控管理系统是必不可少的。当然，任何工具都不是万能的，在实际维护过程中，我们也发现，Nagios和Splunk经常出现误报，如果规则定义得不好，大量的警报邮件如潮水一样涌来，反而掩盖了真正的问题。可以说，在云计算平台的运维管理上，没有一劳永逸的事情，随着规模的不断增大和应用的不断多样化，需要大家不断地实践和总结。

参考：云计算 - 开源软件库 - 开源中国社区 http://www.oschina.net/project/tag/220/cloud

15个你可能不知道的开源云平台 - skyme - 博客园 http://www.cnblogs.com/skyme/archive/2012/06/05/2536185.html