分布式系统
网络空间发展与战略研究中心
这个作者很懒,什么都没留下…
展开
-
远程过程调用(RPC)详解
原文同步至 http://waylau.com/remote-procedure-calls/本文介绍了什么是远程过程调用(RPC),RPC 有哪些常用的方法,RPC 经历了哪些发展阶段,以及比较了各种 RPC 技术的优劣。什么是 RPCRPC 是远程过程调用(Remote Procedure Call)的缩写形式,Birrell 和 Nelson 在 1984 发表于 A转载 2017-08-01 18:48:47 · 1199 阅读 · 0 评论 -
RabbitMQ、ActiveMQ、ZeroMQ、Kafka之间的比较汇总
MQ框架非常之多,比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个?要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。第一部分:RabbitMQ,ActiveMq,ZeroMq比较1、 TPS比较 一ZeroMq 最好,RabbitMq 次之, ActiveMq 最差。这个结论来自于以下这篇文章。转载 2017-08-02 11:01:06 · 602 阅读 · 0 评论 -
分布式哈希算法DHT
我们从浅入深一步一步介绍什么是分布式哈希表。哈希函数哈希函数是一种计算方法,它可以把一个值A映射到一个特定的范围[begin, end]之内。对于一个值的集合{k1, k2, … , kN},哈希函数把他们均匀的映射到某个范围之中。这样,通过这些值就可以很快的找到与之对应的映射地址{index1, index2, … , indexN}。对于同一个值,哈希函数要能保证对这个值的运算转载 2017-08-07 12:10:07 · 4525 阅读 · 0 评论 -
分布式散列表DHT
虽然网上搜索CHord,一搜一大堆,但大多讲得不太清楚明白。今天发现一篇blog,图文并茂,逻辑清楚且易懂,特意转载收藏。作者:gnuhpc 出处:http://www.cnblogs.com/gnuhpc/P2P的一个常见问题是如何高效的定位节点,也就是说,一个节点怎样高效的知道在网络中的哪个节点包含它所寻找的数据,如下图:对此,有三种比转载 2017-08-07 14:31:00 · 2103 阅读 · 0 评论 -
分布式机器学习平台比较
摘要: 机器学习,特别是深度学习(DL),最近已经在语音识别、图像识别、自然语言处理、推荐/搜索引擎等领域获得了成功。这些技术在自主驾驶汽车、数字卫生系统、CRM、广告、物联网等方面都存在着非常有前景的应用。当然,资金驱动着这些技术以极快的速度向前发展,而且,最近我们已经看到了有很多机器学习平台正在建立起来。这篇文章调查分析了多个分布式机器学习平台所使用的设计方法,并提出了未来的研究方转载 2017-08-15 10:51:27 · 3581 阅读 · 0 评论 -
分布式系统副本复制和一致性
多副本的存在是提升一个分布式系统可靠性、可用性、性能以及可扩展性的必要手段,有点像“狡兔三窟”,一个出口堵上了,还有其它的备选出口可供逃生。复制可以提高系统的可靠性显而易见,多个副本可以用于分流(如数据库的一主多从结构)也可以用于加快响应时间(如cdn),这使得复制具有增强系统可用性和扩展性的效用。实现数据复制,不仅会涉及到副本的管理(包括副本的存放位置、多副本之间内容的分发),还包括如何保持多个转载 2017-09-18 09:41:35 · 1106 阅读 · 0 评论 -
分布式事务、两阶段提交协议、三阶提交协议
随着大型网站的各种高并发访问、海量数据处理等场景越来越多,如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题,大型网站的架构也在不断发展。提高大型网站的高可用架构,不得不提的就是分布式。在《分布式系统的一致性探讨》一文中主要介绍了分布式系统中存在的一致性问题。本文将简单介绍如何有效的解决分布式的一致性问题,其中包括什么是分布式事务,二阶段提交和三阶段提转载 2017-09-20 16:23:22 · 317 阅读 · 0 评论 -
混合云场景下安全与高效的MapReduce计算SEMROD: Secure and Efficient MapReduce Over HybriD Clouds (SIGMOD2015)
现在,很多组织机构收集大量的用户数据进行各式各样地分析。例如,商业公司通过分析用户点击流数据来挖掘用户的偏好信息,以期能够为用户提供特定的广告服务。组织机构内部的计算能力常常是有限的,并不能够支持复杂的数据分析任务。这种计算能力的限制过去常常是这些组织结构的一大障碍,现在的公有云服务(如,Amazon EC2)提供了一种可行的办法。但是,组织机构将自己数据上传到公有云上后如何进行安全地计算,是一个...原创 2018-06-13 15:11:23 · 313 阅读 · 0 评论