经典论文解析
文章平均质量分 90
zhangyifei216
这个作者很懒,什么都没留下…
展开
-
6.824: Distributed Systems 课程讲义1
什么是分布式系统?多计算机协作DNS,P2P的文件共享大型数据 MapReduce,以及很多的关键性基础架构都是分布式的。为什么要分布式?去连接物理上分离的实体去通过隔离获得安全性去通过复制来容错去通过并行的CPU/mem/disk/net来达到横向扩展但是这很负责, 许多并发的组件,必须处理好部分组件失败的情况,也 很难去了解性能的瓶颈MAIN TOPICS关于抽象,就是隐藏了分原创 2016-11-19 16:38:09 · 1338 阅读 · 0 评论 -
6.824: Distributed Systems 课程讲义2
线程线程是一个服务器构建的基本工具,你将会在很多lab中使用,在分布式系统中可以解决一些棘手的问题,在go中称线程为携程,其它的地方称之为线程。线程允许一个程序做在同一时间做很多事情,这些线程共享内存,每一个线程包含一个独有的状态信息:程序计数器, 寄存器,堆栈为什么是线程?使用线程可以达到并发的效果,而并发在分布式系统中是经常出现的。 1. IO并发 当等待另外一个服务器给予响...原创 2016-11-26 21:06:31 · 1408 阅读 · 0 评论 -
MapReduce论文笔记
什么是MapReduce? 它是一种编程模型,其思想来自于函数式编程,和Python,Lisp语言中的map和reduce函数类似,其次它也是处理大数据集的一种实现,抽象出一个Map接口和一个Reduce接口,屏蔽底层的基础设施的细节,让使用者可以轻松的编写分布式的应用。实现MapReduce需要解决哪些问题?输入的数据如何分割大量计算机组成的集群如何调度集群中的计...原创 2016-11-19 15:46:17 · 2187 阅读 · 0 评论 -
6.824: Distributed Systems 课程讲义3
什么是一致性?分布式系统中,数据通常会通过复制进行冗余,当应用程序并发访问这些数据的时候,如果保证访问的数据是一致的。如果一个应用程序写入了新的数据,那么之后来访问数据的应用能否看到新增的数据呢? 这就是一致性问题了,通常一致性有几种类型:弱一致性读的时候可能会返回老数据,不保证能访问到新写入的数据。强一致性读的时候总是返回最新写入的数据。两者之间的关系强一致对于应用写入...原创 2018-10-29 14:25:26 · 492 阅读 · 0 评论 -
GFS论文笔记
GFS的设计目标分布式文件系统的共同设计目标:性能可伸缩性可靠性可用性GFS根据自己情况重新设计的目标:组件失效是常态事件,而不是意外事件,因此要有持续的监控、错误侦测、灾难冗余、自动恢复等机制不能以管理大文件的方式来管理小文件,所以IO操作和Block的尺寸都需要重新考虑数据的追加操作是性能优化和原子性保证的主要考量因素应用程序和文件系统API协同设计,提高整个系统的灵...原创 2019-05-30 12:28:35 · 793 阅读 · 0 评论