分布式文件系统
文章平均质量分 95
分布式文件系统
willinux
github地址:https://github.com/stephenix
展开
-
was
https://zhuanlan.zhihu.com/p/33951960转载 2020-06-30 21:10:52 · 112 阅读 · 0 评论 -
ycsb使用
1.是什么YCSB(Yahoo! Cloud Serving Benchmark),是雅虎开源的一款通用的性能测试框架。2.可以做什么可以测试数据库,或者支持数据库操作的产品性能。内嵌了一些数据库产品和测试,并支持自定义数据库的测试,测试结果是吞吐量和延迟,可以了解数据库性能。3.ycsb执行的原理ycsb的目录:bin目录:目录下有个可执行的ycsb文件,是个python脚本,是用户操作的命令行接口。ycsb主逻辑是:解析命令行、设置java环境,加载java-libs,封装成可以执行的j原创 2020-06-30 21:01:13 · 2925 阅读 · 0 评论 -
Ceph剖析:数据分布之CRUSH算法与一致性Hash
转自:http://www.cnblogs.com/shanno/p/3958298.html?utm_source=tuicool写的太好了,谢谢分享,保存起来。数据分布是分布式存储系统的一个重要部分,数据分布算法至少要考虑以下三个因素:1) 故障域隔离。同份数据的不同副本分布在不同的故障域,降低数据损坏的风险;2) 负载均衡。数据能够均匀地分布在磁盘容量不等的存储节点,避免部分转载 2015-06-12 16:19:38 · 1069 阅读 · 0 评论 -
一致性hash算法和CEPH CRUSH
一致性hash算法和CEPH CRUSH Ceph之CRUSH算法讨论了一上午,来记录下自己的收获。最大的收获就是一致性hash算法的学习,最后再补充下对ceph的认识。1. 一致性hash算法一致性hash算法是一种数据分布算法,数据分布算法至少需要考虑三点:1)故障域隔离。同份数据的不同副本分布在不同的故障域,降低数据损坏的风险;2) 负载均衡。数据能够均原创 2015-06-12 16:13:38 · 3301 阅读 · 0 评论 -
TFS erasure code实现方案
http://csrd.aliapp.com/?p=1841转载 2015-09-18 17:04:34 · 515 阅读 · 0 评论 -
负载均衡
负载均衡负载均衡是一个广泛而普遍存在的一个问题。常见的分布式系统如分布式缓存,分布式存储,分布式计算,分布式数据库等等,都存在这个问题。分布式缓存中可能会遇到短时间内集中访问同一个缓存的情况;分布式存储可能单机磁盘使用过度;分布式计算可能会有单点的计算负担过重;分布式数据库可能会有单机访问量过大。参考[1]作者总结的负载均衡定义:在多点协作的系统中由于不合理的任务分配导致某个或者少量的某些节点处理负转载 2015-09-20 19:32:02 · 477 阅读 · 0 评论 -
虚拟内存 分页
虚拟内存 分页昨天参加XX头条笔试,关于内存管理的两道题,赞。 原题:程序读取数据时为什么用虚拟地址,而不直接用物理地址?为什么要分页?第1题:我当时想,是啊,为什么不直接用物理地址,用虚拟地址还要转换成物理地址,岂不是过程又慢了; 第2题:分页,刚开始是分段的,为什么变为段页式管理? 好了请看下文:1. 早期的内存分配机制在早期的计算机中,要运行一个程序,会把这些程序全都装入内存,程序转载 2015-10-11 16:51:27 · 1182 阅读 · 0 评论