对象存储
文章平均质量分 65
zhangvalue
在奋进的路上,大家都是独行者!
展开
-
MinIO 分布式集群搭建
分布式 Minio 可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式 Minio 避免了单点故障。Minio 分布式模式可以搭建一个高可用的对象存储服务,你可以使用这些存储设备,而不用考虑其真实物理位置。1、数据保护分布式 Minio 采用纠删码(erasure code)来防范多个节点宕机和位衰减(bit rot)。分布式 Minio 至少需要 4 个节点,使用分布式 Minio 就自动引入了纠删码功能。纠删码是一种恢复丢失和损坏数据的数学算法,原创 2021-02-09 16:20:21 · 744 阅读 · 0 评论 -
在Centos7上进行MinIO分布式搭建
一、首先准备四台服务器节点采用的是Centos7安装好VM之后随后创建4个虚拟机先配置sshvi /etc/hosts192.168.237.130 master192.168.237.128 slaver192.168.237.129 slave2192.168.237.131 slaver3ssh-keygen -t rsassh-copy-id -i ~/.ssh/id_rsa.pub slaverdf -hmount /dev/sda1 /data/minio原创 2021-02-09 15:53:38 · 694 阅读 · 0 评论 -
开源对象存储方案
CephCeph是一种分布式对象、块和文件存储平台。Ceph的软件库为客户端应用程序提供了这种功能:直接访问基于RADOS对象的存储系统,还为Ceph的一些高级功能提供了基础,包括RADOS块设备(RBD)、RADOS网关和Ceph文件系统。参阅《面向OpenStack的Ceph存储入门介绍》:https://opensource.com/business/15/1/introduction-ceph-storage-openstack。许可证:http://ceph.com/legal-page/t原创 2021-01-13 15:22:12 · 961 阅读 · 0 评论 -
阿里云设计:数据持久化12个9
阿里云设计:数据持久化12个9随着信息通信技术的发展,数据持续增加,对存储的要求越来越高,可能是结构化的文档,也可能是非结构化的图片和视频。因此,海量数据的存储和访问是云服务领域研究的热点。传统的方式是人们使用更大容量的硬盘来存储大量数据,这样不仅会产生额外的硬件资源成本,而且会限制数据访问的移动性。然而,随着云存储技术的发展,用户可以将自己的数据上传到云上,并将数据的管理交付给云服务提供商,这样,用户无需携带庞大的存储设备就可以随时随地访问自己的数据。虽然云存储技术使用户更方便地管理数据,但是数据的持久原创 2021-01-05 10:01:43 · 1531 阅读 · 0 评论 -
中心化云与去中心化云有什么区别
中心化云服务是大量数据集中在统一的云平台上。去中心化云服务是数据储存不在一个中心,而是分散于全球各个节点。去中心化云服务衍生出更多去中心化的应用。原创 2020-12-31 16:20:46 · 813 阅读 · 0 评论 -
对象存储调研四华为云OBS
华为云对象存储OBS架构华为云对象存储服务(Object Storage Service ,OBS)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。OBS的基本组成是桶和对象,其中对象是OBS中数据存储的基本单位,一个对象实际是一个文件的数据与其相关属性信 息的集合体,包括Key 、 Metadata 、Data三部分。华为云针对OBS提供的REST API进行了二次开发,为您提供了控制台、SDK和各类工 具,方便在不同的场景下轻松访问OBS桶以及桶中的对象。当然您也原创 2020-12-31 16:10:14 · 951 阅读 · 0 评论 -
对象存储调研三开源MinIO
MinIO对象存储简介MinIO对象存储系统是为海量数据存储、人工智能、大数据分析而设计,基于Apache License v2.0开源协议的对象存储系统,它完全兼容Amazon S3接口,单个对象最大可达5TB,适合存储海量图片、视频、日志文件、备份数据和容器/虚拟机镜像等。MinIO主要采用Golang语言实现,整个系统都运行在操作系统的用户态空间,客户端与存储服务器之间采用http/https通信协议。MinIO架构MinIO采用去中心化的无共享架构,对象数据被打散存放在不同节点的多块硬盘原创 2020-12-31 15:59:40 · 461 阅读 · 0 评论 -
对象存储调研二阿里云OSS
阿里云对象存储OSSOSS概念阿里云OSS的优势OSS的存储空间OSS存储基本单元OSS对比文件系统OSS对比自建服务器存储阿里云OSS的存储类型OSS存储类型对比OSS的计费方式OSS的费用构成OSS使用限制...原创 2020-12-31 15:30:55 · 196 阅读 · 0 评论 -
对象存储调研一
1、对象存储简介对象存储,也称为“面向对象的存储”,英文是Object-based Storage。OBS是一种新型的网络存储架构,基于对象存储技术的设备就是对象存储设备(Object-Based Storage Device),简称 OSD。对象存储 OBS 综合了 NAS 和 SAN 的优点,同时具备SAN 的高速直接访问和 NAS 的分布式数据共享等优势,提供了具有高性能、高可靠性、跨平台以及安全的数据共享和存储体系结构。对象存储的命名,是由其存储数据的格式来的,它的数据是以对象object的原创 2020-12-31 15:19:56 · 362 阅读 · 0 评论 -
HDFS的优缺点和缺陷
1、选择 HDFS 存储数据,是因为 HDFS 具有以下优点:(1) 高容错性数据自动保存多个副本。它通过增加副本的形式,提高容错性。某一个副本丢失以后,它可以自动恢复,这是由 HDFS 内部机制实现的,我们不必关心。(2) 适合批处理它是通过移动计算而不是移动数据。它会把数据位置暴露给计算框架。(3) 适合大数据处理数据规模:能够处理数据规模达到 GB、TB、甚至PB级别的数据。文件规模:能够处理百万规模以上的文件数量,数量相当之大。节点规模:能够处原创 2020-12-31 11:11:53 · 12452 阅读 · 0 评论 -
对象存储原理(组成结构、访问方式、优缺点)
1、对象数据组成结构与块存储和文件存储管理数据的方式不同,对象存储是以对象的形式管理数据的。对象和文件最大的不同,就是在文件基础之上增加了元数据。一般情况下,对象分为三个部分:数据、元数据以及对象id。对象的数据通常是无结构的数据,比如:图片、视频或文档等;对象的元数据则指的是对象的相关描述,比如:图片的大小、文档的拥有者等;对象id则是一个全局的唯一标识符,用来区分对象的。从数据结构来看,这三种存储有着根本不同。块存储的数据结构是数组,而文件存储是二叉树(B,B-,B+,B*各种树),对象存储基本上原创 2020-12-31 10:58:41 · 4568 阅读 · 0 评论 -
数据存储在OBS和HDFS有什么区别
数据存储在OBS和HDFS有什么区别?MRS集群处理的数据源来源于OBS或HDFS,HDFS是Hadoop分布式文件系统(Hadoop Distributed File System),OBS(Object Storage Service)即对象存储服务,是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据,客户可以基于云管理平台Web界面和OBS客户端对数据进行浏览、管理和使用,同时可以通过REST API接口方式单独或集成到业务程序进行管原创 2020-12-24 18:51:23 · 1644 阅读 · 1 评论 -
对象存储
我们知道,在很长的一段时间里,这三种架构几乎统治了数据存储市场。所有行业用户的数据存储需求,都是在这三者中进行选择。然而,随着时代的发展,一种新的数据存储形态诞生,开始挑战前面三者的垄断地位。没错,它就是云计算时代存储技术的新网红——对象存储。对象存储,也称为“面向对象的存储”,英文是Object-based Storage。现在很多云厂商,也直接称之为“云存储”。不同的云厂商对它有不同的英文缩写命名。例如阿里云把自家的对象存储服务叫做OSS,华为云叫OBS,腾讯云叫COS,七牛叫.原创 2020-11-28 09:07:31 · 6312 阅读 · 1 评论 -
常见三种存储方式DAS、NAS、SAN的架构及比较
随着主机、磁盘、网络等技术的发展,数据存储的方式和架构也在一直不停改变,本文主要介绍三种主流存储方式DAS、NAS、SAN的架构及比较DAS即直接连接存储(Direct Attached Storage),NAS即网络接入存储(Network Attached Storage),SAN即存储区域网络(Storage Area Network)。存储的分类根据服务器类型分为:封闭系统的存储(封闭系统主要指大型机)开放系统的存储(开放系统指基于Windows、UNIX、Linux等操作原创 2020-11-26 22:56:32 · 2559 阅读 · 0 评论