分布式中三个基本（存储，集群和RPC）

最新推荐文章于 2024-06-16 17:02:58 发布
最新推荐文章于 2024-06-16 17:02:58 发布
阅读量638 收藏 1
点赞数
分类专栏： java 文章标签： java 分布式 集群 RPC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zh_android/article/details/101007279
版权

分布式中三个基本（存储，集群和RPC）

分布式存储：包括内存和磁盘两种介质

  1. 分布式文件系统
  2. NOSQL(mongodb)
  3. 缓存（redis，memecache）

集群 分类：包括主从和多服务

  1. 高可用集群
  2. 负载均衡集群
  3. 科学计算集群

RPC底层通讯常用的是NIO,如：netty

基于RPC技术：

  1. WebService
  2. RMI
  3. Hession

RPC机制部分：

  1. Java原生序列化
  2. Socket通信
  3. 动态代理
  4. 反射机制

RPC路由策略：

  1. F5硬件负载均衡器
  2. SLB软件负载均衡

 


 

Frank浩
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
分布式系统集群的搭建 -- 存储篇
02-25 797
概述 在网络层的背后，每一个业务都需要数据的支撑，数据库的优化在整个系统中就显得至关重要了 虽然NoSQL在并发性能上要优于传统的DBA，但由于MySQL在扩展性等方面的优势，MySQL依然作为企业级数据存储的首选 MySQL数据库内部缓存使用 建立适当索引 对于MySQL优化，最简单的做法就是建立索引，在表数据量较大时可以起到快速检索数据的...
分布式RPC调用和分布式文件存储_FastDFS
LiLi的博客
11-10 2210
FastDFS 一、 简介 技术论坛： http://bbs.chinaunix.net/forum-240-1.html 资源地址： https://sourceforge.net/projects/fastdfs/ 源码资源： https://github.com/happyfish100 FastDFS 是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。 特别适合以文件为载体的在线服务，如相册网站、视频
分布式系统与集群：区别与联系
最新发布
weixin_44814196的博客
06-16 482
分布式系统和集群是现代计算领域中常见的两种架构，它们在设计目标、应用场景和技术实现上有显著的区别，同时也有一些共同点。分布式系统通过将一个大型任务分解成多个子任务，分配到不同的节点进行并行处理，以提高处理能力和效率，并实现高可用性和扩展性。集群则通过部署多个相同的系统实例，均衡负载，提高性能和可靠性。
分布式RPC调用和分布式文件存储_Dubbo 实战
LiLi的博客
11-09 2690
Dubbo 实战 主要内容 Dubbo 简介 Dubbo 架构详解 Dubbo 支持的协议 Dubbo 支持的注册中心 Dubbo 应用 Spring Boot 整合 Dubbo Dubbo 监控与管理 Dubbo 中服务的负载均衡 Dubbo 项目打包方式 Dubbo 实战案例 一、 Dubbo 简介 1 Dubbo 是什么 Dubbo 官网地址：http://dubbo.apache.org/zh-cn/ Dubbo 最早是 Alibaba 开源的分布式服务框架，它最大的特点是按照分层的方式来架构，
深入理解 RPC 之集群篇
架构师小秘圈
03-04 514
上一篇文章分析了服务的注册与发现，这一篇文章着重分析下 RPC 框架都会用到的集群的相关知识。集群(Cluster)本身并不具备太多知识点，在分布式系统中，集群一般涵盖了负载均衡（Load...
分布式RPC调用和分布式文件存储——Zookeeper
LiLi的博客
11-08 506
Zookeeper 实战 主要内容 Zookeeper 简介 Zookeeper 存储结构 监听通知 安装 Zookeeper Zookeeper 常用命令 使用 Java API 操作 Zookeeper Zookeeper 实战 一、 Zookeeper 简介 1 什么是 Zookeeper Zookeeper 官网：http://zookeeper.apache.org/ Zookeeper 是 Apache 的一个分布式服务框架，是 Apache Hadoop 的一个子项目。官方 文档上这么解释 Z
curve分布式存储系统-其他
06-11
curve的设计开发始终围绕三个理念：一是顺应当前存储硬件设施发展趋势，做到软硬件结合打造顶级的存储产品；二是秉持“Simple Can be harder than complex”，了解问题本质情况下选择最简单的方案解决问题；三是拥抱...
Dubbo-RPC分布式服务框架.pptx
08-06
Dubbo-RPC分布式服务框架 Dubbo 是阿里巴巴开发的一个分布式服务框架，每天为2千多个服务提供大于30亿次的访问量支持，并被广泛应用于阿里巴巴集团的各成员站点。 Dubbo 最新的版本是 2.5.3。 Dubbox 是当当网基于...
分布式RPC框架Apache Dubbo
08-15
1. Zookeeper介绍：Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终将简单易用的接口和性能高效、功能稳定...
9、hadoop高可用HA集群部署及三种方式验证
05-29
在开始之前，我们需要确保已满足两个前提条件：Zookeeper集群的正常运行和SSH免登录配置，特别是NameNode之间的相互免密。 **一、HA集群规划** 规划阶段主要涉及HDFS的配置，这里以支持两个NameNode的示例来说明。...
集群 分布式存储----Ceph
weixin_43400640的博客
10-13 433
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过看i算计网络与节点相连。 分布式文件系统的设计基于客户机/服务器模式 常用分布式文件系统 Lustre ， Hadoop ， FsatDFS , Ceph , GlusterFS Ceph组件 OSDs：存储设备 Monitors：集群监控组件 MDSs：存放文件系统的...
分布式集群下的RPC限流方案
走在前往架构师的路上
01-03 1817
文章目录前言 前言 如今在大数据时代，面对如今规模数据体量快速增长的一个阶段，HDFS单集群模式已经无法支撑更加平稳高效的数据服务能力。多集群联合模式逐渐成为一种新的架构尝试，笔者所在公司亦是如此。我们内部目前采用了社区的RBF（Router-based Federation ）方案来做统一的数据服务。最近我们在尝试解决一个棘手的问题：多用户的RPC隔离问题。这个问题其实在原始HDFS单集群模式本身也是存在的，但是在多集群模式下这个问题只会变得更为严重。多集群模式下，更多的用户数据被写入到集群，而这也意味
Ceph分布式存储集群原理及其部署
Code for need ,Code for fun
12-04 2303
一、为什么要用Ceph ⾼高扩展性 ⾼高性能 ⽆无单点的分布式⽂文件存储系统 可⽤用于对象存储，块设备存储和⽂文件系统存储 读写速度快利利于共享 ceph FS 可以作为Hadoop后端数据存储池，可代替HDFS的存储方案。 Ceph与KVM虚拟化结合，ceph块存储RBD可作为KVM虚拟化的后端存储。 ceph块存储RBD可作为openstack的后端存储。 Ceph的RGW与OwnClou...
分布式架构核心RPC原理
区块链之美
04-08 459
https://blog.csdn.net/dongnaosenlu/article/details/76998419在应用的迭代演进过程中，随着系统访问量提高，业务复杂度提高，代码复杂度提高，应用逐渐从单体式架构向面向服务的分布式架构转变。RPC（Remote Procedure Call Protocol远程过程调用）是分布式架构的核心，按响应方式分如下两种：同步调用：客户端调用服务方方法，等...
部署 Hadoop 高性能集群
11-06 446
Hadoop 概述 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 分布式文件系统为海量的数据提供了存储，则 MapReduce 为海量的数据提供了计算。 网方网站：http://hadoop.apache.org/ Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。 官方网站下载
使用Springboot + Dubbo + Zookeeper + Redis实现远程RPC的数据存储和服务层负载均衡（一）
wangdw93的博客
11-28 181
最近在学习java的一些框架技术，也参考了一些博客文章，在此做个自己写的demo记录 第一步：创建并生成自定义接口jar包 新建maven工程 创建简单的实体类和接口： 此处我写了2个接口，用于Redis的存，取数据： 使用mvn clean install 打包成jar包，也可以用idea右侧maven直接操作。 pom.xml文件如下： <...
惠普架构师解密从分布式到微服务，深入理解RPC、内存、存储、检索等问题
weixin_57907028的博客
08-19 136
微服务”架构在这几年被广泛传播，变得非常火热，以至于关于微服务架构相关的开源框架和工具都变得越来越活跃，比如: Netlix OSS、Dubbo、Apache Thrift等。Spring Cloud也因为Spring社区在企业应用领域的广泛知名度和强大影响力，受到了广大架构师与开发者的高度关注。分布式架构与微服务平台是当今IT界的关键技术，也是资深软件工程师和系统架构师必须掌握的核心技术。本书以从传统分布式架构迁移到基于容器技术的微服务架构为主线，全面、透彻地介绍了与分布式架构及微服务相关的知识和技术。
Ceph分布式存储 原理+架构图详解
Yuzhang2046的博客
06-05 3308
存储机制会把数据分散存储到多个节点上，具有高扩展性、高性能、高可用性等优点。
集中式存储与分布式存储的区别
qq_40372902的博客
11-10 1479
是指将数据存储在单个服务器或数据中心中，通过一台或多台服务器来管理数据。是指将数据存储在多个服务器或数据中心中，通过计算机网络来实现数据的共享和访问。
Ceph存储集群：统一分布式存储在云计算中的应用
"该文档是章宇关于Ceph存储集群及其在云计算中应用的分享，主要涵盖了Ceph的基本概念、技术特点、应用场景以及其发展历史和生态系统。" Ceph是一种统一的分布式存储系统，旨在提供卓越的性能、可靠性和可扩展性。它...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Frank浩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值