Direct Memory读写流程分析

最新推荐文章于 2024-01-04 19:07:19 发布
最新推荐文章于 2024-01-04 19:07:19 发布
阅读量395 收藏
点赞数
分类专栏： JVM基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhuxuemin1991/article/details/103946106
版权

之前我们看出来了直接内存和传统IO操作的区别，我们针对底层流程加以说明。

BybeBuffer方式

在这里插入图片描述如图所示，我们一般的IO读取过程时，程序需由用户态切换成内核态，当从ByteBuffer中读取数据时，系统会先从磁盘把文件读取到系统内存区，再从系统内存读取到Java堆内存，需要多一次内存拷贝过程。

Direct Memory方式

在这里插入图片描述
Direct Memory方式情况下，Java程序会直接从系统内存中开辟一块内存空间，对应的是我们的ByteBuffer.allocateDirect(_256M);这句代码，这部分内存系统内存可以访问，Java程序也可以直接访问，直接就减少了交互过程，这个就是直接内存会工作快点的原因。

敏叔V587
关注
专栏目录
【Flink】Flink报错OutofMemoryError : Direct buffer memory
九师兄
07-01 3940
文章目录1.背景3.源码分析2.场景22.1 概述3.场景33.1 概述M.参考 1.背景 错误如下 3.源码分析 首先找到readFrom方法 public long readFrom(ScatteringByteChannel channel) throws IOException { return readFromReadableChannel(channel); } 然后看看readFromReadableChannel方法 // Need a method to r
java direct memory_JVM直接内存(Direct Memory)
weixin_29063681的博客
02-12 993
直接内存1.直接内存不是虚拟机运行时数据区的一部分，也不是《Java虚拟机规范》中定义的内存区域。2.直接内存是Java堆外的、直接向系统申请的内存区间。3.简单理解： java process memory = java heap + native memory示例代码：/*** IO NIO (New IO / Non-Blocking IO)* byte...
Netty报Direct buffer memory错误
热门推荐
u010906369的专栏
12-02 1万+
最近在基于Netty实现NIO方面做应用底层通讯架构（服务发现，分布式，高可用，软负载）。遇到java.lang.OutOfMemoryError: Direct buffer memory内存溢出错误，查了很多网上材料都不好使，这里总结一下我的解决方案。 原因：Netty启用了堆外内存DirectByteBuffer实现了零拷贝，堆外内存对young gc免疫，只有在full gc的时候才被收
直接内存(Direct Memory)
一名后端程序猿
12-06 1446
直接内存(Direct Memory)是在Java中使用较为底层的内存管理方式，它通过Java的`NIO包中的ByteBuffer类`来实现，让Java能够在堆外分配内存。这种方式通常用于需要大量、频繁的IO操作的场景，因为它可以减少在Java堆和本地堆之间复制数据的次数，从而提高性能。以下是关于直接内存的一些分析和代码示例。
OOM之Direct buffer memory
lixinkuan的博客
12-22 3837
Java中的常见OOM有： java.lang.StackOverFlowError:栈溢出（其实属于SOFE） java.lang.OutOfMemoryError: java heap space java.lang.OutOfMemoryError: GC overhead limit exceeded java.lang.OutOfMemoryError: Direct buffe...
【Java】DirectByteBuffer 堆外内存源码解读
smallbirdnq的专栏
10-09 646
通过Full gc操作来触发回收堆外内存，不过我想先说的是堆外内存不会对gc造成什么影响(这里的System.gc除外)，但是堆外内存的回收其实依赖于我们的gc机制，首先我们要知道在java层面和我们在堆外分配的这块内存关联的只有与之关联的DirectByteBuffer对象了，它记录了这块内存的基地址以及大小，那么既然和gc也有关，那就是gc能通过操作DirectByteBuffer对象来间接操作对应的堆外内存了。所以在后面打代码中，会进行最多9次尝试，看是否有足够的可用堆外内存来分配堆外内存。
java netty中的direct memory 一篇详解
XHGHQHWWK的博客
04-10 727
Direct Memory时，物理地址和虚拟地址也不是完全相同的。Direct Memory Access（DMA）是一种特殊的I/O操作，可以允许设备直接访问系统内存而不需要CPU的干预。在DMA操作中，设备直接访问系统内存，因此需要知道系统内存的物理地址。设备可以通过总线地址（Bus Address）来访问内存，总线地址需要转换为物理地址才能访问实际的内存。这个地址转换过程通常是由DMA控制器完成的。而虚拟地址是由操作系统提供给进程使用的，不同的进程之间虚拟地址是可以重叠的。
DMA.rar_DMA tutorial_direct memory access_dma_memory to memory d
09-14
直接内存访问有几种类型，其中之一是内存到内存的DMA（Memory-to-Memory DMA）。在这种模式下，数据不是直接从设备到内存，而是从内存的一个位置传输到另一个位置。这在进行数据块复制、内存管理操作或高性能计算中...
JVM学习（11）直接内存（Direct Memory）
weixin_42601001的博客
06-25 635
直接内存（Direct Memory）一、直接内存概述 一、直接内存概述
netty 服务器报 failed to allocate direct memory 问题解决思路
weixin_42226343的博客
11-28 6885
1、问题描述： 服务器连续运行30天之后报 failed to allocate 16777216 byte(s) of direct memory 具体的报错信息如下： io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct me...
由 Direct buffer memory 引发的附件下载优化方案
Mr_Wanter
06-02 1209
本地上传大文件内存溢出 Direct buffer memory附件下载服务端传流给前端需要将流缓存完毕才可以下载，导致大文件下载系统崩溃。
Java-直接内存 DirectMemory 详解
CoderChronicle的博客
12-27 840
下面是 《深入理解 Java 虚拟机 第三版》2.2.7 小节 关于 Java 直接内存的描述。直接内存（Direct Memory）并不是虚拟机运行时数据区的一部分，也不是《Java虚拟机规范》中定义的内存区域。但是这部分内存也被频繁地使用，而且也可能导致 OutOfMemoryError 异常出现，所以我们放到这里一起讲解。
Spark学习笔记:OutOfMemoryError-Direct buffer memory (OOM)
cout<<"Hello World!";
03-14 6348
OOM可能的原因有以下几点： 1. 用户代码 off heap: 资源释放不当, 例如加载文件资源次数过多, 且不正常关闭, 例如多次调用ClassLoader().getResourceAsStream 2. Driver端 DirectMemory: 拉取Executor端Task Result数据回Driver节点时, 此处消耗的DirectMemory内存 = conf.getInt("spark.resultGetter.threads", 4) * TaskResultSize 3. E
java direct memory_发生java.lang.OutOfMemoryError: Direct buffer memory
weixin_33404102的博客
03-04 834
下面是在掉坑了，出现了一次 java.lang.OutOfMemoryError: Direct buffer memory 错误后的总结。发生原因：用来 nio ，但是 direct buffer 不够解决办法1)检查是否直接或间接使用了 nio ，例如手动调用生成 buffer 的方法或者使用了 nio 容器如 netty， jetty， tomcat 等等；2)-XX:MaxDirectMe...
JVM 直接内存Direct Memory好
qq_35677589的博客
04-02 101
1、直接内存定义 如果不使用direct memory 使用direct memory之后的效果 将java堆内存和系统内存之间搭起一座桥梁。 direct memory的内存释放 在禁止显示垃圾回收的情况下，分配内存和释放内存的方法。 ...
netty数据流堆外内存排查
阿拉斯加大闸蟹的博客
09-28 9575
背景 行情服务每次在开盘与收盘期间的堆外内存都会上涨，并且需要周期性手动重启，影响到服务的稳定性 排查过程 1.堆外内存的计算标准 此matrix（used_direct_memory）计算标准由netty统一进行计算，因此可以初步判断是由于netty分配的堆外内存导致内存上涨，并非直接有也直接调用Unsafe分配堆外内存 import io.netty.util.internal.PlatformDependent; public DirectMemoryMonitor() {
Direct Memory
youling_lh的专栏
08-12 1801
1、不属于java堆内存、分配内存其实是调用操作系统的Os:malloc()函数。 2、容量可通过-XX:MaxDirectMemorySize指定，如果不指定，则默认与Java堆的最大值(-Xmx指定)一样。 3、Direct Memory 内存的使用避免Java堆和Native堆中来回复制数据。从某些场景中提高性能。 4、直接ByteBuffer对象会自动清理本机缓冲区，但这个过程只能作
Linux服务器查看内存使用情况
爱琴孩的博客
09-28 1159
前言 在日常开发或者生产环境，我们经常需要查看linux服务的内存使用情况，所以能熟练敲出命令能便于我们快速定位问题，这里来和大家一起学习linux的常用查看内存命令。 free命令 free命令显示系统使用和空闲的内存情况，包括物理内存、交互区内存(swap)和内核缓冲区内存。 很清晰明白的显示出了总内存多少，已使用多少，还剩下多少。这里可以看到Swap的used已使用了811Mb，服务器上跑了一个下载音频的进程，物理内存已经不够用了，所以从磁盘中虚拟出一部分的内存。当然我们可以使用free.
Java：HeapMemory和DirectMemory配置与使用介绍
最新发布
netyeaxi的专栏
01-04 910
HeapMemory和DirectMemory配置与使用介绍
SPI协议下SD卡读写机制与实现
为了提高数据传输效率，可以考虑使用DMA（Direct Memory Access）技术，让数据直接在内存和SPI接口之间传输，减少CPU的干预。此外，合理调度SPI时钟频率也可以平衡传输速度和系统资源消耗。 总结，基于SPI协议的SD...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值