java解决大数据读写问题

本文介绍了Java利用内存映射文件处理大数据读写问题,通过RandomAccessFile和FileChannel实现大文件的高效读写。示例代码展示了如何创建128Mb的文件并读取中间内容,以及如何读取超大文件并转换输出。这种方法利用了操作系统的文件映射机制,提高了性能。
摘要由CSDN通过智能技术生成

Java IO读写大文件的几种方式及测试http://aronlulu.iteye.com/blog/1018370

 

把SRTM的数据读写了一下,可以用。

 

JAVA内存映射文件:http://jiangzhengjun.iteye.com/blog/515745

 

内存映射文件能让你创建和修改那些因为太大而无法放入内存的文件。有了内存映射文件,你就可以认为文件已经全部读进了内存,然后把它当成一个非常大的数组来访问。这种解决办法能大大简化修改文件的代码。
fileChannel.map(FileChannel.MapMode mode, long position, long size)将此通道的文件区域直接映射到内存中。注意,你必须指明,它是从文件的哪个位置开始映射的,映射的范围又有多大;也就是说,它还可以映射一个大文件的某个小片断。


MappedByteBuffer是ByteBuffer的子类,因此它具备了ByteBuffer的所有方法,但新添了force()将缓冲区的内容强制刷新到存储设备中去、load()将存储设备中的数据加载到内存中、isLoaded()位置内存中的数据是否与存储设置上同步。这里只简单地演示了一下put()和get()方法,除此之外,你还可以使用asCharBuffer( )之类的方法得到相应基本类型数据的缓冲视图后,可以方便的读写基本类型数据。

Java代码 复制代码  收藏代码
  1. import java.io.RandomAccessFile;   
  2. import java.nio.MappedByteBuffer;   
  3. import java.nio.channels.FileChannel;   
  4.   
  5. public
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值