大文件读写——C语言

http://blog.chinaunix.net/u1/33412/showart_397173.html

内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，只是内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而非系统的页文件，而且在对该文件进行操作之前必须首先对文件进行映射，就如同将整个文件从磁盘加载到内存。由此可以看出，使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，这意味着在对文件进行处理时将不必再为文件申请并分配缓存，所有的文件缓存操作均由系统直接管理，由于取消了将文件数据加载到内存、数据从内存到文件的回写以及释放内存块等步骤，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。另外，实际工程中的系统往往需要在多个进程之间共享数据，如果数据量小，处理方法是灵活多变的，如果共享数据容量巨大，那么就需要借助于内存映射文件来进行。实际上，内存映射文件正是解决本地多个进程间数据共享的最有效方法。  

  

 

http://hi.baidu.com/ah__fu/blog/item/476799d9313bfeee39012f84.html

 

 

http://hi.baidu.com/ah__fu/blog/item/8fc8132491bb833b8644f9f5.html

 

今天写了一个程序，读一个大文件，报no registers和内存错误信息。后来发现是分配的数组太大了。于是更改了程序，下面程序给出了四种不同方法读写大文件的例子

测试结果表明：最快的是mmap（12 us）、read_bf_once（30143）、read_bf_block（分行读:39106）、malloc(40145)

/*
 * test_rw_binaryfile.c
 *
 *  Created on: Jan 15, 2010
 *      Author: root
 */


#include <stdio.h>
#include <stdlib.h>
#include <time.h>




#include <sys/stat.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>
#include <fcntl.h>








#define MATRIXSIZE 3601
#define BLOCKSIZE MATRIXSIZE*1


float g_s[MATRIXSIZE][MATRIXSIZE];  //static : this global variable only available in this file. If put it in a function, stack will overflow.




int main(){


int  read_bf_block_malloc(char* file_name);
int  read_bf_block(char* file_name);
int  read_bf_once(char* file_name);
int  read_bf_mmap(char* file_name);
// read_bf_block_malloc("N38W084.bin");
read_bf_block("