linux文件编程（1）—— open、write、read、lseek、阻塞问题(ps文件操作/文件描述符/重定向原理/缓冲区/标准错误)

行稳方能走远

已于 2022-11-21 19:55:18 修改

阅读量1.8k

点赞数

分类专栏： Linux系统编程文章标签： linux 运维服务器

于 2021-04-26 09:34:06 首次发布

本文链接：https://blog.csdn.net/zhuguanlin121/article/details/115920398

版权

Linux系统编程专栏收录该内容

14 篇文章 9 订阅

订阅专栏

参考：linux文件编程（1）—— 常用API之open、write、read、lseek
作者：丶PURSUING
发布时间： 2021-04-08 22:19:28
网址：https://blog.csdn.net/weixin_44742824/article/details/115209134

【Linux】文件操作/文件描述符/重定向原理/缓冲区/标准错误

一、open、creat、close

文件打开、创建、关闭。

参数与返回值

在这里插入图片描述

int open(const char *pathname, int flags)

/** 返回值 **
fd>0,文件打开成功且fd为文件标识符
fd<0,文件打开失败*/

/** 参数 **
pathname：文件路径+文件名（若不包含路径，则默认为当前路径）
flags: （1）O_RDONLY、O_WRONLY、O_RDWR、O_CREAT
       （2）O_CREAT、O_APPEND、O_TRUNC*/

下面对flags（2）这类使用（|）进行附加使用的参数进行额外说明:

（1）O_CREAT：文件若不存在则创建

注意：需要额外说明文件操作权限参数mode

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>

int main()
{
        //尝试打开当前路径下的文件file1.c
        int fd = open("./file1.c",O_RDWR);
        //打开失败了
        if(fd < 0){
                printf("打开失败：没有这个文件\n");
                //尝试以可读可写的方式创建并打开文件
                fd = open("./file1.c",O_RDWR|O_CREAT,0600); //可读4 可写4  4+2=6
                if(fd > 0){
                        printf("创建文件并且打开成功\n");
                }
        }
        //关闭文件
        close(fd);
        return 0;
}

对权限0600的解释：

在这里插入图片描述

运行结果：可以看到已经成功创建了file1.c

在这里插入图片描述

（2）O_APPEND：写时加到文件末端(另起一行)

如果不使用这个参数，因为文件打开后光标是位于文件头的，写入数据会把原来的数据按长度覆盖。（本质上就是光标的问题）

在这里插入图片描述

（3）O_TRUNC清空原内容后写入

在每次打开文件写入之前，先把原有的内容清空后写入

creat

创建文件的另一种方法（不可用于打开）

int creat(const char *pathname, mode_t mode);

/** mode **
S_IRUSR 可读            宏：4
S_IWUSR	可写            宏：2
S_IXUSR	可执行          宏：1
S_IRWXU	可读可写可执行   宏：7 */

简单使用示例：

#include <stdio.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>

int main()
{
                                 //可读可写
        int fd = creat("./file1.c",S_IRUSR|S_IWUSR);
        if(fd > 0){
                printf("文件创建成功\n");
        }else{
                printf("同名文件已经存在\n");
        }
        close(fd);
        return 0;
}

运行结果：
当文件存在时创建失败，反之成功。可用ls -l查看文件权限：
在这里插入图片描述

二、write

参数与返回值

ssize_t write(int fd, const void *buf, size_t count)

/** 返回值 **
成功返回写入字节数，失败返回-1*/

/** 参数 **
fd     被写入的目标文件对应的文件描述符
buf    将缓冲区buf里面内容写到文件里面去
count  写入的字节数*/

使用示例

#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>

int main()
{
        char* writeBuf = (char* )malloc(128);
        memset(writeBuf,'\0',128);

        printf("要往文件里写什么？\n");
        //为了避免栈溢出，使用fgets限制获取的内容长度
        fgets(writeBuf,128,stdin);
        //创建文件
        int fd = open("./test",O_RDWR|O_CREAT,0600);
        if(fd < 0){
                printf("文件打开失败\n");
                exit(-1);
        }

        int retWrite = write(fd,writeBuf,strlen(writeBuf));//此处不能用sizeof(计算的是指针所占用的字节数 
                                                           //Linux环境下指针占8个字节 只能写8个字节/字母)
        if(retWrite > 0){
                printf("成功写入字节数：%d\n",retWrite);
        }else{
                printf("写入失败\n");
        }

        close(fd);
        return 0;
}

运行结果：成功创建文件并写入内容
在这里插入图片描述

三、read

参数与返回值

ssize_t read(int fd, void *buf, size_t count)

/** 文件内容读到缓冲区buf里面去**/

使用示例

下面的程序中简化对open和write的操作，重点突出read。读取上面write例子中创建的文件内容。

#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>

int main()
{
        int fd = open("./test",O_RDWR|O_CREAT,0600);

        char* readBuf = (char* )malloc(128);
        memset(readBuf,'\0',128);
        int retRead = read(fd,readBuf,128);

        if(retRead < 0){
                printf("read error\n");
        }else{
                printf("读取的字节数是%d\n内容是%s\n",retRead,readBuf);
        }               //读取的字节数并不是128个 而是根据实际的文件内容确定

        close(fd);
        return 0;
}

运行结果：
在这里插入图片描述

read最需要注意的就是光标的位置，尤其是在write操作后，光标已经到达文件尾部，直接read，就会读个寂寞。解决办法是重新打开文件（不建议）使光标回到文件头。或者使用后面所提到的lseek操作光标。

配合光标操作举个例子（具体光标介绍在第四节）：

#include <stdio.h>
#include <string.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <stdlib.h>

int main()
{
	int fd;
	int n_open;
	int n_write;
	int n_read;
	char *Buf="hello ubuntu";
	fd=open("./file2",O_RDWR);
	if(fd == -1){
		printf("没有该文件，等待创建.....\n");
		fd=open("./file2",O_RDWR|O_CREAT,0600);
		if(fd > 0){
			printf("创建成功并打开,fd=%d\n",fd);
		}
	}
	
	n_write=write(fd,Buf,strlen(Buf));
	if(n_write != -1){
		printf("写入成功,写了%d个字节\n",n_write);
	}
	//lseek(int fd, off_t offset, int whence);
	lseek(fd,0,SEEK_SET);//光标指向头部也可以写成lseek(fd,-12,SEEK_END/CUR);
	char *readBuf;//定义一个缓冲区
	readBuf=(char *)malloc(sizeof(char)*n_write+1);//n_write是写入的字节数，readBuf大小就是写入了多少个字节数，加1保险点
	// ssize_t read(int fd, void *buf, size_t count);
	n_read=read(fd,readBuf,n_write);//把fd的内容放到readBuf里面进行读取，读了n_write个
	if(n_read != 0){
		printf("read %d个字节，内容是：%s\n",n_read,readBuf);
	}
	close(fd);	
	return 0;
}

运行结果：
在这里插入图片描述

四、lseek

参数与返回值

offt lseek(int fd, offt offset, int whence)

/** 参数 **
whence：SEEK_SET   使光标位于文件头部
        SEEK_CUR   光标的当前位置
        SEEK_END   使光标位于文件尾部
offset：相对whence的偏移值,可以是负数表向前移动光标。
*/

/** 返回值 **
成功操作时返回从文件开始到到光标位置的字节数，错误则-1并且设置error
*/

应用示例

使得光标移动到文件的开始位置：

lseek(fd,0,SEEK_SET);//相对于文件开始位置偏移0，就是在文件头部咯。

lseek也常用于计算文件的大小:返回文件开始到偏移位置（文件尾部）的字节大小

size = lseek(fd,0,SEEK_END);

【Linux】文件操作/文件描述符/重定向原理/缓冲区/标准错误

https://blog.csdn.net/Hello_World_213/article/details/127335060

阻塞问题

摘自：https://blog.csdn.net/zjhkobe/article/details/6633446?utm_source=app&app_version=5.1.1&code=app_1562916241&uLinkId=usr1mkqgl919blen

read
函数从打开的设备或文件中读取数据。
#include <unistd.h>
ssize_t read(int fd, void *buf, size_t count);
返回值：成功返回读取的字节数，出错返回-1并设置errno，如果在调read之前已到达文件末尾，则这次read返回0
参数
count
是请求读取的字节数，读上来的数据保存在缓冲区buf中，同时文件的当前读写位置向后移。注意这个读写位置和使用C标准I/O库时的读写位置有可能不同，这个读写位置是记在内核中的，而使用C标准I/O库时的读写位置是用户空间I/O缓冲区中的位置。比如用fgetc读一个字节，fgetc有可能从内核中预读1024个字节到I/O缓冲区中，再返回第一个字节，这时该文件在内核中记录的读写位置是1024，而在FILE结构体中记录的读写位置是1。注意返回值类型是ssize_t，表示有符号的size_t，这样既可以返回正的字节数、0（表示到达文件末尾）也可以返回负值-1（表示出错）。
read函数返回时，返回值说明了buf中前多少个字节是刚读上来的。有些情况下，实际读到的字节数（返回值）会小于请求读的字节数count，例如：读常规文件时，在读到count个字节之前已到达文件末尾。例如，距文件末尾还有30个字节而请求读100个字节，则read返回30，下次read将返回0。

从终端设备读，通常以行为单位，读到换行符就返回了。

从网络读，根据不同的传输层协议和内核缓存机制，返回值可能小于请求的字节数，后面socket编程部分会详细讲解。

write
函数向打开的设备或文件中写数据。

#include <unistd.h>
ssize_t write(int fd, const void *buf, size_t count);
返回值：成功返回写入的字节数，出错返回-1并设置errno写常规文件时，write的返回值通常等于请求写的字节数
count，而向终端设备或网络写则不一定。
读常规文件是不会阻塞的，不管读多少字节，read一定会在有限的时间内返回。从终端设备或网络读则不一定，如果从终端输入的数据没有换行符，调用read读终端设备就会阻塞，如果网络上没有接收到数据包，调用read从网络读就会阻塞，至于会阻塞多长时间也是不确定的，如果一直没有数据到达就一直阻塞在那里。同样，写常规文件是不会阻塞的，而向终端设备或网络写则不一定。

现在明确一下阻塞（Block）这个概念。当进程调用一个阻塞的系统函数时，该进程被置于睡眠（Sleep）状态，这时内核调度其它进程运行，直到该进程等待的事件发生了（比如网络上接收到数据包，或者调用sleep指定的睡眠时间到了）它才有可能继续运行。与睡眠状态相对的是运行（Running）状态，在Linux内核中，处于运行状态的进程分为两种情况：

正在被调度执行。CPU处于该进程的上下文环境中，程序计数器（eip）里保存着该进程的指令地址，通用寄存器里保存着该进程运算过程的中间结果，正在执行该进程的指令，正在读写该进程的地址空间。

就绪状态。该进程不需要等待什么事件发生，随时都可以执行，但CPU暂时还在执行另一个进程，所以该进程在一个就绪队列中等待被内核调度。系统中可能同时有多个就绪的进程，那么该调度谁执行呢？内核的调度算法是基于优先级和时间片的，而且会根据每个进程的运行情况动态调整它的优先级和时间片，让每个进程都能比较公平地得到机会执行，同时要兼顾用户体验，不能让和用户交互的进程响应太慢。

下面这个小程序从终端读数据再写回终端。

例 28.2. 阻塞读终端

#include <unistd.h>
#include <stdlib.h>
int main(void) {
char buf[10];
int n;
n = read(STDIN_FILENO, buf, 10);
if (n < 0) {
perror(“read STDIN_FILENO”);
exit(1);
}
write(STDOUT_FILENO, buf, n);
return 0; }

执行结果如下：

$ ./a.out hello（回车） hello
$ ./a.out hello world（回车） hello
worl$ d bash: d: command not found
第一次执行a.out的结果很正常，而第二次执行的过程有点特殊，现在分析一下：

Shell进程创建a.out进程，a.out进程开始执行，而Shell进程睡眠等待a.out进程退出。

a.out调用read时睡眠等待，直到终端设备输入了换行符才从read返回，read只读走10个字符，剩下的字符仍然保存在内核的终端设备输入缓冲区中。

a.out
进程打印并退出，这时Shell进程恢复运行，Shell继续从终端读取用户输入的命令，于是读走了终端设备输入缓冲区中剩下的字符d和换行符，把它当成一条命令解释执行，结果发现执行不了，没有d这个命令。

如果在open一个设备时指定了O_NONBLOCK标志，read/write就不会阻塞。以read为例，如果设备暂时没有数据可读就返回-1，同时置errno为EWOULDBLOCK（或者EAGAIN，这两个宏定义的值相同），表示本来应该阻塞在这里（would block，虚拟语气），事实上并没有阻塞而是直接返回错误，调用者应该试着再读一次（again）。这种行为方式称为轮询（Poll），调用者只是查询一下，而不是阻塞在这里死等，这样可以同时监视多个设备：

while(1) {undefined
非阻塞read(设备1);
if(设备1有数据到达)
处理数据;
非阻塞read(设备2);
if(设备2有数据到达)
处理数据;
…
}

如果
read(设备1)
是阻塞的，那么只要设备1没有数据到达就会一直阻塞在设备1的
read
调用上，即使设备2有数据到达也不能处理，使用非阻塞I/O就可以避免设备2得不到及时处理。

非阻塞I/O有一个缺点，如果所有设备都一直没有数据到达，调用者需要反复查询做无用功，如果阻塞在那里，操作系统可以调度别的进程执行，就不会做无用功了。在使用非阻塞I/O时，通常不会在一个while循环中一直不停地查询（这称为Tight Loop），而是每延迟等待一会儿来查询一下，以免做太多无用功，在延迟等待的时候可以调度其它进程执行。

while(1) {
非阻塞read(设备1);
if(设备1有数据到达) 处理数据;
非阻塞read(设备2);
if(设备2有数据到达) 处理数据;
… sleep(n);
}
这样做的问题是，设备1有数据到达时可能不能及时处理，最长需延迟n秒才能处理，而且反复查询还是做了很多无用功。以后要学习的select(2)函数可以阻塞地同时监视多个设备，还可以设定阻塞等待的超时时间，从而圆满地解决了这个问题。

以下是一个非阻塞I/O的例子。目前我们学过的可能引起阻塞的设备只有终端，所以我们用终端来做这个实验。程序开始执行时在0、1、2文件描述符上自动打开的文件就是终端，但是没有O_NONBLOCK标志。所以就像例 28.2 “阻塞读终端”一样，读标准输入是阻塞的。我们可以重新打开一遍设备文件/dev/tty（表示当前终端），在打开时指定
O_NONBLOCK标志。

例 28.3. 非阻塞读终端

#include <unistd.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#define MSG_TRY “try again\n”
int main(void) {
char buf[10];
int fd, n;
fd = open(“/dev/tty”, O_RDONLY|O_NONBLOCK);
if(fd<0) {
perror(“open /dev/tty”);
exit(1);
}
tryagain:
n = read(fd, buf, 10);
if (n < 0) {
if (errno == EAGAIN) {
sleep(1);
write(STDOUT_FILENO, MSG_TRY, strlen(MSG_TRY));
goto tryagain;
}
perror(“read /dev/tty”);
exit(1);
}
write(STDOUT_FILENO, buf, n);
close(fd);
return 0;
}
以下是用非阻塞I/O实现等待超时的例子。既保证了超时退出的逻辑又保证了有数据到达时处理延迟较小。

例 28.4. 非阻塞读终端和等待超时

#include <unistd.h>
#include <fcntl.h>
#include <errno.h>
#include <string.h>
#include <stdlib.h>
#define MSG_TRY “try again\n”
#define MSG_TIMEOUT “timeout\n”
int main(void) {
char buf[10];
int fd, n, i;
fd = open(“/dev/tty”, O_RDONLY|O_NONBLOCK);
if(fd<0) {
perror(“open /dev/tty”);
exit(1);
}
for(i=0; i<5; i++) {
n = read(fd, buf, 10);
if(n>=0) break;
if(errno!=EAGAIN) {
perror(“read /dev/tty”);
exit(1);
}
sleep(1);
write(STDOUT_FILENO, MSG_TRY, strlen(MSG_TRY));
}
if(i==5)
write(STDOUT_FILENO, MSG_TIMEOUT, strlen(MSG_TIMEOUT));
else
write(STDOUT_FILENO, buf, n);
close(fd);
return 0;
}

行稳方能走远

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
打赏
0
评论
linux文件编程（1）—— open、write、read、lseek、阻塞问题(ps文件操作/文件描述符/重定向原理/缓冲区/标准错误)

linux文件编程—— 常用API之open、write、read、lseek的介绍
复制链接

扫一扫