串行IO与并行IO的效率比较

最新推荐文章于 2023-06-01 11:54:13 发布
最新推荐文章于 2023-06-01 11:54:13 发布
阅读量5.1k 收藏 1
点赞数
分类专栏： BigData Linux 文章标签： io file c 语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhxue123/article/details/6804569
版权
实验比较了MPI_File_read_at与C语言fread函数在不同条件下的读取效率。单进程下，fread受缓存影响速度更快；在并行读取大文件时，多进程读取速度显著慢于单进程，说明并行条件下数据读取速度受到较大影响。
摘要由CSDN通过智能技术生成
 

MPI_File_read_at函数与C语言中的fread函数，依次读取一个100M的文件，读取时间如下所示：

实验一：

[zhangyang@mpi002 kmeans_exper]$ mpiexec -np 1 ./mpi_c_fspeed
There are 1500015 samples...
Start test mpi_file_read....
In mpi002 mpi_file_read takes 1.566990137100 seconds...
Start test fread....
In mpi002 fread takes 0.078104019165 seconds...    

实验二：

[zhangyang@mpi002 kmeans_exper]$ mpiexec -np 1 ./mpi_c_fspeed
There are 1500000 samples...
Start test mpi_file_read....
In mpi002 mpi_file_read takes 1.315994024277 seconds...
Start test fread....
In mpi002 fread takes 1.259196043015 seconds...

 

两次实验具有不同的结果，原因是：

实验一：MPI_File_read_at与fread读取同一数据块，MPI先读，fread后读，因此，MPI花费的时间较多

fread花费的时间较短，主要是受到了缓存的

最低0.47元/天 解锁文章
串行，并发与并行
知识在于积累
05-06 8330
串行 多个任务，执行时一个执行完再执行另一个。 比喻：吃完饭再看视频。 并发 多个线程在单个核心运行，同一时间一个线程运行，系统不停切换线程，看起来像同时运行，实际上是线程不停切换。 比喻： 一会跑去厨房吃饭，一会跑去客厅看视频。 并行 每个线程分配给独立的核心，线程同时运行。 比喻：一边吃饭一边看视频。 ...
串行化IO
06-02 979
驱动串行化IO的理解一、对于IoStartParket的理解：VOID NTAPI IoStartPacket(IN PDEVICE_OBJECT DeviceObject, IN PIRP Irp,                        IN PULONG Key, IN PDRIVER_CANCEL CancelFunction){    BOOLEAN Stat;    KI
MPI-2 并行IO的使用方法
Random_0001的博客
11-10 659
　　写的MPI程序需要用到并行IO来操作文件，但是搜遍了度娘都没有找到多少关于并行IO函数的使用方法。最后在知网搜到了一些有用的论文，看了一下，感觉豁然开朗。 　　MPI-1对文件的操作是使用绑定语言的函数调用来进行的，通常采用的是串行IO的读写方式，一般情况下是用一个主进程打开文件和读取数据，然后分发给其他进程来处理，这种串行IO数据的通信量很大、效率较低。MPI-2实现了并行IO，...
IO之串行化
weixin_33819479的博客
03-31 150
2019独角兽企业重金招聘Python工程师标准>>> ...
python的IO操作（并行/并发、同步/异步、阻塞/非阻塞、StringIO&BytesIO、序列化和反序列化、JSON）
weixin_40127330的博客
12-23 620
IO（Input/Output）输入和输出，IO编程中，Stream（流）是⼀个很重要的概念，可以把流想象成⼀个水管， 数据就是水管里的水。Input Stream就是数据从外面 （磁盘、网络）流进内存，Output Stream就是数据从内存流到外面去。 1、并行与并发 并发(concurrency)：在一个时间段内有几个程序都处于已启动运行到运行完毕之间 ，且这几个程序都是在同一个处理机...
串行、并发、并行的区别以及坑
qq_40109570的博客
09-11 223
目录串行、并发、并行的区别以及坑串行、并发、并行的区别以及坑 # 将应用程序对硬件资源的竞态请求变得有序化 ''' 串行: 一个完完整整的执行完了再执行下一个. 并发: 看起来是同时运行的 并行: 真正做到了同时运行 多道技术(了解): 空间复用: 共用一个内存条,每一个进程都有自己独立的内存空间,互不干扰,物理级别的隔离. 时间复用: 共用了一个cpu cpu切换(掌握)...
如何区分单片机中的串行与并行通讯
07-17
在单片机的设计和应用中，串行通信与并行通信是非常重要的两种数据传输方式。它们在原理和应用方面都有着显著的差异。 串行通信（Serial Communication）是指数据位一位一位地顺序传输，这种通信方式至少只需要一根...
通信与网络中的IDT扩展高性能串行RapidIO中央包交换机系列
11-19
IDT（Integrated Device Technology）公司推出的高性能串行RapidIO中央包交换机系列，特别是80KSW005型号，是通信与网络领域中的一种关键组件，旨在满足高带宽密集型应用的需求。该系列的新成员以10个4x端口的10G...
python 串行执行和并行执行实例
09-16
在Python编程中，串行执行和并行执行是两种不同的程序执行模式，它们在处理大量任务时具有不同的效率和应用场景。本实例将介绍如何在Python中实现这两种执行方式，并通过具体的代码示例来阐述它们的区别。 串行执行...
89C51 单片机IO 口模拟串行通信的实现方法.rar_51单片机_IO口通信_模拟串行口
07-14
串行通信的基本原理是数据以一位一位的形式在单一的物理通道上传输，与之相对的是并行通信，数据以多位同时传输。89C51单片机自身拥有硬件串行接口（UART），但为了扩展应用或者节省资源，我们可以利用IO口模拟串行...
进程、线程、协程、并发、并行、IO多路复用
Flag_ing的博客
05-16 1484
目录 一、什么是IO操作 二、进程、线程、协程 1、进程是资源分配的基本单位 2、线程是任务调度的基本单位 3、协程—由线程创建并全权负责的小弟 三、并行、并发及其与CPU内核数的关系 1、理解并行与并发的区别 2、进程、线程与CPU核数之间的关系 3、同一个进程里的线程可以并行执行吗（满足条件时可以） 四、IO多路复用 五、参考文（zi）献（liao） 我竟然妄想在小小的篇幅下把这四件事讲明白，离谱，但又不太离谱~ 在多线程、多进程、并行、并发这几个概念中，有很多知识点容易让..
【MCS-51】串行I/O接口及其通信
最新发布
m0_61151031的博客
06-01 4204
我们知道MCS-51中有很多的引脚，这些引脚很多一般都是用作输入或者输出口，其中有两个引脚P3.0和P3.1比较特殊，我们常将其用作串行通信的数据发送和接收端TXD、RXD。
串口通信IO口模拟
nizhenyuchina的博客
06-13 993
#include "config.h" #define DATA_OUT RB0 #define DATA_IN RB1 //发码位数 uchar SendBitNum = 0; //每位码时间 uchar SendBitDly = 0; //发码标志位寄存器 uchar SendFlag = 0; //发码数据寄存器 uint SendData = 0; bit SendEn =0; bit D0=0; uchar SendWord(void) { //是否允许发送 if(SendEn==0) {...
【王道计组笔记】I/O接口
暮色年华的博客
03-31 2831
接口：两个部件之间的交接部分 I/O接口功能：主机和外设之间的交接界面，通过接口可以实现主机和外设之间的信息交换 设备选址、传送命令、传送数据、反映I/0设备的工作状态 基本结构 CPU同外设之间的信息传送实质是对接口中的某些寄存器(即端口)进行读或写。 控制外设输入为例： I/O端口：接口电路中可以被CPU直接访问的寄存器 数据端口（读写），控制端口（写），状态端口（读） 访问I/O端口： 统一编址：把I/O端口当做存储器的单元进行地址分配（使用同一套地址线），...
串口与普通IO口的区别
热门推荐
逸凌Time
09-12 3万+
General Purpose Input Output （通用输入/输出）简称为GPIO，或总线扩展器，人们利用工业标准I2C、SMBus或SPI接口简化了I/O口的扩展。当微控制器或芯片组没有足够的I/O端口，或当系统需要采用远端串行通信或控制时，GPIO产品能够提供额外的控制和监视功能。 每个GPIO端口可通过软件分别配置成输入或输出。Maxim的GPIO产品线包括8端口至28端口的GPI...
串行通信接口
一个混迹在安全圈的宅女
05-25 601
串行通信与并行通信概念1.串行通信串行通信是指计算机与I/O设备之间数据传输的各位是按顺序依次一位接一位进行传送。通常数据在一根数据线或一对差分线上传输。2.并行通信并行通信是指计算机与I/O设备之间通过多条传输线交换数据，数据的各位同时进行传送。异步串行方式的特点（1）以字符为单位传送信息。（2）相邻两字符间的间隔是任意长。（3）因为一个字符中的比特位长度有限，所
MPI系列: 并行IO性能优化究竟是怎么玩的呢？
架构师技术联盟
03-02 5622
浓缩干货：MPI-IO对单个进程使用“数据筛选”技术优化，对聚合IO使用“两阶段IO”技术优化。并行存储系统的文件条块长度与严重影响性能。1997年，MPI 2.0标准...
串行为啥比并行快？
漫步的博客
06-07 7973
当前，在高速硬件电路设计中，主要就分为两类信号类型，一类是串行信号，一类是并行信号。两类信号的特点不一样，其分析的手段也都不一样。那么问题来了。串行接口为啥比并行接口快？作为一个电路设计师，我整个职业生涯都花在接口电路上，串行并行都做过，且速度不慢（DDR3-1600Mbps, SerDes 30Gbps），这个问题不答实在技痒难耐。当然，要说清楚这个问题，老司机这一次要从从电学特性和经济的角度分...
MPI_File_read 读不出数据
pouloghost的专栏
04-18 953
昨天写程序，MPI_File_read读不出数据，error code和status.count都是很不正常的大数。 查了很久似乎没人遇到过，但是明显不靠谱啊。。。 最后明白了，文件的访问权限不够，需要用root运行才能读root创建的文件。。。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值