CUDA流并行的思考

不少博客在介绍流任务并行时，都会说“为了高效利用多个流，将操作放入流的队列时应采用宽度优先方式而非深度优先”。

其实不然。当H2D和D2H是同一个引擎执行时，确实流宽度优先能获得更高的效率。但是，当H2D和D2H是不同引擎执行，并且H2D和D2H支持同时执行时，流深度优先反而是效率更高的。假设H2D和D2H的执行时间都是Tc，kenel执行的时间是2*Tc，当H2D和D2H是不同引擎执行时，深度优先的总执行时间是7Tc，宽度优先的执行时间是8Tc。

在 CUDA_C_Best_Practices_Guide 里有这样的说明：