CUDA笔记之一:实践编程篇


    这两天想看看GPU编程的东西,可是资料太稀少了,NVIDIA公司出的那个倒霉文档根本没法入门。现在算是东拉西扯的找到了一些资料,入了点门。先写点笔记吧,等有时间了,写个完整的pdf出来,和大家共享。

1 硬件架构
   CUDA编程中,习惯称CPU为Host,GPU为Device。

2 并行模型
   Thread:并行基本单位
   Block:相互合作的一组线程。可以彼此同步,快速交换数据,最多可以512个线程
   Grid:一组Block,有共享全局内存
   Kernel:在GPU上执行的程序,一个Kernel对应一个Grid

  Block和Thread都有各自的ID,记作blockIdx(1D,2D),threadIdx(1D,2D,3D)
   Block和Thread还有Dim,即blockDim与threadDim. 他们都有三个分量x,y,z
   线程同步:void __syncthreads(); 可以同步一个Block内的所有线程


3 存储层次
   per-thread register                             1 cycle
   per-thread local memory                     slow
   per-block shared memory                   1 cycle
   per-grid global memory                       500 cycle,not cached!!
   constant and texture memories            500 cycle, but cached and read-only
   分配内存:cudaMalloc,cudaFree,它们分配的是global memory
   Hose-Device数据交换:cudaMemcpy

  

4 变量类型
   __device__:GPU的global memory空间,grid中所有线程可访问
   __constant__:GPU的constant memory空间,grid中所有线程可访问
   __shared__:GPU上的thread block空间,block中所有线程可访问
  local:位于SM内,仅本thread可访问

   在编程中,可以在变量名前面加上这些前缀以区分。

5 数据类型
   内建矢量:int1,int2,int3,int4,float1,float2, float3,float4 ...
   纹理类型:texture<Type, Dim, ReadMode>texRef;
   内建dim3类型:定义grid和block的组织方法。
   例如:
   dim3 dimGrid(2, 2);
   dim3 dimBlock(4, 2, 2);
   kernelFoo<<<dimGrid, dimBlock>>>(argument);

6  CUDA函数定义

    __device__:执行于Device,仅能从Device调用。
        限制:不能用&取地址;不支持递归;不支持static variable;不支持可变长度参数
    __global__ void: 执行于Device,仅能从Host调用。此类函数必须返回void
    __host__:执行于Host,仅能从Host调用

    在执行kernel函数时,必须提供execution configuration,即<<<....>>>的部分。

    例如:
           __global__ void KernelFunc(...);
           dim3 DimGrid(100, 50); // 5000 thread blocks
           dim3 DimBlock(4, 8, 8); // 256 threads per block
           size_t SharedMemBytes = 64; // 64 bytes of shared memory
           KernelFunc<<< DimGrid, DimBlock, SharedMemBytes >>>(...);

7  CUDA包含一些数学函数,如sin,pow等。每一个函数包含有两个版本,例如正弦函数sin,一个普通版本sin,另一个不精确但速度极快的__sin版本。

8 内置变量
   gridDim, blockIdx, blockDim, threadIdx, wrapsize. 这些内置变量不允许赋值的

9 编写程序

   目前CUDA仅能良好的支持C,在编写含有CUDA代码的程序时,首先要导入头文件cuda_runtime_api.h。文件名后缀为.cu,使用nvcc编译器编译。本来想在这里给出些源码的,但是源码教程,以后单独开一个文章在说吧。

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值