AMD GPU内存管理(2)：GEM/TTM

已于 2023-03-02 14:15:21 修改
阅读量1.8k 收藏 5
点赞数 1
分类专栏： GPU Driver 文章标签： 驱动开发 linux Powered by 金山文档
于 2023-01-11 17:16:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhang_shuaifeng/article/details/128648046
版权
GPU Driver 专栏收录该内容
11 篇文章 3 订阅 ¥299.90 ¥399.90
订阅专栏
本文深入探讨了AMD GPU在Linux下的内存管理机制，特别是GEM和TTM的使用。GEM利用共享内存机制，通过全局唯一ID（name）实现多组件访问，并通过dma_resv进行同步。TTM负责内存域和位置的验证及交换操作。文章详细阐述了GEM对象结构、ww_mutex锁、dma_fence以及TTM的bo操作，包括bo_validate和ttm_tt_populate等关键函数，揭示了GPU内存管理的内部工作原理。
摘要由CSDN通过智能技术生成

参考内核代码：Linux-6.1/driver/gpu/drm/amd

一、背景

在AMD的Linux GPU驱动中，只有计算相关的业务(amdkfd)直接使用TTM来allocate/free内存，当然在dma-buf来进行进程间通信内存共享时也用到了GEM。而在图形相关业务中既使用了GEM也使用了TTM。下面对GEM和TTM的核心结构和函数进行剖析。

二、drm_gem_object




                

        

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        

    

      

        

            

              
                
                  张帅峰_
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          

                

                        订阅专栏
                









                



	

		

			

				
					
AMD GPU内存管理(1)：概览

				
			

			

				

					zhang_shuaifeng的博客
				

				

					12-28
					
					1670
					
				

			

		

		

			
				
PCIe, IOMMU/ATS, PDE/PTE, GEM/TTM, TLB invalidate, DMA_BUF, mmu_notify, HMM

			
		

	



                

              
                



	

		

			

				
					
GEM vs TTM

				
			

			

				

					weixin_30314793的博客
				

				

					06-29
					
					324
					
				

			

		

		

			
				
From: http://lwn.net/Articles/283793/
Getting high-performance, three-dimensional graphics working under Linux is quite a challenge even when the fundamental hardware programming information is avail...

			
		

	



                


  
              

                


	

		

			

				
					
Linux DRM的基本框架和原理

					
最新发布

				
			

			

				

					tombaby_come的博客
				

				

					07-26
					
					1596
					
				

			

		

		

			
				
Linux内核有一个名为fbdev(一个Linux子系统，用于在计算机显示器上显示图形，通常在系统控制台上)的API，用于管理图形适配器（）的帧缓冲区，但它无法处理现代基于GPU的3D加速视频硬件的需求。如下图所示：这些设备通常需要在自己的内存中设置和管理命令队列（command queue），以将命令分派到GPU，并且还需要管理该内存中的缓冲区和可用空间。最初，用户空间程序（例如X Server）直接管理这些资源，但它们通常表现得好像它们是唯一可以访问这些资源的程序。

			
		

	





	

		

			

				
					
Linux drm内存管理(一) 浅谈TTM与GEM，为什么我们需要TTM和GEM？

				
			

			

				

					负电离子的博客
				

				

					12-16
					
					3305
					
				

			

		

		

			
				
目前Kernel中DRM中GPU的VRAM(GPU片上显存)的管理框架是有GEM和TTM，其中TTM早于GEM出现，GEM的出现是为了解决TTM复杂的使用方法，将大部分的VRAM管理实现逻辑交由厂商实现。

			
		

	



		

			
		



	

		

			

				
					
GPU显存管理

				
			

			

				

					l1987021的专栏
				

				

					03-21
					
					882
					
				

			

		

		

			
				

GPU显存管理
 

GPU：有两种方式访问GDDR5，一种是HUB统一接口进行分配，另一种是直接调Controller，比如Depth block，color block，texture block等都是直接Controller。直接调用的方式肯定快一些，我觉得这是对像纹理这样比较大块的内容的特殊照顾，显卡的内存结构除了有物理上的结构以外，肯定还有逻辑上的划分。把物理内存分成大小适中的逻...

			
		

	





	

		

			

				
					
【动手开发深度学习框架日记】GPU内存管理API

				
			

			

				

					MelroseLbt的博客
				

				

					08-31
					
					754
					
				

			

		

		

			
				
CUDA内存管理API的封装，供Tensor使用。

			
		

	





	

		

			

				
					
CUDA编程入门系列（七） GPU内存如何管理

				
			

			

				

					qq_45788429的博客
				

				

					10-18
					
					500
					
				

			

		

		

			
				
共享内存定义在SM中，访问延迟比全局内存低两个数量级，访问速度比全局内存快一个数量级，共享内存定义在线程块中，线程块中每个线程都可以访问，但不可以被其他线程块访问。2.CPU内存的分配与释放是标准的,例如new和delete,malloc与free。1.GPU内存有很多种类型，例如全局，纹理，常量，共享，每种内存的管理不一样。2.GPU内存也有不同的属性，如1D,2D,3D,锁页，统一内存。Host内存属于CPU内存，传输速度比普通CPU内存快很多。4.CUDA/GPU内存与CPU内存的互相传输。

			
		

	





	

		

			

				
					
显卡 内存分配 linux,【原创】Linux环境下的图形系统和AMD R600显卡编程(4)——AMD显卡显存管理机制...

				
			

			

				

					weixin_42347925的博客
				

				

					05-01
					
					2255
					
				

			

		

		

			
				
显卡使用的内存分为两部分，一部分是显卡自带的显存称为VRAM内存，另外一部分是系统主存称为GTT内存(graphics translation table和后面的GART含义相同，都是指显卡的页表，GTT 内存可以就理解为需要建立GPU页表的显存)。在嵌入式系统或者集成显卡上，显卡通常是不自带显存的，而是完全使用系统内存。通常显卡上的显存访存速度数倍于系统内存，因而许多数据如果是放在显卡自带显存上...

			
		

	





	

		

			

				
					
GPU Command Submission

				
			

			

				

					佛系程序员
				

				

					09-18
					
					493
					
				

			

		

		

			
				
mesa/src/gallium/winsys/amdgpu/drm/amdgpu_cs.c
static void amdgpu_cs_submit_ib(void *job, void *gdata, int thread_index)
{
   struct amdgpu_cs *acs = (struct amdgpu_cs*)job;
   struct amdgpu_winsys *ws = acs->ws;
   struct amdgpu_cs_context *cs = acs-&g

			
		

	





	

		

			

				
					
图显系统DRM GEM完全解析

				
			

			

				

					多年芯片设计领域从业经验，负责芯片bringup以及kernel驱动开发。
				

				

					09-12
					
					3222
					
				

			

		

		

			
				
0. 引言
GEM 是Graphics execution management的缩写。沿袭了 TTM 的一些设计思想，提供一套显存管理的机制。
包括：

显存管理
控制对图形设备执行上下文的访问
处理现代图形硬件特有的 NUMA 需求

GEM 允许多个应用程序在不重新加载整个显卡的情况下，就可以访问到图形设备的资源。基于共享内存的思想保证了数据的同步性。显卡的上下文状态由 kernel 空间代码管理，这样就可以减少应用层对显卡状态管理的代码，使其将更多的精力放在图像算法上。
用户空间通过 ioctl 来

			
		

	





	

		

			

				
					
Linux图形子系统之GEM内存管理

				
			

			

				

					fs3296的博客
				

				

					03-29
					
					4782
					
				

			

		

		

			
				
Linux图形子系统之GEM内存管理引言1 创建与映射1.1 创建GEM1.2 映射对象2 内存分配2.1 数据结构2.1.1 内存管理结构2.1.2 内存节点结构2.2 分配算法2.3 常见用法
引言
drm对内存使用抽象成GEM对象，用户空间通过句柄或文件映射的方式访问。
1 创建与映射
1.1 创建GEM
drm_mode_create_dumb_ioctl是DRM_IOCTL_MODE_CREATE_DUMB的处理函数，它直接调用了drm_mode_create_dumb函数，该函数通过参数解析和检

			
		

	





	

		

			

				
					
nvidia cuda windows下gpu内存管理

				
			

			

				

					rav009的专栏
				

				

					06-06
					
					852
					
				

			

		

		

			
				
mxnet 出现cuo'wuRuntimeError: CUDA out of memory. Tried to allocate
这表示显卡内存不足，搜索怎么释放显卡的内存的时候，大多都是linux下的解决方法。
windows下可以这样做：打开cmd窗口，输入nvidai-smi查看显卡使用情况如图

可以看到下边有个PID表示进程id,然后打开任务管理器，点击详细信息，根据pid找到需要释放的进程结束即可。

————————————————
版权声明：本文为CSDN博主「安娜是个少年」的原创文章，遵

			
		

	





	

		

			

				
					
Linux drm内存管理(二) TTM内存管理基础概念

				
			

			

				

					负电离子的博客
				

				

					02-28
					
					2531
					
				

			

		

		

			
				
通过之前的文章我们知道了TTM是在GEM的基础上实现的一套GPU内存管理框架，

			
		

	





	

		

			

				
					
Tensorflow 源码分析-  从GPU OOM开始说Tensorflow的BFC内存管理

				
			

			

				

					沧海一粟
				

				

					05-04
					
					8427
					
				

			

		

		

			
				
前言在平台上跑GPU训练，结果CUDA OOM了，错误提示E  Internal: failed initializing StreamExecutor for CUDA device ordinal 0: Internal: failed call to cuDevicePrimary
CtxRetain: CUDA_ERROR_OUT_OF_MEMORY; total memory repor...

			
		

	





	

		

			

				
					
linux drm 内存管理,linux DRM GEM 笔记

				
			

			

				

					weixin_42131728的博客
				

				

					05-09
					
					967
					
				

			

		

		

			
				
在GPU上的各类操作中涉及到多种、多个buffer的使用。通常我们GPU是通过图像API来调用的，例如OPENGL、vulkan等，所以GPU上buffer的使用，实际上就是在这些图像API中被使用。例如在opengl es中，vertex/fragment shader、vertex index、vertex buffer object、uniform buffer object、texture...

			
		

	





	

		

			

				
					
GPU编程3--GPU内存深入了解

				
			

			

				

					zhanghaijun2013的博客
				

				

					08-08
					
					1438
					
				

			

		

		

			
				
emsp; 我们在GPU的基本概念一节中，讲到过GPU中的内存模型，但那一节只是对模型的简单介绍，这一节，我们对GPU的内存进行更加深入的说明。
  首先来回顾一下GPU中的内存：

每个线程都有自己的私有本地内存（Local Memory）和Resigter
每个线程都包含共享内存（Shared Memory）,可以被线程中所有的线程共享，其生命周期与线程快一致
所有的线程都可以访问全局内存（Global Memory）
只读内存块：常量内存（Constant Memory）和纹理内存（Texture M

			
		

	





	

		

			

				
					
amdgpu kfd TTM create GTT

				
			

			

				

					努力的志 的博客
				

				

					07-01
					
					1549
					
				

			

		

		

			
				
AMDGPU  kfd  TTM 创建 GTT 

			
		

	





	

		

			

				
					
掌握GPU与CPU内存管理：ipyexperiments

				
			

			

				

					gitblog_00022的博客
				

				

					06-02
					
					319
					
				

			

		

		

			
				
掌握GPU与CPU内存管理：ipyexperiments
项目地址:https://gitcode.com/stas00/ipyexperiments
开启深度学习实验的新篇章
在深度学习的世界里，有效的资源管理和优化是不可或缺的。对于Jupyter Notebook和iPython用户而言，ipyexperiments是一个强大的工具，它能够帮助你自动进行GPU和CPU内存的监控、重用以及内存泄...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
张帅峰_

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值