LINUX 2.4.22 内存管理 之四 页表管理【上】

已于 2022-07-06 17:08:29 修改
阅读量903 收藏 4
点赞数
分类专栏： # 内存管理 文章标签： linux 页表管理
于 2019-11-12 22:05:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zsj1126/article/details/103029556
版权

文章目录


上一篇：物理内存初始化（二）

下一篇：页表管理【中】

前言

linux 采用独立于底层架构的三级页表，从概念上容易理解，但也意味着不同类型架构的页面之间的差异变得模糊，这种结构不同于其他OS的页表结构，其他os需要管理最下层的物理页面，例如bsd 的 pmap
非3层架构的mmu将模拟这种三级页表结构，例如，不打开PAE功能 的x86 ,只有两级页表，那么二级页表（PMD）将只有一个页，并直接折返指向一级页表(PGD)项，这在编译的时候会自动优化，不幸的是，对于不自动管理cache和TLB的mmu架构，必须使用钩子函数来修改或者清除cache和TLB的内容，即使是空操作，例如x86,3.8 节将讨论这些钩子函数
本章首先介绍
1.页表如何组织，以及三级页表的各自数据类型；
2.介绍虚拟地址是怎么通过各级页表翻译成物理地址的；
3.讨论分析最底层的页表PTE，以及介绍地址中一些硬件有关的特殊位。相关页表操作和属性检测及设置的宏。
4.页表怎样增加项，页面如何分配和释放
5.内核启动阶段的页表如何初始化
6.怎样利用TLB and CPU caches

3.1 页表

linux 的每个进程都有一个指针(mm struct→pgd)指向他的PGD（一级页表的所在物理页地址），该页包含 pgd_t结构的数组， pgd_t数据结构依赖架构，定义在<asm/page.h>，pgd页表的装载依赖于架构，例如x86将 mm struct→pgd复制到 cr3 寄存器，这种方式还有另外一个作用，就是清除TLB，事实上清除TLB的函数__flush_tlb()就是通过这种方式来实现的，__flush_tlb的实现也是依赖架构的。
PGD 页表中的每一个有效项指向 PMD 页表所在的物理页。PMD 页表包含pmd_t结构的数组。PMD 页表的每一个有效项又指向PTE页表，PTE页表是pte_t结构的数组,其中的每一项指向包含实际用户数据的物理页。如果页面已经换出到swap区，pte将保存swap 中页面的入口地址，用来在发生缺页错误时，通过do_swap_page() 来寻找swap区中的页面地址
图3.1
在这里插入图片描述
任意一个线性（虚拟）地址将被拆分成三个页表的偏移量和页内偏移，内核提供多组宏来帮助得到各个偏移量。分别为SHIFT, SIZE，MASK ，这个看图就明白了。ARM 中：

 #define PAGE_SHIFT 12
 #define PAGE_SIZE (1UL << PAGE_SHIFT)
 #define PAGE_MASK (~(PAGE_SIZE-1))

#define PMD_SHIFT		20
#define PMD_SIZE		(1UL << PMD_SHIFT)
#define PMD_MASK		(~(PMD_SIZE-1))

#define PGDIR_SHIFT		20
#define PGDIR_SIZE		(1UL << PGDIR_SHIFT)
#define PGDIR_MASK		(~(PGDIR_SIZE-1))

在这里插入图片描述
在这里插入图片描述
PTRS_PER_x宏定义了各级页表包含的条目个数即数组大小。ARM中定义如下

/*
 * entries per page directory level: they are two-level, so
 * we don't really have any PMD directory.
 */
#define PTRS_PER_PTE		256
#define PTRS_PER_PMD		1
#define PTRS_PER_PGD		4096

ARM 页大小4096，PGD 的页表数目有4096 ，所以pgd 页表大小为16k
而PTE 只有256 ，总共覆盖4G空间，但256页只需1024字节，这不空间浪费吗？

3.2 页表条目

如上所述，PTE PMD 和PGD 页表的每一项对应的分别是pte_t,pmd_t,pgd_t结构。虽然他们通常是一个无符号整数，但定义成结构体的目的有两点，一是类型保护，防止程序中错误使用，二是为了一些特殊情况，例如x86 带PAE的地址中的有额外的4位用来4GiB 以上的寻址.pgprot_t用来表示虚拟地址中的保护位，通常在低位。上述这些结构ARM定义如下

typedef struct { unsigned long pte; } pte_t;
typedef struct { unsigned long pmd; } pmd_t;
typedef struct { unsigned long pgd; } pgd_t;
typedef struct { unsigned long pgprot; } pgprot_t;

下面两组宏用来结构到数值的相互转换

#define pte_val(x)      ((x).pte)
#define pmd_val(x)      ((x).pmd)
#define pgd_val(x)      ((x).pgd)
#define pgprot_val(x)   ((x).pgprot)

#define __pte(x)        ((pte_t) { (x) } )
#define __pmd(x)        ((pmd_t) { (x) } )
#define __pgd(x)        ((pgd_t) { (x) } )
#define __pgprot(x)     ((pgprot_t) { (x) } )

地址中保护位的位置是依赖硬件的
我们将以非PAE来举例说明地址翻译过程,但其实原理（支持PAE的）是一样的。在无PAE 的x86系统中，pte页表项是32bit 整数，每个pte条目 指向的是一个页的地址。并且所有的页地址都是页对齐的。因此，PAGE_SHIFT 所对应的低12位 (页大小为4096字节)，pte 条目中的低12位可以用来保存页表项的状态和标志，下图是一些状态和标志位列表，不同硬件架构的所包含的位和具体含义是不同的。ARM中的标志位如下

PTE_DIRTY：CPU在写操作时会设置该标志位，表示对应页面被写过，为脏页。
PTE_YOUNG：CPU访问该页时会设置该标志位。在页面换出时，如果该标志位置位了，说明该页刚被访问过，页面是young的，不适合把该页换出，同时清除该标志位。
PTE_PRESENT：表示页在内存中。

#define L_PTE_PRESENT		(1 << 0)//Page is resident in memory and not swapped out.
#define L_PTE_YOUNG		(1 << 1)
#define L_PTE_BUFFERABLE	(1 << 2)
#define L_PTE_CACHEABLE		(1 << 3)
#define L_PTE_USER		(1 << 4) //the page is accessible from userspace
#define L_PTE_WRITE		(1 << 5)
#define L_PTE_EXEC		(1 << 6)
#define L_PTE_DIRTY		(1 << 7)

在这里插入图片描述
_PAGE_PROTNONE后面会讨论，其他的自行理解
x86 的Pentium III以及更新的系统中，pte中有一个PAT位（ Pentium II 中是保留位），用来表示pte所指向的页面大小，在PGD 条目，这个位叫做 Page Size Extension(PSE)，显然，这两个位要联合使用

因为linux 在用户空间页面不会使用 PSE bit ，因此pte项的PAT bit 没有用，用作其他目的。
有可能出现这样的情况：页面需要驻留在内存中，但不能被用户空间的进程访问。例如被 mprotect() 保护的一段的带PROT_NONE标志的区域。当这个区域被保护， PAGE_PRESENT bit被清除，PAGE_PROTNONE bit 将设置。内核通过pte_present() 宏检测这两个位是否有一个存在，从而得知到这个pte是否存在。它只是不能被用户空间访问，这是个隐秘但又重要的点，因为当PAGE_PRESENT bit被清除，访问该页会产生缺页错误，此时linux内核将对其保护并知道该页存在（用户无法访问），如果有进程退出或需要将该页换出

3.3 页表项的使用

下面这些重要的宏定义在<asm/pgtable.h>，用来地址翻译和检验页表条目
pgd_offset 获得对应的PGD页表项虚拟地址
pmd_offset获得对应的PMD页表项虚拟地址,（由于硬件只有两级页表，因此得到的还是PGD页表项虚拟地址）
pte_offset获得对应的PTE页表项虚拟地址
而线性地址的剩余位用来表示页内偏移，如图3.1点击跳转

/* to find an entry in a page-table-directory */
#define pgd_index(addr)		((addr) >> PGDIR_SHIFT)
#define pgd_offset(mm, addr)		((mm)->pgd+pgd_index(addr))
#define pmd_offset(dir, addr)	((pmd_t *)(dir))	
/* Find an entry in the third-level page table.. */
#define __pte_offset(addr)	(((addr) >> PAGE_SHIFT) & (PTRS_PER_PTE - 1))
#define pte_offset(dir, addr)	((pte_t *)pmd_page(*(dir)) + __pte_offset(addr))

static inline unsigned long pmd_page(pmd_t pmd)
{
	unsigned long ptr;

	ptr = pmd_val(pmd) & ~(PTRS_PER_PTE * sizeof(void *) - 1);

	ptr += PTRS_PER_PTE * sizeof(void *);
	//页表项存放的是物理地址，而程序使用的是虚拟地址，因此需要转换	
    return __phys_to_virt(ptr);
}

下面一组宏用来判断页表条目是否存在或使用。
pte_none(), pmd_none() and pgd_none() 返回 1如果对应页表条目不存在
pte_present(), pmd_present() and pgd_present() 返回 1 如果对应页表条目存在
pte_clear(), pmd_clear() and pgd_clear() 清除对应的页表条目
pmd_bad() and pgd_bad() 用来检测是否错误（页表项被错误篡改），其检测依赖于硬件架构。实际使用中，最终要的还是判断是否存在以及是否可以访问。

#define pgd_none(pgd)		(0)
#define pgd_bad(pgd)		(0)
#define pgd_present(pgd)	(1)
#define pgd_clear(pgdp)		do { } while (0)

#define pmd_none(pmd)		(!pmd_val(pmd))
#define pmd_bad(pmd)		(pmd_val(pmd) & 2)//?
#define pmd_present(pmd)	(pmd_val(pmd))
#define pmd_clear(pmdp)		set_pmd(pmdp, __pmd(0))

#define pte_none(pte)		(!pte_val(pte))
#define pte_clear(ptep)		set_pte((ptep), __pte(0))
#define pte_present(pte)		(pte_val(pte) & L_PTE_PRESENT)

虚拟内存管理中很多地址翻译的代码，下面是 mm/memory.c 中follow_page函数的部分代码，展示了地址翻译的过程

pgd_t *pgd;	
pmd_t *pmd;
pte_t *ptep, pte;
pgd = pgd_offset(mm, address);
if (pgd_none(*pgd) || pgd_bad(*pgd))
	goto out;

pmd = pmd_offset(pgd, address);
if (pmd_none(*pmd) || pmd_bad(*pmd))
	goto out;
	
ptep = pte_offset(pmd, address);
if (!ptep)
	goto out;
 	
pte = *ptep;

通过三个XXX_offset宏来一步步找到实际的物理页，使用XXX_none 和 XXX_bad宏来保证页表的有效性

下面这组宏检测以及设置页面的权限，权限决定了用户进程对该页的访问权限。例如内核空间是不允许用户进程访问的。
pte_modify 基本没有使用，除了在 mm/mprotect.c 的 change_pte_range 函数

name功能
pte_readtested the read permissions for an entry
pte_writetested the write permissions for an entry
pte_exectested the execute permissions for an entry
pte_mkreadset the read permissions for an entry
pte_mkwriteset the write permissions for an entry
pte_mkexecset the execute permissions for an entry
pte_rdprotectclear the read permissions for an entry
pte_wrprotectclear the write permissions for an entry
pte_exprotectclear the execute permissions for an entry
pte_modifymodified the permissions for an entry

最后一组宏测试和设置页表项的状态位，在linux只有两个重要的状态位，分别是dirty bit 和 accessed bit.

name功能
pte_dirtycheck the dirty bit
pte_youngcheck the accessed bit
pte mkdirtyset the dirty bits,
pte_mkyoungset the accessed bits,
pte_mkcleanclear the dirty bits,
pte_mkoldclear the accessed bits,
DADA2ndTIAN
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux2.4.22 内核基础上的嵌入式闸门智能监控系统设计
01-19
文中采用的是基于Linux 操作系统的嵌入式技术，实现水利工程闸门的集视频监控与水位、闸位、库容、流量等参数实时监控一体化的本地/ 远程自动监控。　Linux 与嵌入式系统　嵌入式系统是一种以应用为中心，以计算机...
操作系统 | 内存管理——页表、页表项、页目录、多级页表
热门推荐
"You are worthy! You can do it!"
05-19 3万+
一、页表、页表项 页表由多个页表项组成，即页表中每一行的就是一个页表项。 页表项中记录的信息： 页框号：记录虚页面对应的具体哪个物理页面 有效位：标识该页表项对应的虚页面有没有读进内存，否则在磁盘 访问位：引用位，标识该页面有没有被访问过 修改位：此页面在内存中有没有被修改过，如果被修改过，将来是要被持久化到磁盘上的，该标志位就是这个目的 保护位：标识该页面的读写等权限 页表项一般是由硬件设计的，因为地址转换时大多数是由硬件完成的。 二...
【Linux】Linux的虚拟内存详解（MMU、页表结构）
qq_38350702的博客
11-05 1683
内存是程序得以运行的重要物质基础。如何在有限的内存空间运行较大的应用程序，曾是困扰人们的一个难题。为解决这个问题，人们设计了许多的方案，其中最成功的当属虚拟内存技术。Linux作为一个以通用为目的的现代大型操作系统，当然也毫不例外的采用了优点甚多的虚拟内存技术。 虚拟内存 为了运行比实际物理内存容量还要大的程序，包括Linux在内的所有现代操作系统几乎毫无例外的都采用了虚拟内存技术。虚拟内存技术，可让系统看上去具有比实际物理意义内存大的多的内存空间，并为实现多道程序的执行创造了条件。 虚拟内存的概念 总所周
页表机制
u011279649的专栏
07-17 6405
转自： http://lli_njupt.0fees.net/ar01s12.html 12. 页表机制 上一页     下一页 12. 页表机制 12.1. 引言 在Linux系统中，存在以下三种地址： 逻辑地址：它被包含在机器指令中用来指定一个操作数或一条指令的地址。每一个
页表管理及多级页表
Life_Maze的博客
08-02 5722
页表说需空间大小计算： １、32 位地址空间、4KB 的页大小、页表的每项大小为 4Byte。 32 位地址空间可寻址２^32 = 4GB 每４KB＝３^12为１个物理页，故需要总TLB项为２^32/2^12=2^2０ 每个TLB项的大小为４B，故总的TLB缓存的大小为２^20*4=2^22=4M ２、６４ 位地址空间、4KB 的页大小、页表的每项大小为 4B。 多级分页： ...
x86中的页表结构和页表项格式
yyt7529的专栏
07-06 7566
一、页表结构分页转换功能由驻留在内存中的表来描述，该表称为页表（page table），存放在物理地址空间中。页表可看做简单的220个物理地址数组。线性到物理地址的映射功能可以简单地看做进行数组查找。线性地址的高20位构成这个数组的索引值，用于选择对应页面的物理（基）地址。线性地址的低12位给出了页面中的偏移量，加上页面的基地址最终形成对应的物理地址。由于页面基地址对齐在4K边界上，因此页面基
操作系统MIT6.S081：[xv6参考手册第3章]-＞页表
InnerPeaceHQ的博客
07-12 2568
本系列文章为MIT6.S081的学习笔记，包含了参考手册、课程、实验三部分的内容，前面的系列文章链接如下 操作系统MIT6.S081：[xv6参考手册第1章]-＞操作系统接口 操作系统MIT6.S081：P1->Introduction and examples 操作系统MIT6.S081：Lab1->Unix utilities 操作系统MIT6.S081：[xv6参考手册第2章]->操作系统组织结构 操作系统MIT6.S081：P2->OS organization and system calls 操
Linux2.4.22 Understanding Linux
08-08
Linux2.4.22 Understanding Linux
linux-2.4.22.tar.bz2
12-04
对学习嵌入式开发用到linux的可以参考借鉴，便于掌握linux内核
2.4.22 exp
05-11
exploit 2.4.22 local root
mips中的三级页表
choumin的专栏
11-11 1058
1）64 位 MIPS 处理器大多使用三级页表，包括顶级的 PGD（页全局目录）、次级的 PMD（页中间目录）和最后一级 PTE（页表） 2）遍历三级页表 pgd 基址 + pgd 偏移 = pgd 表项（存 pmd 基址） pmd 基址 + pmd 偏移 = pmd 表项（存 pte 基址） pte 基址 + pte 偏移 = pte 表项（存物理页地址） 3）大页和小页 如果是大页，则 PMD 表项中存放着一个物理大页的地址 如果是小页，则 PMD 表项中存放着一个页表的地址，该页表中的每一项存放着一个
[windows内核]PDE&PTE
r250414958的博客
08-10 2074
Cr3 描述： 在所有的寄存器中，只有Cr3存储的是物理地址，其它寄存器存的都是线性地址 Cr3所存储的物理地址指向了一个页目录表（PDT） 在Windows中，一个页的大小通常为4KB，即一个页可以存储1024个页目录表项（PDE） 下面是手册中的描述在第3卷2.5 CONTROL REGISTERS 物理页结构图: 注意：但其实上面这种结构方式是错误的,这个以后再解释，先这样理解 PDE（页目录表项） 描述： 页目录表（PDT）的每一项元素称为页目录表项（PDE） 每个页目录表项指向一个页表（
ARM Linux 如何模拟X86 PTE中的Present Young和Dirty标志位
zf1575192187的专栏
03-30 1072
ARM Linux 如何模拟X86 PTE中的Present Young和Dirty标志位 原创文章，转载请注明出处.转载自:Li Haifeng's Blog 本文链接地址:ARM Linux 如何模拟X86 PTE中的Present Young和Dirty标志位 注：本文是参考Kernel的代码并加上个人揣测，欢迎指正 在X86 MMU Page table entry中，有三个标...
内存(ZT)
tianyu的专栏 - Linux site:blog.csdn.net/wishfly
02-05 2702
  内存目 录内存 内存管理子系统导读from aka 用户态 内核页目录的初始化 内核线程页目录的借用 用户进程内核页目录的建立 内核页目录的同步 mlock代码分析 memory.c copy_page clear_page_tables oom free_page_tables new_page_
11.3 文件映射缺页中断
Do one thing at a time, and do well.
07-18 854
下面来看页面不在内存中且页表内容为空(!pte_present(entry)&&pte_none(entry))的另一种情况。即VMA定义了fault方式函数vma->vm_ops->fault。 [handle_pte_fault()->do_fault()] /* * We enter with non-exclusive mmap_sem (to exclude vma changes, * but allow concurrent faults). *
linux内存管理-页面的换入
guoguangwu的专栏
10-18 516
在i386 CPU将一个线性地址映射成物理地址的过程中，如果该地址的映射已经建立，但是发现相应页面表项或目录项中的P（present）标志位为0，则表明相应的物理页面不在内存中，从而无法完成本次内存访问。从理论上说，也许应该把这种情况称为受阻而不是失败，因为映射的关系毕竟已经建立，理应与尚未建立映射的情况有所区别，所以我们称为断开。但是，CPU的MMU硬件并不区分这两种不同的情况，只要P标志位为0就都认为是页面映射失败，CPU就会产生一次页面异常（page fault）。事实上，CPU在映射过程中首先看的就
linux kernel内存管理之/proc/meminfo下参数介绍
weixin_45337360的博客
09-06 9181
介绍了Linux系统了解内存状态的主要接口/proc/meminfo，主要包括：介绍跟该接口相关的函数；介绍该接口下各类型内存参数，涉及各个参数之间的关系；根据该接口总结的内存地图；最后浅述了一下内存黑洞，至于内存黑洞这块目前了解最多的是通过page_owner来监控，对于其他方式如有了解，会进行更新
2.9 linux存储管理-页面的换入
zhangshuaiisme的专栏
07-23 1061
线性地址-->物理地址 若映射已经建立，但相应页表|页目录的P（present）位为0，表示相应的物理页面不再内存，从而无法访问内存。对于这种情况和未建立映射的情况，CPU的MMU硬件不对其进行区分，都进行“页面异常”处理 在handle_page_fault函数中： 说明：     首先区分的是pte_present，也就是检查表项的P标志位，查看物理页面
JPEG 原理详细实例分析及其在嵌入式中的应用.docx
最新发布
04-05
以一个基于嵌入式Linux的网络播放器为例，这个系统设计旨在提供家庭网络多媒体文件的流畅播放，通过ucLinux 2.4.22内核和microwindows GUI界面，以及Linux kernel的FrameBuffer显示输出，实现了在非PC环境下高质量的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值