如何实现随机访问
数组的定义:数据是一种线性表结构,它用一组连续的内存空间,来存储一组具有相同类型的数据
(1)线性表
-
顾名思义,线性表就是数据排成像一条线一样的结构,每个线性表上的数据最多只有前和后两个方向。常用的线性表结构有数组、链表、队列、栈
-
与它对应的是非线性表,比如二叉树、堆、图等。之所以叫做非线性,是因为,在非线性表中,数据之间并不是简单的前后关系
(2)连续的内存空间和相同连续的数据。
- 正是因为这两个限制,它实现了“随机访问”特性。
- 但有利就有弊,这两个限制也让数组的很多操作变得非常低效,比如要想在数组中删除、插入一个数据,为了保证连续性,就需要做大量的数据搬移工作。
数组是如何实现根据下标随机访问数组元素的?
- 以长度为 10 的 int 类型的数组 int[] a = new int[10] 来举例。如下图,计算机给数组a[10],分配了一块连续内存空间1000~1039,其中内存块的首地址为base_address = 1000。
- 我们知道,计算机会给每个内存单元分配一个地址,计算机通过地址来访问内存中的数据。当计算机需要随机访问数组中的某个元素时,它会首先通过下面的寻址公式,计算出该元素存储的内存地址:
a[i]_address = base_address + i * data_type_size
- 其中 data_type_size 表示数组中每个元素的大小。本例,数组中存储的是int 类型数据,所以 data_type_size 就为 4 个字节。
数据查找的时间复杂度:根据下标随机访问数据时时间复杂度为O(1)
低效的“插入”和“删除”
假设数组的长度是n,现在我们需要将一个数据插入到数组中的第k个位置。为了把第k个位置腾出来,给新来的数据,我们需要将第k~n这部分的元素都顺序的往后挪一位。那插入的时间复杂度是多少呢?
- 如果在数组的末尾插入元素,那就不需要移动数据了,这时候的时间复杂度是O(1)。
- 如果在数组的开头插入元素,那所有的数据都需要依次往后移动一位,所以最坏时间复杂度是0(n)
- 因为我们在每个位置插入元素的概率是一样的,所以平均情况时间复杂度是 (1+2+…n)/n=O(n)。
如果数组中的数据是有序的,我们在某个位置插入一个新元素时,就必须按照刚才的方法搬移K之后的数据。但是,如果数组中存储的数据并没有任何规律,数组只是被当做一个存储数据的集合。在这种情况下,如果要将某个数组插入到第k个位置,为了避免大规模的数据搬移,最简单的方法是直接将第k位的数据搬移到数组元素的最后,把新的元素直接放入第k个位置
利用这种处理技巧,在特定场景下,在第 k 个位置插入一个元素的时间复杂度就会降为O(1)。
我们再来看“删除”操作。如果我们要删除第k个位置的数据,为了内存的连续性,也需要搬移数据,不然中间就会出现空洞,内存就不连续了。
- 如果删除数组末尾的数据,则最好情况时间复杂度为 O(1)
- 如果删除开头的数据,则最坏情况时间复杂度为 O(n)
- 平均情况时间复杂度也为 O(n)
实际上,在某些特殊场景下,我们并不一定非得追求数组中数据的连续性。如果我们将多次删除操作集中在一起执行,删除的效率是不是会提高很多呢?
看个例子,数组 a[10] 中存储了 8 个元素:a,b,c,d,e,f,g,h。现在,我们要依次删除 a,b,c 三个元素。
为了避免d、e、f、g、h这几个数据会被搬移三次,我们可以先记录下已经删除的数据。每次的删除操作并不是真正的搬移数据,只是记录数据已经被删除。当数组没有更多空间存储数据时,我们在触发执行一次真正的删除操作,这样就大大减少了删除操作导致的数据搬移。
警惕数组的访问越界问题
看个例子。如下:
int main(int argc, char* argv[]){
int i = 0;
int arr[3] = {0};
for(; i<=3; i++){
arr[i] = 0;
printf("hello world\n");
}
return 0;
}
这段代码的运行结果并非是打印三行“hello word”,而是会无限打印“hello world”,这是为什么呢?
- 因为,数组大小为3,a[0]、a[1]、a[3],而因为代码书写错误,导致for循环结束条件错写为了 i<=3 而非 i<3,所以当i=3时,数组a[3]访问越界
- 我们知道,在C语言中,只要不是访问受限的内存,所有的内存空间都是可以自由访问的。根据我们前面讲的数组寻址公司,a[3]也会被定为到某块不属于数组的内存地址上,而这个地址正好是存储变量i的内存地址,那么a[3]=0就相当于i=0,所以就会导致代码无须循环
- 关于这个地址正好是存储变量i的内存地址:函数体内的局部变量存在栈上,且是连续压栈。在Linux进程的内存布局中,栈区在高地址空间,从高向低增长。变量i和arr在相邻地址,且i比arr的地址大,所以arr越界正好访问到i,所以内存越界的循环限制在x86架构的小端模式,在别的架构平台上的大端模式应该不是这样的!)
- 栈是由高到低位增长的,所以,i和数组的数据从高位地址到低位地址依次是:i, a[2], a[1], a[0]。a[3]通过寻址公式,计算得到地址正好是i的存储地址,所以a[3]=0,就相当于i=0.
- 结果和编译器的实现有关,gcc有一个编译选项(-fno-stack-protector)用于关闭堆栈保护功能。默认情况下启动了堆栈保护,不管i声明在前还是在后,i都会在数组之后压栈,只会循环4次;如果关闭堆栈保护功能,则会出现死循环。
- 数组越界在C语言中是一种未决行为,并没有规定数组访问越界时编译器应该如何处理。因为,访问数组的本质就是访问一段连续内存,只要数组通过偏移计算得到的内存地址是可用的,那么程序就可能不会报任何错误
- 这种情况下,一般都会出现现莫名其妙的逻辑错误,就像我们刚刚举的那个例子,debug 的难度非常的大。而且,很多计算机病毒也正是利用了代码中的数组越界可以访问非法地址的漏洞,来攻击系统,所以写代码的时候一定要警惕数组越界。
但并非所有的语言都像C一样,把数组越界检查的工作交给程序员来做,向Java本身就会做越界检测。,比如下面这几行 Java 代码,就会抛出java.lang.ArrayIndexOutOfBoundsException。
int[] a = new int[3];
a[3] = 10;
容器能否完全替代数组
针对数组类型,很多语言都提供了容器类,比如Java 中的 ArrayList、C++ STL中的vector,那在项目开发中,什么时候用数组,什么时候用容器呢?
以Java 语言举例。如果你是 Java 工程师,几乎天天都在用 ArrayList,那它和数组相比,有哪些优势呢?
- ArrayList最大的优势是可以将很多数组操作的细节封装起来。比如数组插入、删除数据时需要搬移其他数据等。另外,它还有一个优势,那就是支持动态扩容
- 数组本身在定义的时候需要指定大小,因为需要分配连续的内存空间。如果我们申请了大小为10的数组,当第11个数据需要存储到数组中时,我们就需要重新分配一块更大的空间,将原来的数据复制过去,然后再将新的数据插入
- 如果使用ArrayList,我们就完全不需要关心底层的扩容逻辑,ArrayList已经帮我们实现好了。每次存储空间不够的时候,它都会将空间自动扩容为1.5倍大小
- 不过,这里需要注意一点,因为扩容涉及内存申请和数据搬移,是比较耗时的,所以,如果能事先确定需要存储的数据大小,最好在创建ArrayList的时候就指定数据大小。比如:
ArrayList<User> users = new ArrayList(10000);
for (int i = 0; i < 10000; ++i) {
users.add(xxx);
}
作为高级语言编程者,是不是数组就无用武之地了呢?当然不是,有些时候,用数组会更加合适
- Java ArrayList无法存储基本类型,比如int、long,需要封装为Interger、Long类,而AutoBoxing、Unboxing则有一定的性能消耗,所以如果需要特别关注性能,或者希望使用基本类型,就可以选用数组。
- 如果数据大小事先已知,并且对数据的操作特别简单,用不到ArrayList提供的大部分方法,也可以直接使用数组。
- 当要表示多维数组时,用数组往往会更加直观。比如
Object[][] array
;而用容器的话则需要这样定义:ArrayList<ArrayList > array
。
基本上,对于业务开发、直接使用容器就足够了,省时省力。毕竟损耗一点点性能,完全不会影响到系统整体的性能。但如果你是做一些非常底层的开发,比如开发网络框架,性能的优化需要做到极致,这个时候数组就会优于容器,成为首选
为什么大多数编程语言中,数组要从 0 开始编号,而不是从1 开始呢?
从数组存储的内存模型上来看,“下标”最确切的定义应该是“偏移(offset)”。前面也讲到,如果用 a 来表示数组的首地址,a[0] 就是偏移为 0 的位置,也就是首地址,a[k] 就表示偏移 k 个 type_size 的位置,所以计算 a[k] 的内存地址只需要用这个公式:
a[k]_address = base_address + k * type_size
但是,如果数组从 1 开始计数,那我们计算数组元素 a[k] 的内存地址就会变为:
a[k]_address = base_address + (k-1)*type_size
对比两个公式,我们不难发现,从1开始编号,每次随机访问数组元素都多了一次减法运算,对于CPU来说,就是多了一次减法指令。
数组作为非常基础的数据结构,通过下标随机访问数组元素又是其非常基础的编程操作,效率的优化就要尽可能做到极致。所以,为了减少一次减法操作,数组选择了从 0 开始编号,而不是从 1 开始。
不过上面解释得再多其实都算不上压倒性的证明,说数组起始编号非 0 开始不可。所以个人觉得最主要的原因可能是历史原因。
C语言设计者用0开始计数数组下标,之后的Java、JavaScript等高级语言都效仿了C语义,或者说,为了在一定程度上减少C语言程序员学习Java的学习成本,因此继续沿用了从0开始计数的习惯。实际上,很多语言中数组也并不是从 0 开始计数的,比如Matlab。甚至还有一些语言支持负数下标,比如 Python。
总结
数组用一块连续的内存空间,来存储相同类型的一组数据,最大的特点就是支持随机访问,但插入、删除操作也因此变得比较低效,平均情况时间复杂度为 O(n)。
在平时的业务开发中,我们可以直接使用编程语言提供的容器类,但是,如果是特别底层的开发,直接使用数组可能会更合适。