多路数组聚集(Multiway)

    多路数组聚集其实就是对维度(dimension)进行选择,保留一些常用的可以很方便地生成别的子立方体的立方体(cube)。对一个维做聚集(aggregation)其实就是按照这个维度的方向做加法,把这个维度的值缩减成一个。比如3D的按照某一维降成2D,最终降成0D的也就是数多维数组里面非零元素的个数了(假设数组元素是0-1)。
       当把多维数组文件分割成可以放进内存的块(chuck)时,我们希望尽可能减少需要重新载入块的操作,也就是减少I/O,尽可能需要这块的操作都一次完成。也就是每个块只是被载入一次。这个是很容易做到的,但是不同的块载入顺序在维度聚集的时候会需要不同的缓存大小,而各个维度的聚集是同时进行的,所以需要一个合适的载入块的顺序使得所需要的缓存最小。
       比如,一个三维的立方体ABC,我们要聚集成AB、AC、BC三个二维的立方体,这三个聚集是同时做的,所以按照什么样的顺序载入chuck会影响到这三个聚集中间数据要保存时间的长短,进而影响所需要的缓存到小(因为需要保存中间结果越多,所需缓存越大)。
       如果A、B、C的基数分别是40,400,4000,每个维度分4段,一段构成一个chuck的边。那么chuck取的顺序应该是按照基数由小到大的维度,也就是先A后B再C。
       原因是先A维,那么BC可以按照最小的面积(100×1000)在BC方向的面做聚集。
       而后B维,那么AC就要按照整个A轴乘以C的一块(40×1000),因为至少当第4块取完。第5块开始取的时候,才能抛弃开始更新第一块的值,所以在第一块的值能够被更新以前,所有的中间结果都要保留。
       最后C维,那么AB就要按照整个AB面做聚集(40×400)。原因是第一块,的值要等到第17块载入的时候才能被更新,所以在这之前计算的中间值都要被保存。

    总结来说,就是看到第x块被载入的时候,第1块被更新(因为这块的载入),那么从1到(x-1)块在当前不需要做聚集的维度上的“超面积”(也就是各个维的基数乘起来)就是所需要的缓存数。另外一种说法,就是1到(x-1)块的侧面积之和(不需要聚集的维度上)。


出处:http://blog.sina.com.cn/s/blog_4b99f86c010006vt.html

  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
这里列举了一些常见的排序算法及其对应的函数名和功能: 1. 直接插入排序(Insertion Sort): - 函数名:insertionSort - 功能:将数组元素逐个插入已排序的部分,保持部分有序。 2. 希尔排序(Shell Sort): - 函数名:shellSort - 功能:将数组按照一定的步长进行分组,对每个分组进行插入排序,逐渐缩小步长直至为1,最终完成排序。 3. 快速排序(Quick Sort): - 函数名:quickSort - 功能:选取一个基准元素,将数组分为两部分,一部分小于基准元素,一部分大于基准元素,然后对两部分递归地进行快速排序。 4. 简单选择排序(Selection Sort): - 函数名:selectionSort - 功能:从未排序的部分选择最小(或最大)的元素,并将其放到已排序部分的末尾。 5. 堆排序(Heap Sort): - 函数名:heapSort - 功能:将数组转化为一个二叉堆,然后将堆顶元素与最后一个元素交换,并重新调整堆,重复这个过程直到整个数组有序。 6. 二路归并排序(Merge Sort): - 函数名:mergeSort - 功能:将数组递归地拆分为两个子数组,对子数组进行归并排序,然后将两个有序的子数组合并成一个有序的数组。 7. 多路归并排序(Multiway Merge Sort): - 函数名:multiwayMergeSort - 功能:将数组分割为多个子数组,对每个子数组进行归并排序,然后利用多路归并的方式将所有子数组合并成一个有序的数组。 8. LSD基数排序(Least Significant Digit Radix Sort): - 函数名:lsdRadixSort - 功能:按照元素的最低有效位(个位、十位等)进行排序,然后依次按照高位进行排序,最终得到有序数组。 9. MSD基数排序(Most Significant Digit Radix Sort): - 函数名:msdRadixSort - 功能:按照元素的最高有效位(百位、千位等)进行排序,然后递归地对每个范围内的子数组进行排序,最终得到有序数组。 请注意,这些函数名只是示例,实际使用时可以根据编程语言和习惯进行命名。此外,算法的具体实现可能因编程语言而异。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值