取样问题
问题描述:程序的输入包含两个整数m和n,其中m小于n。输出是0~n-1范围内的m个随机整数,要求:每个数选择出现的概率相等,且按序输出。
问题中最重要的要求是概率相同。假设m=2,n=5,那么每个数都应该以2/5的概率被选中,直观的会想到用这样的代码实现:
if((rand()%5)<2)
然而这样做是不对的,编程珠玑12章对这个问题进行了详细的介绍。本文于是总结了编程珠玑中等概率取样问题的几种解决方法,以便以后快速回忆。
方法1
首先来分析上面那行代码的问题。在我们对数字0-4之间做选择时,首先要对0做出选择,之后就不能用同样的概率来选择数字1;因为若是已经选择了数字0,选1的概率应为1/4,没选0,选1的概率为2/4。在这样的选择方案下才能保证数字1也是2/5被选中的概率:
P(1)= (2/5∗1/4)+(3/5∗2/4)=2/5
可以看出,我们需要维持一个变量select来表示还需要选取数的数目,在remaining中数中选出select个的数,我们就以select/remaining 的概率选取下一个数。实现代码如下:
void genknuth(int m,int n)
{
for(int i=0;i<n ;i++)
if(rand()%(n-i)<m){
cout<<i<<"\n";
m--;
}
}
knuth的《计算机编程艺术》的第二卷也有类似的代码。
方法2
上述方法的运行时间正比于N,若是m远小于n的话,或许用一种时间复杂都跟m相关的算法也还不错。
一种方法是在一个初始为空的集合里面插入随机数,直到个数足够。每次插入一个数时判断是否已经在集合里面,不在的话插入;在的话继续返回下一个随机数。这样也能保证每个数被插入到集合中的概率是一样的,都为m/n。
编程珠玑中用了set数据结构,其不存储重复的元素,同时输出也能保证相对的顺序。代码如下:
void gensets(int m,int n)
{
set<int> s;
while(s.size()<m)
s.insert(bigrand()%n);
set<int>::iterator i;
for(i= s.begin(); i!=s.end();i++)
cout<<*i<<"\n";
}
每次插入操作耗时O(logm),那么总时间复杂都为O(mlogm).
方法3
书中还讲到了一种方法是把包含整数 0至n-1的数组顺序打乱,然后把m个元素排序输出。如下:
for i=[0,n)
swap(i,randint(i,n-i))
进一步考虑,我们可以只把数组中的前m个数的打乱,然后排序,这样也是需要O(mlgm)的时间复杂度,但是同时需要O(N)的空间复杂度(用来保存N个数)。
RobertFloyd方法
方法2中生成的很多随机数都要丢掉,因为他们之前已经存在于集合中了,当m接近于n的时候尤为明显。 当然我们可以改变想法,先生成n-m个随机数,然后再输出不再样本中整数;但是m若是逼近与n/2,仍然不可避免要丢掉大量的随机数。
珠玑习题12.9讲述了一个很巧妙的算法来解决上述的问题,由RobertFloyd提出。
实现代码如下:
void genfloyd(int m,int n)
{
set<int> s;
set<int>::iterator i;
for(int j=n-m; j<n;j++)
{
int t= bigrand()%(j+1);
if(s.find() == s.end())
s.insert(t);// t not in S
else
s.insert(j);// t in S while j not in S
}
}
这个算法保证了只生成m次随机数,每次都可以讲一个新的随机数加入到集合中。