python-cookbook学习笔记四

过滤序列元素：

有一个序列，想从其中过滤出想要的元素。最常用的办法就是列表过滤：比如下面的形式：这个表达式的意义是从1000个随机数中选出大于400的数据

test=[]

for i in range(1000):

    test.append(random.randint(1,1000))

ret=[n for n in test if n >400]

根据cookbook书上的描述，这个方法适用于小数据的方式。如果数据集非常的大，而且要考虑内存的话建议使用生成器的方式ret=(n for n in test if n >400)

def filter_data(n):

    start=time.time()

    test=[]

    for i in range(n):

        test.append(random.randint(1,n))

    ret=[n for n in test if n >400]

    end=time.time()

    print 'Time using list iterater is %s' % (end-start)

    start=time.time()

    test=[]

    for i in range(n):

        test.append(random.randint(1,n))

    ret=(n for n in test if n >400)

    end=time.time()

    print 'Time using generater is %s' % (end-start)

我们先看下n=1000的运行结果：

filter_data(1000) 时间都差不多，看不出差别

N=10000的运行结果 用生成器要少于列表过滤的方法

filter_data(10000)

N=100000的运行结果 差距进一步拉大

filter_data(100000)

可以看出随着数据的扩大，确实生成器更能节省时间。

如果我们有两个列表，一个是存储信息的，一个是存储该信息的特征值的时候。我们想吧满足某种特征值的信息提取出来该如何操作呢。这里有个过滤工具itertools.compress

假设我们有下列数据，address存放的是具体的地址信息，count值对应的是各个地址信息的特征值。两者的索引是一一对应

    addresses = [

'5412 N CLARK',

'5148 N CLARK',

'5800 E 58TH',

'2122 N CLARK'

'5645 N RAVENSWOOD',

'1060 W ADDISON',

'4801 N BROADWAY',

'1039 W GRANVILLE',

]

    counts=[0,3,10,4,1,7,6,1]

如果我们想把特征值大于5的地址信息提取出来。其实方法也比较简单，如下是没有依赖任何模块的写法，也就是通过两个列表一一判断。

for i in range(len(addresses)):

    if counts[i] >= 5:

        tmp.append(addresses[i])

print tmp

compress的用法如下：首先生成一个feature的列表，这个feature列表根据生成式生成一个满足条件的过滤表。然后调用compress，第一个参数是原始数据，第二个参数是过滤条件。

feature=[n>=5 for n in counts]

print feature

print list(compress(addresses,feature))

两种方法比较，如果过滤条件已经具备，那么使用compress更方便一些。否则从我个人感觉来看没有什么差别。