综合项目

import pandas as pd
import numpy as np
from pandas import Series,DataFrame
import matplotlib.pyplot as plt

读取数据，column命名，多空格分离使用 \s+
df_all = pd.read_csv(’./CDNOW_master.txt’,header=None,sep=’\s+’,names=[‘user_id’,‘order_dt’,‘order_product’,‘order_amount’])

转换时间格式，添加时间格式的列
df_all[‘order_dt’] = pd.to_datetime(pd_all[‘order_dt’],format=’%Y%m%d’,)
df_all[‘month’] = pd_all[‘order_dt’].astype(‘datetime64[M]’)

df_all.groupby(‘month’)[‘order_amount’].sum() 用户每月花费的总金额
df_all.groupby(‘month’)[‘order_product’].sum() 所有用户每月的产品购买量
df_all.groupby(‘month’)[‘user_id’].count() 所有用户每月的消费总次数
df_all.groupby(‘month’)[‘user_id’].nunique() 统计每月的消费人数

df_all[‘order_amount’].sum(),df_all[‘order_product’].sum() 所有用户消费总金额和消费总购买量的统计描述
user_amount = df_all.groupby(‘user_id’)[‘order_amount’].sum()
user_sum = df_all.groupby(‘user_id’)[‘order_product’].sum()
plt.scatter(user_amount,user_sum) 各个用户消费金额和消费产品数量的散点图
user_amount_1000 = df_all.query(‘order_amount < 1000’).groupby(‘user_id’)[‘order_amount’].sum() 各个用户消费总金额的直方分布图(消费金额在1000之内的分布)
user_amount_100 = df_all.query(‘order_product < 1000’).groupby(‘user_id’)[‘order_product’].sum() 各个用户消费的总数量的直方分布图(消费商品的数量在100次之内的分布)

用户第一次消费的月份分布，和人数统计
df_all.groupby(‘user_id’)[‘month’].min().value_counts()
绘制线形图
df_all.groupby(‘user_id’)[‘month’].max().value_counts()
用户最后一次消费的时间分布，和人数统计
绘制线形图
新老客户的占比
消费一次为新用户
消费多次为老用户
df_new_old = df_all.groupby(‘user_id’)[‘order_dt’].agg([‘max’,‘min’])
(df_new_old[‘max’] == df_new_old[‘min’]).value_counts()
分析出每一个用户的第一个消费和最后一次消费的时间
agg([‘func1’,‘func2’]):对分组后的结果进行指定多种形式的聚合
分析出新老客户的消费比例
用户分层
frm = df_all.pivot_table(index=‘user_id’,aggfunc={‘order_product’:‘sum’,‘order_dt’:‘max’,‘order_amount’:‘sum’})
分析得出每个用户的总购买量和总消费金额and最近一次消费的时间的表格rfm
RFM模型设计
R表示客户最近一次交易时间的间隔。
/np.timedelta64(1,‘D’)：去除days
frm[‘R’] = (frm[‘order_dt’].max() - frm[‘order_dt’]) / np.timedelta64(1,‘D’)
frm = frm[[‘order_product’,‘R’,‘order_amount’]]
frm.columns = [‘F’,‘R’,‘M’]
F表示客户购买商品的总数量,F值越大，表示客户交易越频繁，反之则表示客户交易不够活跃。
M表示客户交易的金额。M值越大，表示客户价值越高，反之则表示客户价值越低。
将R，F，M作用到rfm表中

#rfm分层算法
def frm_func(x):
#存储存储的是三个字符串形式的0或者1
level = x.map(lambda x :‘1’ if x >= 0 else ‘0’)

M ‘0’

F ‘0’

R ‘1’

label = level['R'] + level.F + level.M
d = {
    '111':'重要价值客户',
    '011':'重要保持客户',
    '101':'重要挽留客户',
    '001':'重要发展客户',
    '110':'一般价值客户',
    '010':'一般保持客户',
    '100':'一般挽留客户',
    '000':'一般发展客户'
}
result = d[label]
return result

#df.apply(func):可以对df中的行或者列进行某种（func）形式的运算
frm[‘label’] = frm.apply(lambda x : x - x.mean(),axis=0).apply(frm_func,axis = 1)
frm.head()

用户的生命周期 将用户划分为活跃用户和其他用户 统计每个用户每个月的消费次数 统计每个用户每个月是否消费，消费记录为1否则记录为0 知识点：DataFrame的apply和applymap的区别 applymap:返回df 将函数做用于DataFrame中的所有元素(elements) apply:返回Series apply()将一个函数作用于DataFrame中的每个行或者列 将用户按照每一个月份分成： unreg:观望用户（前两月没买，第三个月才第一次买,则用户前两个月为观望用户） unactive:首月购买后，后序月份没有购买则在没有购买的月份中该用户的为非活跃用户 new:当前月就进行首次购买的用户在当前月为新用户 active:连续月份购买的用户在这些月中为活跃用户 return:购买之后间隔n月再次购买的第一个月份为该月份的回头客

df_purchase = df_all.pivot_table(index=‘user_id’,values=‘order_dt’,aggfunc=‘count’,columns=‘month’,fill_value=0)
df_purchase1 = df_purchase.applymap(lambda x:1 if x > 0 else 0)

#将df_purchase中的原始数据0和1修改为new，unactive…,返回新的df叫做df_purchase_new
#固定算法
def active_status(data):
status = []#某个用户每一个月的活跃度
for i in range(18):

    #若本月没有消费
    if data[i] == 0:
        if len(status) > 0:
            if status[i-1] == 'unreg':
                status.append('unreg')
            else:
                status.append('unactive')
        else:
            status.append('unreg')
                
    #若本月消费
    else:
        if len(status) == 0:
            status.append('new')
        else:
            if status[i-1] == 'unactive':
                status.append('return')
            elif status[i-1] == 'unreg':
                status.append('new')
            else:
                status.append('active')
return status

pivoted_status = df_purchase.apply(active_status,axis = 1)
pivoted_status.head()

df_purchase_new = DataFrame(data=pivoted_status.tolist(),index=df_purchase.index,columns=df_purchase.columns)

df_purchase_new.apply(lambda x:pd.value_counts(x),axis=0).fillna(0).T