python merge、join、concat用法与区别

 由于合并变化较大，以后函数可能会修改，只给出一些例子作为参考

总结：

merge、join

1、当没有索引时：merge、join为按照一定条件合并

2、当有索引、并按照索引合并时，得到结果为两者混合到一起了，重新按照一定规则排序了。

3、当没有索引时、concat不管列名，直接加到一起，可以加到后面、也可以加到右边，axis=0为加到后面，axis=1为加到右边，左边的数据结构没有变，变的是右边数据结构。

4、当有索引、并按照索引合并时，得到结果两者混合到一起了。

import pandas as pd
import numpy as np
from pandas import DataFrame,Series
data1=pd.DataFrame(np.arange(6).reshape(2,3),columns=list('abc'))
data2=pd.DataFrame(np.arange(20,26).reshape(2,3),columns=list('ayz'))

data1
Out[33]: 
   a  b  c
0  0  1  2
1  3  4  5
data2
Out[34]: 
    a   y   z
0  20  21  22
1  23  24  25

data=pd.concat([data1,data2],axis=0)
data
Out[22]: 
    a    b    c     y     z
0   0  1.0  2.0   NaN   NaN
1   3  4.0  5.0   NaN   NaN
0  20  NaN  NaN  21.0  22.0
1  23  NaN  NaN  24.0  25.0
data=pd.concat([data1,data2],axis=1)
data
Out[24]: 
   a  b  c   a   y   z
0  0  1  2  20  21  22
1  3  4  5  23  24  25
data=pd.merge(data1,data2)
data
Out[26]: 
Empty DataFrame
Columns: [a, b, c, y, z]                    #a列没有共同元素
Index: []
data=pd.merge(data1,data2,on='a')
data
Out[28]: 
Empty DataFrame
Columns: [a, b, c, y, z]
Index: []
data=pd.merge(data1,data2,on='a',how='outer')
data
Out[30]: 
data
Out[30]: 
    a    b    c     y     z
0   0  1.0  2.0   NaN   NaN
1   3  4.0  5.0   NaN   NaN
2  20  NaN  NaN  21.0  22.0
3  23  NaN  NaN  24.0  25.0
data=pd.merge(data1,data2,how='outer')
data
Out[32]: 
    a    b    c     y     z
0   0  1.0  2.0   NaN   NaN
1   3  4.0  5.0   NaN   NaN
2  20  NaN  NaN  21.0  22.0
3  23  NaN  NaN  24.0  25.0

 

 MJ数据处理:

方法一：reindex

A（少量数据）中数据按照B的数据重新排序，再将A中数据放入到B某一列中

这样不行，重排列后A中特有数据没有了

import pandas as pd
import numpy as np
from pandas import DataFrame,Series
data_a=pd.read_excel('A.xlsx',index_col=2).loc[:,'授信敞口额度'];print(data_a.head())
data_b=pd.read_excel('B.xlsx',index_col=0);print(data_b.head())
data_a=data_a.reindex(index=data_b.index)
data_b.iloc[:,9]=data_a
data_b.to_excel('new_data.xlsx')

方法二：concat

https://stackoverflow.com/questions/27719407/pandas-concat-valueerror-shape-of-passed-values-is-blah-indices-imply-blah2

print(data_a.index.is_unique,data_b.index.is_unique)
data=pd.concat([data_b,data_a],axis=1)

#True False
#ValueError: Shape of passed values is (21, 378), indices imply (21, 288)
因为索引有重复项，所以不能concat

dataframe中去掉重复行

https://stackoverflow.com/questions/13035764/remove-rows-with-duplicate-indices-pandas-dataframe-and-timeseries/34297689#34297689

df3 = df3[~df3.index.duplicated(keep='first')]
#下面只能去掉同样的行，不能去掉索引相同行元素不同行
data_a.drop_duplicates(inplace=True);data_b.drop_duplicates(inplace=True)
data=pd.concat([data_b,data_a],axis=1)

还是不可以，由于有索引，结果会按照索引排序。

方法三：join

data=data_b.join(data_a,how='outer')
data.to_excel('data_join.xlsx')

也不可以，排序不是按照B中的数据在前，A中有B中没有数据在后，不太满足要求，较前面两种方法好

方法四：merge

data=pd.merge(data_b,data_a,left_index=True,right_index=True,how='outer')
data.to_excel('data_merge.xlsx')

与join方法得到结果一致，一样功能，不太满足需求。

方法五：merge

##合并数据不放在索引上，放在列上，没有索引，按列进行合并，结果直接在后面加，排列默认以合并左边列先排列，再排右边列。
#如果把公共列放在索引上，则返回结果会排序，merge、concat、join都会。
a = pd.read_excel('8月.xlsx')
b = pd.read_excel('8月末.xlsx')
print(b.head(),a.head())
c=pd.merge(a,b,on='客户名称',how='outer')