Python与Matlab的数据合并

Python与Matlab的数据合并

---

---

本文主要记录学习语言过程中的一些体会，为了方便记忆，记录并进行了整理。参考链接为python的数据增加

前言

很多时候，我们当会遇到这种情况：看到一篇文章，感觉方法不错，源代码也有，怎么用到自己的数据集上来是我们要重点关注的问题，可能由于数据格式不同，所以对数据的处理显得尤为重要。接下来讲讲数据的合并。

---

一、合并

数据合并可以体现在数据增加以及数据维数的增加。数据增加表现为不增加维数、增加数据某一维数的大小；数据维数的增加表现为会增加维数。接下来这两点进行展开。

二、数据增加

Python数据增加

数据合并主要包括下面两种操作：轴向连接（concatenation）和融合（merging）

轴向连接（concatenation）：

代码如下（示例）：

pd.concat()：可以沿一个轴将多个DataFrame对象连接在一起，形成一个新的DataFrame对象。

concat()函数可以将数据根据不同的轴作进行合并。我们先看一下concat()的常用参数：
pd.concat(objs, axis=0, join=‘outer’)

objs: series、dataframe或者是panel构成的序列list。
axis： 需要合并链接的轴，0是行，1是列，默认是0。
join：连接的方式 inner，或者outer，默认是outer。

示例如下：

按行进行合并

import pandas as pd
dict1={
    'A': ['A0', 'A1', 'A2', 'A3'],
    'B': ['B0', 'B1', 'B2', 'B3'],
    'C': ['C0', 'C1', 'C2', 'C3']}
df1=pd.DataFrame(dict1)
print(df1)

dict2={
    'B': ['B0', 'B1', 'B2', 'B3'],
    'C': ['C0', 'C1', 'C2', 'C3'],
    'D': ['D0', 'D1', 'D2', 'D3']}
df2=pd.DataFrame(dict2)
print(df2)
df =pd.concat([df1,df2],axis=0,join='outer',ignore_index=True)

print(df)

结果如下所示

    A   B   C
0  A0  B0  C0
1  A1  B1  C1
2  A2  B2  C2
3  A3  B3  C3

    B   C   D
0  B0  C0  D0
1  B1  C1  D1
2  B2  C2  D2
3  B3  C3  D3

     A   B   C    D
0   A0  B0  C0  NaN
1   A1  B1  C1  NaN
2   A2  B2  C2  NaN
3   A3  B3  C3  NaN
4  NaN  B0  C0   D0
5  NaN  B1  C1   D1
6  NaN  B2  C2   D2
7  NaN  B3  C3   D3

按列进行合并

如果按照列合并，结果如下所示

    0   1   2   3   4   5
0  A0  B0  C0  B0  C0  D0
1  A1  B1  C1  B1  C1  D1
2  A2  B2  C2  B2  C2  D2
3  A3  B3  C3  B3  C3  D3

融合（merging）：

融合（merging）：pd.merge()方法可以根据一个或多个键将不同DataFrame中的行连接起来。
merge()函数通过指定连接键拼接列数据，我们先看一下merge的常用参数：

merge(left, right, how='inner', on=None)

1.left和right：两个要合并的DataFrame
2.how：连接方式，有inner、left、right、outer，默认为inner
3.on：指的是用于连接的列索引名称，必须存在于左右两个DataFrame中，如果没有指定且其他参数也没有指定，则以两个DataFrame列名交集作为连接键

示例：

内连接

how=‘inner’，on=设置连接的共有列名。

# 单列的内连接
import pandas as pd
import numpy as np
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'feature1':[1,1,2,3,3,1], 
					'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
				    'pazham':['apple','orange','pine','pear'],
				    'kilo':['high','low','high','medium'],
				    'price':np.array([5,6,5,7])})
# 基于共同列alpha的内连接
df3 = pd.merge(df1,df2,how='inner',on='alpha')

print(df1)
print(df2)
print(df3)

结果如下所示

外连接

how=‘outer’，dataframe的链接方式为外连接，我们可以理解基于共同列的并集进行连接，参数on设置连接的共有列名。

# 单列的外连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'feature1':[1,1,2,3,3,1], 
					'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
					'pazham':['apple','orange','pine','pear'],
					'kilo':['high','low','high','medium'],
					'price':np.array([5,6,5,7])})
# 基于共同列alpha的外连接
df4 = pd.merge(df1,df2,how='outer',on='alpha')

print(df1)
print(df2)
print(df4)

结果如下图所示。

若两个dataframe间除了on设置的连接列外并无相同列，则该列的值置为NaN。

左连接

how=‘left’，dataframe的链接方式为左连接，我们可以理解基于左边位置dataframe的列进行连接，参数on设置连接的共有列名。

示例：

# 单列的左连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'feature1':[1,1,2,3,3,1],
    				'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
					'pazham':['apple','orange','pine','pear'],
                    'kilo':['high','low','high','medium'],
                    'price':np.array([5,6,5,7])})
# 基于共同列alpha的左连接
df5 = pd.merge(df1,df2,how='left',on='alpha')

print(df1)
print(df2)
print(df5)

结果如下图所示

因为df2的连接列alpha有两个’A’值，所以左连接的df5有两个’A’值，若两个dataframe间除了on设置的连接列外并无相同列，则该列的值置为NaN。

右连接

how=‘right’，dataframe的链接方式为左连接，我们可以理解基于右边位置dataframe的列进行连接，参数on设置连接的共有列名。

# 单列的右连接
# 定义df1
df1 = pd.DataFrame({'alpha':['A','B','B','C','D','E'],
					'feature1':[1,1,2,3,3,1],
					'feature2':['low','medium','medium','high','low','high']})
# 定义df2
df2 = pd.DataFrame({'alpha':['A','A','B','F'],
					'pazham':['apple','orange','pine','pear'],
					'kilo':['high','low','high','medium'],
					'price':np.array([5,6,5,7])})
# 基于共同列alpha的右连接
df6 = pd.merge(df1,df2,how='right',on='alpha')

print(df1)
print(df2)
print(df6)

结果如下图所示

Matlab数据增加

Matlab的数据合并一般处理的是数组，也有两种合并方式，按列合并与按行分类。Matlab数据按列合并与按行合并的区别就在于中间加不加分号

按列合并

C = [A B];中间不加分号，示例如下：

clear;
close all
A = randi(5,[2,3]);
B = randi(6,[2,3]);
C = [A B];
disp(A);
disp(B);
disp(C);

结果如下图所示

 A
> 1     5     3
> 3     2     2
B
> 5     4     6
> 2     5     6
C
>1     5     3     5     4     6
>3     2     2     2     5     6

由结果可以看出，合并前A.B的大小都为2×3，按列合并后C的大小为2×6。

按行合并

C = [A；B];中间加分号，示例如下：

clear;
close all
A = randi(5,[2,3]);
B = randi(6,[2,3]);
C = [A;B];
disp(A);
disp(B);
disp(C);

结果如下图所示

A
     3     1     5
     1     2     2
B
     5     6     2
     2     3     2
C
     3     1     5
     1     2     2
     5     6     2
     2     3     2

由结果可以看出，合并前A.B的大小都为2×3，按行合并后C的大小为4×3。

三、维数增加

Python 中的维数增加

可以利用np.stack()将二维数据扩展为三维数据

A = np.array([[1,2,3],[4,5,6]])
B = np.array([[10,11,12],[13,14,15]])
C = np.stack([A,B],axis=0)
print(A.shape)
print(B.shape)
print(C.shape)
print(C)

结果如下图所示

(2, 3)
(2, 3)
(2, 2, 3)
[[[ 1  2  3]
  [ 4  5  6]]

 [[10 11 12]
  [13 14 15]]]

由结果可知，A的格式为2×3，B的格式为2×3，数据扩充后的格式为2×2×3。

Matlab 中的维数增加

利用cat函数可以将二维数据扩展为三维数据

clear;
close all
A = randi(5,[2,3]);
B = randi(6,[2,3]);
C = cat(3,A,B);
disp(A);
disp(B);
disp(C);

结果如下：

A:
     4     2     3
     3     5     3
B:
     6     5     3
     2     5     4

C:
(:,:,1) =

     4     2     3
     3     5     3


(:,:,2) =

     6     5     3
     2     5     4```

由结果可知，A的格式为2×3，B的格式为2×3，数据扩充后的格式为2×3×2。

总结

以上就是今天要分享的内容，简单介绍了对于数合并的处理，相对来说，Python数据的合并大多是字典格式，而Matlab数据的合并大多是数组。上述数据合并的主要关键词包括：concatenation、merging和stack；Matlab主要是cat。当然Python数据的合并还有其他的方式。后续可能也会补充