pythonDataFrame数据合并，连接（merge,join,concat）merge 通过键拼接列 pandas提供了⼀个类似于关系数据库的连接(join)操作的⽅法merage，可以根据⼀个或多个键将不同DataFrame中的⾏连接起来
语法如下：
merge(left, right, how='inner', on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=True,
suffixes=('_x', '_y'), copy=True, indicator=False)
⽤于通过⼀个或多个键将两个数据集的⾏连接起来，类似于 SQL 中的 JOIN。
该函数的典型应⽤场景是：针对同⼀个主键存在两张包含不同字段的表，现在我们想把他们整合到⼀张表⾥。在此典型情况下，结果集的⾏数并没有增加，列数则为两个元数据的列数和减去连接键的数量。
on=None ⽤于显⽰指定列名（键名），如果该列在两个对象上的列名不同，则可以通过 left_on=None, right_on=None 来分别指定。或者想直接使⽤⾏索引作为连接键的话，就将 left_index=False, right_index=False 设为 True。 how='inner' 参数指的是当左右两个对象中存在不重合的键时，取结果的⽅式：inner 代表交集；outer 代表并集；left 和 right 分别为取⼀边。 suffixes=('_x','_y') 指的是当左右对象中存在除连接键外的同名列时，结果集中的区分⽅式，可以各加⼀个⼩尾巴。
对于多对多连接，结果采⽤的是⾏的笛卡尔积。
参数说明：
left与right：两个不同的DataFrame
how：指的是合并(连接)的⽅式有inner(内连接),left(左外连接),right(右外连接),outer(全外连接)；默认为inner
on : 指的是⽤于连接的列索引名称。必须存在右右两个DataFrame对象中，如果没有指定且其他参数也未指定则以两个DataFrame的列名交集做为连接键
left_on：左则DataFrame中⽤作连接键的列名；这个参数中左右列名不相同，但代表的含义相同时⾮常有⽤。
right_on：右则DataFrame中⽤作 连接键的列名
left_index：使⽤左则DataFrame中的⾏索引做为连接键
right_index：使⽤右则DataFrame中的⾏索引做为连接键
sort：默认为True，将合并的数据进⾏排序。在⼤多数情况下设置为False可以提⾼性能
suffixes：字符串值组成的元组，⽤于指定当左右DataFrame存在相同列名时在列名后⾯附加的后缀名称，默认为('_x','_y')
copy：默认为True，总是将数据复制到数据结构中；⼤多数情况下设置为False可以提⾼性能
indicator：在 0.17.0中还增加了⼀个显⽰合并数据中来源情况；如只来⾃⼰于左边(left_only)、两者(both)
merge⼀些特性⽰例：
1.默认以重叠的列名当做连接键。
In [16]: df1=DataFrame({'key':['a','b','b'],'data1':range(3)})
In [17]: df2=DataFrame({'key':['a','b','c'],'data2':range(3)})
In [18]: pd.merge(df1,df2) #没有指定连接键，默认⽤重叠列名，没有指定连接⽅式
Out[18]:
data1 key data2
0 0 a 0
1 1 b 1
2 2 b 1
2.默认做inner连接（取key的交集），连接⽅式还有（left,right,outer)，制定连接⽅式加参数：how=''
In [19]: pd.merge(df2,df1)
Out[19]:
data2 key data1
0 0 a 0
1 1 b 1
2 1 b 2 #默认内连接，可以看见c没有连接上。
In [20]: pd.merge(df2,df1,how='left') #通过how，指定连接⽅式
Out[20]:
data2 key data1
0 0 a 0
1 1 b 1
2 1 b 2
3 2 c NaN
3.多键连接时将连接键组成列表传⼊，例：pd.merge(df1,df2,on=['key1','key2']
In [23]: right=DataFrame({'key1':['foo','foo','bar','bar'],
...: 'key2':['one','one','one','two'],
...: 'lval':[4,5,6,7]})
In [24]: left=DataFrame({'key1':['foo','foo','bar'],
...: 'key2':['one','two','one'],
...: 'lval':[1,2,3]})
In [25]: right=DataFrame({'key1':['foo','foo','bar','bar'],
...: 'key2':['one','one','one','two'],
...: 'lval':[4,5,6,7]})
In [26]: pd.merge(left,right,on=['key1','key2'],how='outer') #传出数组
Out[26]:
key1 key2 lval_x lval_y
0 foo one 1 4
1 foo one 1 5
2 foo two 2 NaN
3 bar one 3 6
4 bar two NaN 7
4.如果两个对象的列名不同，可以分别指定，例：pd.merge(df1,df2,left_on='lkey',right_on='rkey')
In [31]: df3=DataFrame({'key3':['foo','foo','bar','bar'], #将上⾯的right的key 改了名字
...: 'key4':['one','one','one','two'],
...: 'lval':[4,5,6,7]})
In [32]: pd.merge(left,df3,left_on='key1',right_on='key3') #键名不同的连接
Out[32]:
key1 key2 lval_x key3 key4 lval_y
0 foo one 1 foo one 4
1 foo one 1 foo one 5
2 foo two 2 foo one 4
3 foo two 2 foo one 5
4 bar one 3 bar one 6
5 bar one 3 bar two 7
5.以索引当做连接键，使⽤参数left_index=true,right_index=True （最好使⽤join）
join 拼接列，主要⽤于索引上的合并
join⽅法提供了⼀个简便的⽅法⽤于将两个DataFrame中的不同的列索引合并成为⼀个DataFrame
join(self, other, on=None, how='left', lsuffix='', rsuffix='',sort=False):
其中参数的意义与merge⽅法基本相同，只是join⽅法默认为左外连接how=left
1.默认按索引合并，可以合并相同或相似的索引，不管他们有没有重叠列。
2.可以连接多个DataFrame
3.可以连接除索引外的其他列
4.连接⽅式⽤参数how控制
5.通过lsuffix='', rsuffix='' 区分相同列名的列
concat 可以沿着⼀条轴将多个对象堆叠到⼀起
concat⽅法相当于数据库中的全连接(UNION ALL)，可以指定按某个轴进⾏连接，也可以指定连接的⽅式join(outer,inner 只有这两种)。与数据库不同的时concat不会去重，要达到去重的效果可以使⽤drop_duplicates⽅法
concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False,
keys=None, levels=None, names=None, verify_integrity=False, copy=True):
轴向连接 pd.concat() 就是单纯地把两个表拼在⼀起，这个过程也被称作连接（concatenation）、绑定（binding）或堆叠（stacking）。因此可以想见，这个函数的关键参数应该是 axis，⽤于指定连接的轴向。
在默认的 axis=0 情况下，pd.concat([obj1,obj2]) 函数的效果与 obj1.append(obj2) 是相同的；
⽽在 axis=1 的情况下，pd.concat([df1,df2],axis=1) 的效果与 pd.merge(df1,df2,left_index=True,right_index=True,how='outer')是相同的。
可以理解为 concat 函数使⽤索引作为“连接键”。
本函数的全部参数为：
verify_integrity=False)。
objs 就是需要连接的对象集合，⼀般是列表或字典；
axis=0 是连接轴向join='outer' 参数作⽤于当另⼀条轴的 index 不重叠的时候，只有 'inner' 和 'outer' 可选（顺带展⽰
ignore_index=True 的⽤法）
concat ⼀些特点：
1.作⽤于Series时，如果在axis=0时，类似union。axis=1 时，组成⼀个DataFrame，索引是union后的，列是类似join后的结果。
2.通过参数join_axes=[] 指定⾃定义索引。
3.通过参数keys=[] 创建层次化索引
4.通过参数ignore_index=True 重建索引。
In [5]: df1=DataFrame(np.random.randn(3,4),columns=['a','b','c','d'])
In [6]: df2=DataFrame(np.random.randn(2,3),columns=['b','d','a'])
In [7]: pd.concat([df1,df2])
Out[7]:
a b c d
0 -0.848557 -1.163877 -0.306148 -1.163944
1 1.358759 1.159369 -0.532110 2.183934
2 0.532117 0.788350 0.703752 -2.620643
0 -0.316156 -0.707832 NaN -0.416589
1 0.406830 1.34593
2 NaN -1.874817
In [8]: pd.concat([df1,df2],ignore_index=True)
Out[8]:
a b c d
0 -0.848557 -1.163877 -0.306148 -1.163944
1 1.358759 1.159369 -0.532110 2.183934
2 0.532117 0.788350 0.703752 -2.620643
3 -0.316156 -0.707832 NaN -0.416589
4 0.406830 1.345932 NaN -1.874817
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议