此处将为大家介绍关于Python-通过熊猫DataFrame分组并选择最常用的值的详细内容，并且为您解答有关pandasdataframe分组的相关问题，此外，我们还将为您介绍关于DataFrame分

此处将为大家介绍关于Python-通过熊猫DataFrame分组并选择最常用的值的详细内容，并且为您解答有关pandas dataframe 分组的相关问题，此外，我们还将为您介绍关于DataFrame分组和聚合、Python DaskDataframe按列分组、Python Dataframe 分组排序和 Modin、Python DataFrame 按列分组，同时创建新列的有用信息。

• Python-通过熊猫DataFrame分组并选择最常用的值（pandas dataframe 分组）
• DataFrame分组和聚合
• Python DaskDataframe按列分组
• Python Dataframe 分组排序和 Modin
• Python DataFrame 按列分组，同时创建新列

Python-通过熊猫DataFrame分组并选择最常用的值（pandas dataframe 分组）

我有一个包含三个字符串列的数据框。我知道第三列中的唯一一个值对于前两个的每种组合都有效。为了清理数据，我必须按前两列按数据帧分组，并为每种组合选择第三列的最常用值。

我的代码：

import pandas as pdfrom scipy import statssource = pd.DataFrame({''Country'' : [''USA'', ''USA'', ''Russia'',''USA''],                   ''City'' : [''New-York'', ''New-York'', ''Sankt-Petersburg'', ''New-York''],                  ''Short name'' : [''NY'',''New'',''Spb'',''NY'']})print source.groupby([''Country'',''City'']).agg(lambda x: stats.mode(x[''Short name''])[0])

最后一行代码不起作用，它显示“ Key error’Short name’”，如果我尝试仅按城市分组，则会收到AssertionError。我该如何解决？

答案1

你可以value_counts()用来获取计数系列，并获取第一行：

import pandas as pdsource = pd.DataFrame({''Country'' : [''USA'', ''USA'', ''Russia'',''USA''],                   ''City'' : [''New-York'', ''New-York'', ''Sankt-Petersburg'', ''New-York''],                  ''Short name'' : [''NY'',''New'',''Spb'',''NY'']})source.groupby([''Country'',''City'']).agg(lambda x:x.value_counts().index[0])

DataFrame分组和聚合

一、分组

1、语法

grouped= df.groupby(by=''columns name'')
# grouped是一个DataFrameGroupBy对象，是可迭代的(遍历)
# grouped中的每一个元素都是一个元祖
# 元祖： (索引(分组的值), 分组之后的DataFrame)

2、取值

grouped.count()                 # 获取分组中非NaN的数量
grouped.count()[[''M'']]          # 获取M列索引的值， 注意 [[''M'']] 结果的type是DataFrame
grouped.count()[''M'']            # 获取M列索引的值， 注意 [''M''] 结果的type是Series

3、多个分组

# 多个分组
grouped= df.groupby(by=[''columns_name1'', ''columns_name2''])

# 获取分组后的某一部分数据
grouped = df1.groupby(by=[''O'', ''N''])
grouped.count()[''M'']
或
grouped[''M''].count()

# 对某几列数据进行分组
grouped = df1[''M''].groupby(by=[df1[''O''], df1[''N'']])     # Series
# 或
grouped = df1[[''M'']].groupby(by=[df1[''O''], df1[''N'']])     # DataFrame
grouped.count()

二、聚合
DataFrameGroupBy对象的聚合方法

函数名         说明
count         分组中非NA的数量
sum           非NA值的和
mean          非NA值的平均值
median        非NA值的中位数
std、var       标准差、方差
min、max       非NA值中的最小值、最大值

Python DaskDataframe按列分组

import dask.dataframe as dd,t pandas as pd numpy as np
pdf = pd.DataFrame({''A'':[1,2,1],''B'':[4,5,6],''C'':[7,8,9],''D'':[1,3]})
pdf.columns=[''A'',''A'',''B'',''B'']
pdf.groupby(by=pdf.columns,axis=1).mean() # works

Out[83]: 
     A    B
0  2.5  4.0
1  3.5  5.0
2  3.5  6.0

ddf = dd.from_pandas(pdf,npartitions=1) 
#group = ddf.groupby(by=ddf.columns,axis=1).mean() #breaks
#group = ddf.groupby(by=list(ddf.columns),axis=1).mean() #breaks
TypeError: __init__() got an unexpected keyword argument ''axis''

pdf = pd.DataFrame({''A'':[1,3]})   
pdf.groupby(''A'').mean()
ddf = dd.from_pandas(pdf,npartitions=1)
ddf.groupby(''A'').mean().compute()

data[''new_rank''] = data.groupby(''house_code'')[''q_score_new''].rank(ascending=False, method=''dense'')

data.sort_values([''q_score_new''], ascending=False).groupby([''house_code'']).cumcount() + 1

(1)dsort_values方法ata.sort_values([''q_score_new'', ''agent_ucid''], ascending=[ False, True]).groupby([''house_code'']).cumcount() + 1 # 20多秒（100多万行数据集上）

(2)data = data.groupby(''house_code'').sort_values(by=[''q_score_new'', ''agent_ucid''], ascending=(False, True)).groupby(''house_code'').apply(f) # 200多秒（100多万行数据集上）


    def f(df):
        df[''new_rank''] = range(1, len(df) + 1)
        return df

pip install modin

%%time
import pandas 
pandas_csv_data = pandas.read_csv("../800MB.csv")
-----------------------------------------------------------------
CPU times: user 26.3 s, sys: 3.14 s, total: 29.4s
Wall time: 29.5 s
%%time
import modin.pandas
modin_csv_data = pd.read_csv("../750MB.csv")
-----------------------------------------------------------------
CPU times: user 76.7 ms, sys: 5.08 ms, total: 81.8 ms
Wall time: 7.6 s

df = pd.DataFrame( {
   ''memberiD'': [1,1,2,2],''ticketid'': [1,3,3],''agegrp'': [1,4,4],''c1'': [''a'',''a'',''c'',''c''],''c2'': [''a'',''d'',''a''],''c3'': ['''','''',''d1'': [''aa'',''ab'',''ac'',''aa'',''ca'',''cd'',''bb'',''aa'']  
    } );

from statistics import mode
from collections import Counter

final_df =df.groupby(''ticketid'',as_index=False).agg({''memberid'': mode,''c1'':mode,''c2'': mode,''c3'': mode,''date'': min,''d1'': list})
final_df[''d1'']  = final_df.d1.apply(lambda x: '',''.join(list(Counter(x))[:3]) if len(x) >= 3 else '',''.join(x))
final_df[[''d1'',''d2'',''d3'']] = final_df[''d1''].str.split('','',expand=True)

   ticketid  memberid c1 c2   c3        date  d1  d2    d3
0         1         1  A  A  NaN  2019-01-01  AA  AB    AC
1         2         1  A  D    C  2019-02-01  AA  AC  None
2         3         2  C  A    C  2019-03-01  CA  CD    BB