对于如何在PythonPandas中使用两个数据框计算结果感兴趣的读者，本文将会是一篇不错的选择，我们将详细介绍python两个数据框合并，并为您提供关于(Pandas,Python)如何在2个不同的
对于如何在 Python Pandas 中使用两个数据框计算结果感兴趣的读者，本文将会是一篇不错的选择，我们将详细介绍python两个数据框合并，并为您提供关于(Pandas, Python) 如何在 2 个不同的数据帧之间匹配 str 数据，然后根据匹配添加一个值作为列？、Pandas 2.0正式版发布： Pandas 1.5，Polars，Pandas 2.0 速度对比测试、Pandas- pandas.DataFrame.from_csv VS pandas.read_csv、Pandas/Python：如何在 Pandas 中的数据帧的数字列中只添加一个前导零的有用信息。
本文目录一览：- 如何在 Python Pandas 中使用两个数据框计算结果（python两个数据框合并）
- (Pandas, Python) 如何在 2 个不同的数据帧之间匹配 str 数据，然后根据匹配添加一个值作为列？
- Pandas 2.0正式版发布： Pandas 1.5，Polars，Pandas 2.0 速度对比测试
- Pandas- pandas.DataFrame.from_csv VS pandas.read_csv
- Pandas/Python：如何在 Pandas 中的数据帧的数字列中只添加一个前导零
如何在 Python Pandas 中使用两个数据框计算结果（python两个数据框合并）
如何解决如何在 Python Pandas 中使用两个数据框计算结果
我有两个数据框 Df1 和 Df2。我想从 Df1 中选择名称为 B 的值，并将该数字与 Df2 中的列权重相乘，这样我就可以得到一个新的结果列，就像在新数据框 Df2 new 中一样。
我该如何解决这个问题？
解决方法
假设 ''B'' 在 name 的 df1 列中是唯一的，您可以在 df1 中查找值并将其乘以 weight 列df2 像这样：
import pandas as pddf1 = pd.DataFrame({''name'': [''A'',''B'',''C''],''value'': [100,300,150]})df2 = pd.DataFrame({''no'': [115,99,76],''weight'': [.3,.5,.2]})df2[''result''] = df1.value.values[df1.name == ''B''] * df2.weightprint(df2)
no weight result0 115 0.3 90.01 99 0.5 150.02 76 0.2 60.0
权重值当然应该在数据框中以浮点数的形式给出，而不是包含百分号的字符串。
(Pandas, Python) 如何在 2 个不同的数据帧之间匹配 str 数据，然后根据匹配添加一个值作为列？
如何解决(Pandas, Python) 如何在 2 个不同的数据帧之间匹配 str 数据，然后根据匹配添加一个值作为列？
详细说明，我有 2 个数据框。两个数据框都有一个名称列。 DF1[''Name''] 的形状为 (28,)，而 DF2[''Name''] 的形状为 (67,)。 DF1[''Name''] 中名称的所有实例都应在 DF2[''Name''] 中找到。 DF2 也有一个角色列，是否可以找到 df 之间的所有匹配实例，然后为数据帧之间的匹配元素添加角色？
我尝试过 DF1[''Name''].eq(df2[''Name'']，我知道它返回布尔 T/F，但是当我尝试时，它为所有元素返回 F，我知道这是因为索引不匹配。
我试过s = df1.where(df1[''Name''].values==df2[''Name''].values) 返回 ValueError: Array conditional must be the same shape as self
我相信 pd.findall() 可能是一个有效的解决方案，但我不确定。
关于如何实现这一点有什么想法吗？
解决方法
假设：
data1={''Process_ID'':[''12345-98'',''23547-75'',''85763-99'',''44231-56'',''78456-00'',''53218-87''],''Date'': [''2021-06-30'',''2022-08-10'',''2021-06-15'',''2023-10-02'',''2024-04-03'',''2021-06-25''],''Check'': [''True'',''False'',''True'',''False'']}
df1=pd.DataFrame(data1)
df1.head()
Process_ID Date Check
0 12345-98 2021-06-30 True
1 23547-75 2022-08-10 False
2 85763-99 2021-06-15 False
3 44231-56 2023-10-02 True
4 78456-00 2024-04-03 True
data2={''abc_ID'':[''12345-98'',''23544-75'',''85713-99'',''2022-08-11'',''2021-06-12'',''xyz'': [''True'',''False'']}
df2=pd.DataFrame(data2)
df2.head()
abc_ID Date xyz
0 12345-98 2021-06-30 True
1 23544-75 2022-08-11 False
2 85713-99 2021-06-12 False
3 44231-56 2023-10-02 True
4 78456-00 2024-04-03 True
使用公共列“日期：
进行合并full_df = pd.merge(df1,df2,on=''Date'',how=''outer'')
full_df.head(10)
full_df
删除行包含空值：
full_df = full_df.dropna()
full_df.head(10)
full_df
Pandas 2.0正式版发布： Pandas 1.5，Polars，Pandas 2.0 速度对比测试
Pandas 2.0正式版在4月3日已经发布了，以后我们pip install默认安装的就是2.0版了，Polars 是最近比较火的一个DataFrame 库，最近在kaggle上经常使用，所以这里我们将对比下 Pandas 1.5，Polars，Pandas 2.0 。看看在速度上 Pandas 2.0有没有优势。
Polars
Polars 是一个 Rust 和 Python 中的快速多线程 DataFrame 库/内存查询引擎。它使用 Apache Arrow作为内存模型在 Rust 中实现。它在2021年3月发布。
Polars的一些主要特点如下：
- 快速：Polars在处理大型数据集时非常高效。它使用Rust编写，利用Rust的内存安全和零成本抽象，可以在不牺牲性能的情况下处理大规模数据集。
- 可扩展：Polars支持并行化和分布式计算，因此可以处理非常大的数据集。它还具有可插拔的数据源接口，可以从不同的数据源读取和写入数据。
- 易于使用：Polars具有类似于Pandas的API，因此熟悉Pandas的用户可以很容易地开始使用Polars。它还具有完整的文档和示例，可帮助用户快速入门。
- 支持多种数据类型：Polars支持许多常见的数据类型，包括数字，布尔值，字符串和日期时间。它还支持类似于DataFrame的表格结构，可以进行列操作和过滤等操作。
Polars的一个最大好处是，它不仅有Python的包，Nodejs，Rust等也可以方便的进行继承使用，并且经过各方的验证，它的确要比Pandas1.x快很多。
Pandas 2.0
在之前的文章我们已经介绍了 Pandas 2.0，“它要快得多”(还不是稳定版本)。并且它也有了Apache Arrow的后端。
现在，他的正式版发布了，对于Pandas 2.0 的更新请看官网说明：
https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html
下面我们就要开始进行简单的测试了，我们要测试这3个库的性能，所以需要使用一些比较大型的数据集。这里我们使用纽约出租车数据集。
简单ETL
从Data Talks Club下载csv数据集，NYC.gov下载parquet数据集。
!wget https://github.com/DataTalksClub/nyc-tlc-data/releases/download/yellow/yellow_tripdata_2021-01.csv.gz
!wget https://d37ci6vzurychx.cloudfront.net/trip-data/yellow_tripdata_2021-01.parquet还需要纽约市区域。
!wget https://s3.amazonaws.com/nyc-tlc/misc/taxi+_zone_lookup.csv1、E 提取
把csv文件和parquet文件转换为DF，测试提取的性能。
下面是pandas的
def pd_read_csv(path, engine_pd,):
"""
Converting csv file into Pandas dataframe
"""
df= pd.read_csv(path, engine=engine_pd)
return df
def pd_read_parquet(path, ):
"""
Converting parquet file into Pandas dataframe
"""
df= pd.read_parquet(path,)
return df这里是Polars的
def pl_read_csv(path, ):
"""
Converting csv file into Pandas dataframe
"""
df= pl.read_csv(path,)
return df
def pl_read_parquet(path, ):
"""
Converting parquet file into Pandas dataframe
"""
df= pl.read_parquet(path,)
return df读取代码如下：
path1="yellow_tripdata_2021-01.csv.gz"
df_trips= pd_read_csv(path1, engine_pd)
path2="taxi+_zone_lookup.csv"
df_zone= pd_read_csv(path2, engine_pd)
path1="yellow_tripdata_2021-01.parquet"
df_trips= pd_read_parquet(path1,)
path2 = "taxi+_zone_lookup.csv"
df_zone = pd_read_csv(path2, engine_pd)2、T 转换
为了测试，我们通过Pickup Id获取trip_distance的均值;
过滤查询性能所以获取以“East”结尾的区域。
Pandas代码：
def mean_test_speed_pd(df_pd):
"""
Getting Mean per PULocationID
"""
df_pd = df_pd[[''PULocationID'', ''trip_distance'']]
df_pd["PULocationID_column"] = df_pd[[''PULocationID'']].astype(int)
df_pd=df_pd.groupby(''PULocationID'').mean()
return df_pd
def endwith_test_speed_pd(df_pd):
"""
Only getting Zones that end with East
"""
df_pd = df_pd[df_pd.Zone.str.endswith(''East'')]
return df_pdPolars
def mean_test_speed_pl(df_pl):
"""
Getting Mean per PULocationID
"""
df_pl = df_pl[[''PULocationID'', ''trip_distance'']].groupby(''PULocationID'').mean()
return df_pl
def endwith_test_speed_pd(df_pl):
"""
Only getting Zones that end with East
"""
df_pl = df_pl.filter(pl.col("Zone").str.ends_with(''East''))
return df_pl3、L 加载
将最终结果加载回parquet文件，可以测试写入性能：
pandas
def loading_into_parquet(df_pd, engine):
"""
Save dataframe in parquet
"""
df_pd.to_parquet(f''yellow_tripdata_2021-01_pd_v{pd.__version__}.parquet'',engine)polars
def loading_into_parquet(df_pl):
"""
Save dataframe in parquet
"""
df_pl.write_parquet(f''yellow_tripdata_2021-01_pl.parquet'')4、结果
运行ETL流程后，根据每个过程的秒平均值，测试性能的最终结果如下表所示。
可以看到POLARS很棒
但是上面代码是不是有问题呢？
对，还记得我们在pandas2.0那篇文章中说过，read_csv获得Numpy数据类型，为read_parquet获得Pyarrow数据类型。而Polars中，当我们执行read_csv和read_parquet时，我们为所有列获得相同的数据类型。所以我们测试的并不准确。另外我们也没有比较比较RAM和CPU的使用情况，所以没有全方位的测试。
下面我们开始修复上面的问题，并添加RAM和CPU的使用情况，这样应该算是一个比较完善的测试了。
CPU和RAM分析
我们可以使用process.memory_info()检查每个函数之前、之后和之间的内存。而psutil.cpu_percent可以获得最近2秒内的CPU。所以就有了下面的装饰器：
import os
import psutil
def process_memory():
process = psutil.Process(os.getpid())
mem_info = process.memory_info()
return mem_info.rss
def process_cpu():
"""
Getting cpu_percent in last 2 seconds
"""
cpu_usage = psutil.cpu_percent(2)
return cpu_usage
# decorator function mem
def profile_mem(func):
def wrapper(*args, **kwargs):
mem_before = process_memory()
result = func(*args, **kwargs)
mem_after = process_memory()
print("Consumed memory: {:,}".format(
mem_before, mem_after, mem_after - mem_before))
return result
return wrapper
# decorator function cpu
def profile_cpu(func):
def wrapper(*args, **kwargs):
result = func(*args, **kwargs)
cpu_after = process_cpu()
print(f"Consumed cpu: {cpu_after}")
return result
return wrapper装饰器调用方法如下图所示
完整测试结果
我们就直接来看结果了(每个测试都运行了三次):
parquet文件提取的新脚本，最终的时间结果与前面测试类似：
CPU结果
RAM的结果
结果难以解释，但是可以说明rust的确内存占用高
但是我们看到，POLARS的确还是要快一些，如果在处理时间是一个非常重要的指标的时候可以试试POLARS（但是他的CPU占用高，说明如果比较慢的CPU也不一定能获得提高，还要具体测试），如果你不想学习POLARS的语法，那么Pandas 2.0应该是速度很快的一个折中的选择了。
如果你想自己测试，完整代码在这里：
https://avoid.overfit.cn/post/73c12c85ff124f9bb7947ac4d82316b8
Pandas- pandas.DataFrame.from_csv VS pandas.read_csv
之间有什么区别：
pandas.DataFrame.from_csv，DOC链接：http://pandas.pydata.org/pandas-
docs/stable/generated/pandas.DataFrame.from_csv.html
和
pandas.read_csv，DOC链接：http://pandas.pydata.org/pandas-
docs/stable/generated/pandas.io.parsers.read_csv.html
答案1
小编典典有没有真正的区别（两者都基于相同的底层函数），但在评论中指出，他们有一些 不同的默认值
（index_col0或无，parse_dates是真的还是假的read_csv，并DataFrame.from_csv分别），并read_csv 支持更多的参数（在from_csv他们只是没有穿过）。
除此之外，它被 推荐使用pd.read_csv。DataFrame.from_csv仅仅存在历史原因和向后兼容性保持（计划是贬低它，见这里），但所有新功能只添加到read_csv（你可以在关键字参数的更长列表中看到）。其实，这应在文档更清晰。
Pandas/Python：如何在 Pandas 中的数据帧的数字列中只添加一个前导零
如何解决Pandas/Python：如何在 Pandas 中的数据帧的数字列中只添加一个前导零
我有一个如下所示的数据框：Numbers 列是一个数字列
| 数字 |
|---|
| 12345 |
| 567890 |
| 567 |
我希望输出如下所示：
| 数字 |
|---|
| 012345 |
| 0567890 |
| 0567 |
我尝试了很多方法来做到这一点，手动使用 excel 也没有帮助，因为它会在保存后返回到 sqaure one。有人可以帮忙吗？
解决方法
试试：
df= pd.DataFrame({''Numbers'':[12345,567890,567]})
df = ''0'' + df.astype(str)
输出
df
Numbers
0 012345
1 0567890
2 0567
今天关于如何在 Python Pandas 中使用两个数据框计算结果和python两个数据框合并的介绍到此结束，谢谢您的阅读，有关(Pandas, Python) 如何在 2 个不同的数据帧之间匹配 str 数据，然后根据匹配添加一个值作为列？、Pandas 2.0正式版发布： Pandas 1.5，Polars，Pandas 2.0 速度对比测试、Pandas- pandas.DataFrame.from_csv VS pandas.read_csv、Pandas/Python：如何在 Pandas 中的数据帧的数字列中只添加一个前导零等更多相关知识的信息可以在本站进行查询。
本文标签：
