GVKun编程网logo

如何将Pandas DataFrame升级到PostgreSQL表?(pandas series 转 dataframe)

13

对于想了解如何将PandasDataFrame升级到PostgreSQL表?的读者,本文将是一篇不可错过的文章,我们将详细介绍pandasseries转dataframe,并且为您提供关于pandas

对于想了解如何将Pandas DataFrame升级到PostgreSQL表?的读者,本文将是一篇不可错过的文章,我们将详细介绍pandas series 转 dataframe,并且为您提供关于pandas.DataFrame如何使用?总结pandas.DataFrame实例用法、Pandas如何将DataFrame按列分组构成新的DataFrame?、pandas的DataFrameGroupBy转换为DataFrame、postgresql – 如何将Postgres SQL数据读入Grafana图的有价值信息。

本文目录一览:

如何将Pandas DataFrame升级到PostgreSQL表?(pandas series 转 dataframe)

如何将Pandas DataFrame升级到PostgreSQL表?(pandas series 转 dataframe)

我已经从网络资源中抓取了一些数据并将其全部存储在pandas DataFrame中。现在,为了利用SQLAlchemy提供的强大的db工具,我想将所说的DataFrame转换为Table()对象,并最终将所有数据上载到PostgreSQL表中。如果可行,那么完成此任务的可行方法是什么?

答案1

小编典典

如果您使用的是PostgreSQL 9.5或更高版本,则可以使用临时表和一条INSERT … ON CONFLICT语句执行UPSERT :

with engine.begin() as conn:    # step 0.0 - create test environment    conn.execute(sa.text("DROP TABLE IF EXISTS main_table"))    conn.execute(        sa.text(            "CREATE TABLE main_table (id int primary key, txt varchar(50))"        )    )    conn.execute(        sa.text(            "INSERT INTO main_table (id, txt) VALUES (1, ''row 1 old text'')"        )    )    # step 0.1 - create DataFrame to UPSERT    df = pd.DataFrame(        [(2, "new row 2 text"), (1, "row 1 new text")], columns=["id", "txt"]    )    # step 1 - create temporary table and upload DataFrame    conn.execute(        sa.text(            "CREATE TEMPORARY TABLE temp_table (id int primary key, txt varchar(50))"        )    )    df.to_sql("temp_table", conn, index=False, if_exists="append")    # step 2 - merge temp_table into main_table    conn.execute(        sa.text("""\            INSERT INTO main_table (id, txt)             SELECT id, txt FROM temp_table            ON CONFLICT (id) DO                UPDATE SET txt = EXCLUDED.txt            """        )    )    # step 3 - confirm results    result = conn.execute(sa.text("SELECT * FROM main_table ORDER BY id")).fetchall()    print(result)  # [(1, ''row 1 new text''), (2, ''new row 2 text'')]

pandas.DataFrame如何使用?总结pandas.DataFrame实例用法

pandas.DataFrame如何使用?总结pandas.DataFrame实例用法

这篇文章主要给大家介绍了关于python中pandas.dataframe排除特定行的方法,文中给出了详细的示例代码,相信对大家的理解和学习具有一定的参考价值,需要的朋友们下面来一起看看吧。前言大家在使用python进行数据分析时,经常要使用到的一个数据结构就是pandas的dataframe,关于python中pandas.dataframe的基本操作,大家可以查看这篇文章。pandas.dataframe排除特定行如果我们想要像excel的筛选那样,只要其中的一行或某几行,可以使用isin()方法,将需要的行的值以列表方式传入,还可以传入字典,指定列进行筛选。但是如果我们只想要所有内容中不包含特定行的内容,却并没有一个isnotin()方法。我今天的工作就遇到了这样的需求,经常查找之后,发现只能换种方式使用isin()来实现这个需求。示例如下:in [3]: df&

1. 关于python中pandas.DataFrame的基本操作

pandas.DataFrame如何使用?总结pandas.DataFrame实例用法

简介:这篇文章主要给大家介绍了关于python中pandas.DataFrame排除特定行的方法,文中给出了详细的示例代码,相信对大家的理解和学习具有一定的参考价值,需要的朋友们下面来一起看看吧。

2. 关于python中pandas.DataFrame对行与列求和及添加新行与列示例代码

pandas.DataFrame如何使用?总结pandas.DataFrame实例用法

简介:pandas是python环境下最有名的数据统计包,而DataFrame翻译为数据框,是一种数据组织方式,这篇文章主要给大家介绍了python中pandas.DataFrame对行与列求和及添加新行与列的方法,文中给出了详细的示例代码,需要的朋友可以参考借鉴,下面来一起看看吧。

3. python中pandas.DataFrame(创建、索引、增添与删除)的简单操作方法介绍

pandas.DataFrame如何使用?总结pandas.DataFrame实例用法

简介:这篇文章主要介绍了python中pandas.DataFrame的简单操作方法,其中包括创建、索引、增添与删除等的相关资料,文中介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。

4. 详解python中pandas.DataFrame排除特定行方法示例代码

pandas.DataFrame如何使用?总结pandas.DataFrame实例用法

简介:这篇文章主要给大家介绍了关于python中pandas.DataFrame排除特定行的方法,文中给出了详细的示例代码,相信对大家的理解和学习具有一定的参考价值,需要的朋友们下面来一起看看吧。

【相关问答推荐】:

python - pymongo 取出来的 cursor 转 pandas 的 dataframe

python - pandas内存错误

以上就是pandas.DataFrame如何使用?总结pandas.DataFrame实例用法的详细内容,更多请关注php中文网其它相关文章!

Pandas如何将DataFrame按列分组构成新的DataFrame?

Pandas如何将DataFrame按列分组构成新的DataFrame?

初始的DataFrame是这样的:

我想形成这样的:

这个是通过调用gruoupby().first()形成的,但不是完整的DataFrame。

pandas的DataFrameGroupBy转换为DataFrame

pandas的DataFrameGroupBy转换为DataFrame

import pandas as pd

df = pd.DataFrame({''A'': [''a'', ''b'', ''c'', ''c'', ''b'', ''a'', ''a'', ''b''],
                   ''B'': [1, 2, 3, 4, 5, 6, 7, 8],
                   ''C'': [11, 12, 13, 14, 15, 16, 17, 18]})
print(df)
mean = df.groupby(''A'').mean()
print(mean)

g = df.groupby(''A'').mean()
g[''B''].mean()  # 仅选择B列

b__mean = df.groupby([''A'', ''B'']).mean()
print(b__mean)
print(b__mean[''C''].values.tolist())
b__mean = b__mean.reset_index()
print(b__mean)

reset_index()重新建立索引,就能变成DataFrame类型

postgresql – 如何将Postgres SQL数据读入Grafana图

postgresql – 如何将Postgres SQL数据读入Grafana图

我希望Grafana阅读Postgres sql数据以绘制图形.任何人都可以分享一些关于如何从postgres向Grafana导出数据的链接或信息.

此信息对于绘制应用程序调试的实时图表非常有用.

解决方法

Grafana v4.6.0-beta1中添加了对Postgres的支持.

你可以从https://grafana.com/grafana/download/4.6.0-beta1下载它

关于如何将Pandas DataFrame升级到PostgreSQL表?pandas series 转 dataframe的介绍已经告一段落,感谢您的耐心阅读,如果想了解更多关于pandas.DataFrame如何使用?总结pandas.DataFrame实例用法、Pandas如何将DataFrame按列分组构成新的DataFrame?、pandas的DataFrameGroupBy转换为DataFrame、postgresql – 如何将Postgres SQL数据读入Grafana图的相关信息,请在本站寻找。

本文标签: