对于想了解如何将PandasDataFrame升级到PostgreSQL表?的读者,本文将是一篇不可错过的文章,我们将详细介绍pandasseries转dataframe,并且为您提供关于pandas
对于想了解如何将Pandas DataFrame升级到PostgreSQL表?的读者,本文将是一篇不可错过的文章,我们将详细介绍pandas series 转 dataframe,并且为您提供关于pandas.DataFrame如何使用?总结pandas.DataFrame实例用法、Pandas如何将DataFrame按列分组构成新的DataFrame?、pandas的DataFrameGroupBy转换为DataFrame、postgresql – 如何将Postgres SQL数据读入Grafana图的有价值信息。
本文目录一览:- 如何将Pandas DataFrame升级到PostgreSQL表?(pandas series 转 dataframe)
- pandas.DataFrame如何使用?总结pandas.DataFrame实例用法
- Pandas如何将DataFrame按列分组构成新的DataFrame?
- pandas的DataFrameGroupBy转换为DataFrame
- postgresql – 如何将Postgres SQL数据读入Grafana图
如何将Pandas DataFrame升级到PostgreSQL表?(pandas series 转 dataframe)
我已经从网络资源中抓取了一些数据并将其全部存储在pandas DataFrame中。现在,为了利用SQLAlchemy提供的强大的db工具,我想将所说的DataFrame转换为Table()对象,并最终将所有数据上载到PostgreSQL表中。如果可行,那么完成此任务的可行方法是什么?
答案1
小编典典如果您使用的是PostgreSQL 9.5或更高版本,则可以使用临时表和一条INSERT … ON CONFLICT语句执行UPSERT :
with engine.begin() as conn: # step 0.0 - create test environment conn.execute(sa.text("DROP TABLE IF EXISTS main_table")) conn.execute( sa.text( "CREATE TABLE main_table (id int primary key, txt varchar(50))" ) ) conn.execute( sa.text( "INSERT INTO main_table (id, txt) VALUES (1, ''row 1 old text'')" ) ) # step 0.1 - create DataFrame to UPSERT df = pd.DataFrame( [(2, "new row 2 text"), (1, "row 1 new text")], columns=["id", "txt"] ) # step 1 - create temporary table and upload DataFrame conn.execute( sa.text( "CREATE TEMPORARY TABLE temp_table (id int primary key, txt varchar(50))" ) ) df.to_sql("temp_table", conn, index=False, if_exists="append") # step 2 - merge temp_table into main_table conn.execute( sa.text("""\ INSERT INTO main_table (id, txt) SELECT id, txt FROM temp_table ON CONFLICT (id) DO UPDATE SET txt = EXCLUDED.txt """ ) ) # step 3 - confirm results result = conn.execute(sa.text("SELECT * FROM main_table ORDER BY id")).fetchall() print(result) # [(1, ''row 1 new text''), (2, ''new row 2 text'')]
pandas.DataFrame如何使用?总结pandas.DataFrame实例用法
这篇文章主要给大家介绍了关于python中pandas.dataframe排除特定行的方法,文中给出了详细的示例代码,相信对大家的理解和学习具有一定的参考价值,需要的朋友们下面来一起看看吧。前言大家在使用python进行数据分析时,经常要使用到的一个数据结构就是pandas的dataframe,关于python中pandas.dataframe的基本操作,大家可以查看这篇文章。pandas.dataframe排除特定行如果我们想要像excel的筛选那样,只要其中的一行或某几行,可以使用isin()方法,将需要的行的值以列表方式传入,还可以传入字典,指定列进行筛选。但是如果我们只想要所有内容中不包含特定行的内容,却并没有一个isnotin()方法。我今天的工作就遇到了这样的需求,经常查找之后,发现只能换种方式使用isin()来实现这个需求。示例如下:in [3]: df&
1. 关于python中pandas.DataFrame的基本操作
简介:这篇文章主要给大家介绍了关于python中pandas.DataFrame排除特定行的方法,文中给出了详细的示例代码,相信对大家的理解和学习具有一定的参考价值,需要的朋友们下面来一起看看吧。
2. 关于python中pandas.DataFrame对行与列求和及添加新行与列示例代码
简介:pandas是python环境下最有名的数据统计包,而DataFrame翻译为数据框,是一种数据组织方式,这篇文章主要给大家介绍了python中pandas.DataFrame对行与列求和及添加新行与列的方法,文中给出了详细的示例代码,需要的朋友可以参考借鉴,下面来一起看看吧。
3. python中pandas.DataFrame(创建、索引、增添与删除)的简单操作方法介绍
简介:这篇文章主要介绍了python中pandas.DataFrame的简单操作方法,其中包括创建、索引、增添与删除等的相关资料,文中介绍的非常详细,需要的朋友可以参考借鉴,下面来一起看看吧。
4. 详解python中pandas.DataFrame排除特定行方法示例代码
简介:这篇文章主要给大家介绍了关于python中pandas.DataFrame排除特定行的方法,文中给出了详细的示例代码,相信对大家的理解和学习具有一定的参考价值,需要的朋友们下面来一起看看吧。
【相关问答推荐】:
python - pymongo 取出来的 cursor 转 pandas 的 dataframe
python - pandas内存错误
以上就是pandas.DataFrame如何使用?总结pandas.DataFrame实例用法的详细内容,更多请关注php中文网其它相关文章!
Pandas如何将DataFrame按列分组构成新的DataFrame?
初始的DataFrame是这样的:
我想形成这样的:
这个是通过调用gruoupby().first()形成的,但不是完整的DataFrame。
pandas的DataFrameGroupBy转换为DataFrame
import pandas as pd df = pd.DataFrame({''A'': [''a'', ''b'', ''c'', ''c'', ''b'', ''a'', ''a'', ''b''], ''B'': [1, 2, 3, 4, 5, 6, 7, 8], ''C'': [11, 12, 13, 14, 15, 16, 17, 18]}) print(df) mean = df.groupby(''A'').mean() print(mean) g = df.groupby(''A'').mean() g[''B''].mean() # 仅选择B列 b__mean = df.groupby([''A'', ''B'']).mean() print(b__mean) print(b__mean[''C''].values.tolist()) b__mean = b__mean.reset_index() print(b__mean)
reset_index()重新建立索引,就能变成DataFrame类型
postgresql – 如何将Postgres SQL数据读入Grafana图
此信息对于绘制应用程序调试的实时图表非常有用.
解决方法
你可以从https://grafana.com/grafana/download/4.6.0-beta1下载它
关于如何将Pandas DataFrame升级到PostgreSQL表?和pandas series 转 dataframe的介绍已经告一段落,感谢您的耐心阅读,如果想了解更多关于pandas.DataFrame如何使用?总结pandas.DataFrame实例用法、Pandas如何将DataFrame按列分组构成新的DataFrame?、pandas的DataFrameGroupBy转换为DataFrame、postgresql – 如何将Postgres SQL数据读入Grafana图的相关信息,请在本站寻找。
本文标签: