在本文中,我们将详细介绍如何在csv文件的字段中用逗号编写pyspark数据框的各个方面,并为您提供关于csv文件逗号处理的相关解答,同时,我们也将为您带来关于angularjs–在输入字段中用逗号替
在本文中,我们将详细介绍如何在csv文件的字段中用逗号编写pyspark数据框的各个方面,并为您提供关于csv文件逗号处理的相关解答,同时,我们也将为您带来关于angularjs – 在输入字段中用逗号替换逗号、c# – 如何在csv中的值中用逗号导出字符串?、CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建、PySpark-不显示CSV文件的有用知识。
本文目录一览:- 如何在csv文件的字段中用逗号编写pyspark数据框(csv文件逗号处理)
- angularjs – 在输入字段中用逗号替换逗号
- c# – 如何在csv中的值中用逗号导出字符串?
- CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建
- PySpark-不显示CSV文件
如何在csv文件的字段中用逗号编写pyspark数据框(csv文件逗号处理)
如何解决如何在csv文件的字段中用逗号编写pyspark数据框?
我有一个 Pyspark 数据框,其中一个字段中有逗号。 示例数据:
+--------+------------------------------------------------------------------------------------+
|id |reason |
+--------+------------------------------------------------------------------------------------+
|123-8aab|Request for the added "Hello Ruth,How are,you,doing and Other" abc. Thanks! |
|125-5afs|Hi Prachi,I added an "XYZA",like josa.coam,row. "Uid to be eligible" for clarity.|
+--------+------------------------------------------------------------------------------------+
当我在 csv 中写这个时,数据溢出到下一列并且没有正确表示。我用来写入数据和输出的代码:
df_csv.repartition(1).write.format(''csv'').option("header","true").save(
"s3://{}/report-csv".format(bucket_name),mode=''overwrite'')
数据在 csv 中的显示方式:
任何帮助将不胜感激。 TIA。
注意:我认为如果该字段只有逗号,则可以正确导出,但引号和逗号的组合是导致问题的原因。
解决方法
对我有用的是-->
df_csv.repartition(1).write.format(''csv'').option("header","true").option("quote","\"").option("escape","\"").save("s3://{}/report-csv".format(bucket_name),mode=''overwrite'')
这篇文章中有更详细的解释: Reading csv files with quoted fields containing embedded commas
angularjs – 在输入字段中用逗号替换逗号
我想指令是最好的吗?我尝试了下面的代码.但它失败了.
.directive('replaceComma',function(){ return { restrict: 'A',replace: true,link: function(scope,element,attrs){ scope.$watch(attrs.ngModel,function (v) { var convert = String(v).replace(",","."); attrs.NgModel = convert; }); } } });
转换变量是正确的.但是输入框中的值不会改变.所以我猜attrs.ngModel =转换,是错的?
解决方法
说你的模板是
<input ng-model='someModel'>
在你的控制器中,
$scope.$watch('someModel',function(newVal){ $scope.someModel = newVal.replace(/,/g,'.'); })
ng-model是一种双向绑定,因此它应该可以工作
c# – 如何在csv中的值中用逗号导出字符串?
using (StreamWriter myFile = new StreamWriter(filename,false,Encoding.Default)) { string sHeaders = ""; for (int j = 0; j < dGV.Columns.Count; j++) { if (dGV.Columns[j].Visible) { sHeaders = sHeaders.ToString() + dGV.Columns[j].HeaderText + ","; } } myFile.WriteLine(sHeaders); // Export data. for (int i = 0; i < dGV.RowCount; i++) { string stLine = ""; for (int j = 0; j < dGV.Rows[i].Cells.Count; j++) { if (dGV.Columns[j].Visible) { stLine = stLine.ToString() + dGV.Rows[i].Cells[j].Value.ToString() + ","; } } myFile.WriteLine(stLine); } } }
但问题是如果datagridviewcell中的值是Harikrishna,Daxini然后它将无法正确导出,因为单元格值中有逗号,但我需要在值中包含逗号.它应该正确导出.我怎么能去做 ?我尝试用双引号和单引号括起该值,但它不起作用.
解决方法
CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建
CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建
一.csv文件的创建
(1)新建一个文本文档:
打开新建文本文档,进行编辑。
注意:关键字与关键字之间用英文半角逗号隔开。第一行为引用字段,第二行为对应值。例如:
(2)生成csv文件
将文本文档重命名更改文件扩展名,将“.txt”改为“.csv”
重命名重新打开后就是一个CSV文件格式。例如:
二.数据的表示和读写
csv文件的每一行都是一维数据,可以使用python中的列表类型表示,整个csv文件是一个二维数据,由表示每一行的列表类型作为元素,组成一个二维列表。
注:打开CSV文件的路径可以是绝对路径也可以是相对路径,可根据个人习惯来编写。
(1)导入csv格式数据到列表:
1 fo=open("city.csv","r")#打开命名为city的CSV文件
2 ls=[] #定义一个空列表,将CSV中读取的文件放进列表
3 for line in fo:
4 line=line.replace("\n","")
5 ls.append(line.split(","))
6 print(ls)
7 fo.close()#关闭文件
运行结果:
[[''城市'', ''环比'', ''同比'', ''定基''], [''北京'', ''101.5'', ''120.7'', ''121.4''], [''上海'', ''101.2'', ''127.3'', ''127.8''], [''广州'', ''101.3'', ''119.4'', ''120.0''], [''深圳'', ''102.0'', ''140.9'', ''145.5''], [''沈阳'', ''100.1'', ''101.4'', ''101.6''], ['''', '''', '''', '''']]
(2)逐行处理CSV格式数据:
1 fo=open("city.csv","r")#打开命名为city的CSV文件
2 ls=[]#定义一个空列表,将CSV中读取的文件放进列表
3 for line in fo:
4 line=line.replace("\n","")
5 ls=line.split(",")
6 lns=""
7 for s in ls:
8 lns+="{}\t".format(s)
9 print(lns)
10 fo.close()
运行结果:
城市 环比 同比 定基
北京 101.5 120.7 121.4
上海 101.2 127.3 127.8
广州 101.3 119.4 120.0
深圳 102.0 140.9 145.5
沈阳 100.1 101.4 101.6
(3)将一维数据写入CSV文件:
1 fo=open("city.csv","w")
2 ls=[''湖北'',''101.2'',''120.7'',''121.4'']
3 fo.write(",".join(ls)+"\n")
4 fo.close()
运行结果;
city.csv文件原有数据:
运行之后的数据:
(4)将二维数据写入CSV文件:
1 fr=open("city1.csv","r")
2 fw=open("city1out.csv","w")
3 ls=[]
4 for line in fr:#将CSV文件当中的二维数据读到列表当中去
5 line=line.replace("\n","")
6 ls.append(line.split(","))
7 for i in range(len(ls)):#遍历列表变量计算百分数
8 for j in range(len(ls[i])):
9 if ls[i][j].replace(".","").isnumeric():
10 ls[i][j]="{:.2}%".format(float(ls[i][j])/100)
11 for row in ls:#将列表变量中的两位数据写入CSV文件当中去
12 print(row)
13 fw.write(",".join(row)+"\n")
14 fr.close()
15 fw.close()
运行结果:
city1文件数据与前两个例子的city文件的内容相同,city1out.csv文件为新建立的一个CSV文件。
city1out.csv文件数据:
PySpark-不显示CSV文件
如何解决PySpark-不显示CSV文件?
我有一个2.10的食用Hadoop。 + spark 2.4.6我在Spark中有一个查询,该查询应生成一个CSV文件以导出到我们的Oracle。问题是,尽管创建了_SUCCESS文件,但csv文件却没有出现,或者有时会出现。
生成CSV的代码是这个
query.repartition (1) .write.csv ("file: /// opt / impretidos / match_ret_aut_base_ubc",encoding = "ISO-8859-1",header = True,sep = ";",nullValue = "null",mode = "append")
有人知道我如何解决这个问题吗?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)
今天的关于如何在csv文件的字段中用逗号编写pyspark数据框和csv文件逗号处理的分享已经结束,谢谢您的关注,如果想了解更多关于angularjs – 在输入字段中用逗号替换逗号、c# – 如何在csv中的值中用逗号导出字符串?、CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建、PySpark-不显示CSV文件的相关知识,请在本站进行查询。
本文标签: