GVKun编程网logo

如何在csv文件的字段中用逗号编写pyspark数据框(csv文件逗号处理)

6

在本文中,我们将详细介绍如何在csv文件的字段中用逗号编写pyspark数据框的各个方面,并为您提供关于csv文件逗号处理的相关解答,同时,我们也将为您带来关于angularjs–在输入字段中用逗号替

在本文中,我们将详细介绍如何在csv文件的字段中用逗号编写pyspark数据框的各个方面,并为您提供关于csv文件逗号处理的相关解答,同时,我们也将为您带来关于angularjs – 在输入字段中用逗号替换逗号、c# – 如何在csv中的值中用逗号导出字符串?、CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建、PySpark-不显示CSV文件的有用知识。

本文目录一览:

如何在csv文件的字段中用逗号编写pyspark数据框(csv文件逗号处理)

如何在csv文件的字段中用逗号编写pyspark数据框(csv文件逗号处理)

如何解决如何在csv文件的字段中用逗号编写pyspark数据框?

我有一个 Pyspark 数据框,其中一个字段中有逗号。 示例数据:

+--------+------------------------------------------------------------------------------------+
|id      |reason                                                                              |
+--------+------------------------------------------------------------------------------------+
|123-8aab|Request for the added "Hello Ruth,How are,you,doing and Other" abc. Thanks!      |
|125-5afs|Hi Prachi,I added an "XYZA",like josa.coam,row. "Uid to be eligible" for clarity.|
+--------+------------------------------------------------------------------------------------+

当我在 csv 中写这个时,数据溢出到下一列并且没有正确表示。我用来写入数据和输出的代码:

df_csv.repartition(1).write.format(''csv'').option("header","true").save(
        "s3://{}/report-csv".format(bucket_name),mode=''overwrite'')

数据在 csv 中的显示方式:

enter image description here

任何帮助将不胜感激。 TIA。

注意:我认为如果该字段只有逗号,则可以正确导出,但引号和逗号的组合是导致问题的原因。

解决方法

对我有用的是-->

df_csv.repartition(1).write.format(''csv'').option("header","true").option("quote","\"").option("escape","\"").save("s3://{}/report-csv".format(bucket_name),mode=''overwrite'')

这篇文章中有更详细的解释: Reading csv files with quoted fields containing embedded commas

angularjs – 在输入字段中用逗号替换逗号

angularjs – 在输入字段中用逗号替换逗号

当欧洲国家输入十进制数字时,它们使用逗号(,)而不是点(.).因此,当用户输入输入时,我想用逗号替换点符号.我知道输入=数字这样做,但我需要支持IE.

我想指令是最好的吗?我尝试了下面的代码.但它失败了.

.directive('replaceComma',function(){
    return {
      restrict: 'A',replace: true,link: function(scope,element,attrs){
        scope.$watch(attrs.ngModel,function (v) {
          var convert = String(v).replace(",",".");
          attrs.NgModel = convert;
        });
      }
    }
  });

转换变量是正确的.但是输入框中的值不会改变.所以我猜attrs.ngModel =转换,是错的?

解决方法

我认为没有必要像指令那样做.

说你的模板是

<input ng-model='someModel'>

在你的控制器中,

$scope.$watch('someModel',function(newVal){
    $scope.someModel = newVal.replace(/,/g,'.');
})

ng-model是一种双向绑定,因此它应该可以工作

c# – 如何在csv中的值中用逗号导出字符串?

c# – 如何在csv中的值中用逗号导出字符串?

我使用代码导出csv文件中的datagridview记录:

using (StreamWriter myFile = new StreamWriter(filename,false,Encoding.Default))
{
        string sHeaders = "";
        for (int j = 0; j < dGV.Columns.Count; j++)
        {
             if (dGV.Columns[j].Visible)
             {
                 sHeaders = sHeaders.ToString() + dGV.Columns[j].HeaderText + ","; 
             }
        }
        myFile.WriteLine(sHeaders);
        // Export data.  
        for (int i = 0; i < dGV.RowCount; i++)
        {
             string stLine = "";
             for (int j = 0; j < dGV.Rows[i].Cells.Count; j++)
             {
                 if (dGV.Columns[j].Visible)
                 {
                     stLine = stLine.ToString() + dGV.Rows[i].Cells[j].Value.ToString() + ",";
                 }
             }
                        myFile.WriteLine(stLine);
        }
     }
  }

但问题是如果datagridviewcell中的值是Harikrishna,Daxini然后它将无法正确导出,因为单元格值中有逗号,但我需要在值中包含逗号.它应该正确导出.我怎么能去做 ?我尝试用双引号和单引号括起该值,但它不起作用.

解决方法

分隔逗号和开头双引号之间的空格可能会导致CSV出现问题.用“val1”,“val2”替换csv文件中的“val1”,“val2”等代码.那应该可以解决你的问题.

CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建

CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建

CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建

一.csv文件的创建

(1)新建一个文本文档:

打开新建文本文档,进行编辑。

注意:关键字与关键字之间用英文半角逗号隔开。第一行为引用字段,第二行为对应值。例如:

(2)生成csv文件

将文本文档重命名更改文件扩展名,将“.txt”改为“.csv”

重命名重新打开后就是一个CSV文件格式。例如:

二.数据的表示和读写

csv文件的每一行都是一维数据,可以使用python中的列表类型表示,整个csv文件是一个二维数据,由表示每一行的列表类型作为元素,组成一个二维列表。

注:打开CSV文件的路径可以是绝对路径也可以是相对路径,可根据个人习惯来编写。

(1)导入csv格式数据到列表:

1 fo=open("city.csv","r")#打开命名为city的CSV文件
2 ls=[] #定义一个空列表,将CSV中读取的文件放进列表
3 for line in fo:
4     line=line.replace("\n","")
5     ls.append(line.split(","))
6 print(ls)
7 fo.close()#关闭文件

运行结果:

[[''城市'', ''环比'', ''同比'', ''定基''], [''北京'', ''101.5'', ''120.7'', ''121.4''], [''上海'', ''101.2'', ''127.3'', ''127.8''], [''广州'', ''101.3'', ''119.4'', ''120.0''], [''深圳'', ''102.0'', ''140.9'', ''145.5''], [''沈阳'', ''100.1'', ''101.4'', ''101.6''], ['''', '''', '''', '''']]

(2)逐行处理CSV格式数据:

 1 fo=open("city.csv","r")#打开命名为city的CSV文件
 2 ls=[]#定义一个空列表,将CSV中读取的文件放进列表
 3 for line in fo:
 4     line=line.replace("\n","")
 5     ls=line.split(",")
 6     lns=""
 7     for s in ls:
 8         lns+="{}\t".format(s)
 9     print(lns)
10 fo.close()

运行结果:

城市    环比    同比    定基    
北京    101.5    120.7    121.4    
上海    101.2    127.3    127.8    
广州    101.3    119.4    120.0    
深圳    102.0    140.9    145.5    
沈阳    100.1    101.4    101.6

(3)将一维数据写入CSV文件:

1 fo=open("city.csv","w")
2 ls=[''湖北'',''101.2'',''120.7'',''121.4'']
3 fo.write(",".join(ls)+"\n")
4 fo.close()

运行结果;

city.csv文件原有数据:

运行之后的数据:

(4)将二维数据写入CSV文件:

 1 fr=open("city1.csv","r")
 2 fw=open("city1out.csv","w")
 3 ls=[]
 4 for line in fr:#将CSV文件当中的二维数据读到列表当中去
 5     line=line.replace("\n","")
 6     ls.append(line.split(","))
 7 for i in range(len(ls)):#遍历列表变量计算百分数
 8     for j in range(len(ls[i])):
 9         if ls[i][j].replace(".","").isnumeric():
10             ls[i][j]="{:.2}%".format(float(ls[i][j])/100)
11 for row in ls:#将列表变量中的两位数据写入CSV文件当中去
12     print(row)
13     fw.write(",".join(row)+"\n")
14 fr.close()
15 fw.close()

运行结果:

city1文件数据与前两个例子的city文件的内容相同,city1out.csv文件为新建立的一个CSV文件。

 city1out.csv文件数据:

 

PySpark-不显示CSV文件

PySpark-不显示CSV文件

如何解决PySpark-不显示CSV文件?

我有一个2.10的食用Hadoop。 + spark 2.4.6我在Spark中有一个查询,该查询应生成一个CSV文件以导出到我们的Oracle。问题是,尽管创建了_SUCCESS文件,但csv文件却没有出现,或者有时会出现。

生成CSV的代码是这个

query.repartition (1) .write.csv ("file: /// opt / impretidos / match_ret_aut_base_ubc",encoding = "ISO-8859-1",header = True,sep = ";",nullValue = "null",mode = "append")

有人知道我如何解决这个问题吗?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

今天的关于如何在csv文件的字段中用逗号编写pyspark数据框csv文件逗号处理的分享已经结束,谢谢您的关注,如果想了解更多关于angularjs – 在输入字段中用逗号替换逗号、c# – 如何在csv中的值中用逗号导出字符串?、CSV文件数据如何读取、导入、导出到新的CSV文件中以及CSV文件的创建、PySpark-不显示CSV文件的相关知识,请在本站进行查询。

本文标签: