对于如何在PySpark中将字符串转换为字典感兴趣的读者，本文将会是一篇不错的选择，我们将详细介绍JSON的ArrayType，并为您提供关于Java将字符串转换为字符数组toCharArray()、

对于如何在PySpark中将字符串转换为字典感兴趣的读者，本文将会是一篇不错的选择，我们将详细介绍JSON的ArrayType，并为您提供关于Java 将字符串转换为字符数组 toCharArray()、Pyspark-将json字符串转换为DataFrame、Pyspark：从Struct中识别arrayType列并调用udf将数组转换为字符串、python – 将字符串转换为字典的有用信息。

• 如何在PySpark中将字符串转换为字典（JSON）的ArrayType（pyspark 字符串转数字）
• Java 将字符串转换为字符数组 toCharArray()
• Pyspark-将json字符串转换为DataFrame
• Pyspark：从Struct中识别arrayType列并调用udf将数组转换为字符串
• python – 将字符串转换为字典

如何在PySpark中将字符串转换为字典（JSON）的ArrayType（pyspark 字符串转数字）

尝试将StringType转换为JSON的ArrayType，以获取由CSV生成的数据帧。

pyspark在上使用Spark2

我正在处理的CSV文件；如下-

date,attribute2,count,attribute32017-09-03,''attribute1_value1'',2,''[{"key":"value","key2":2},{"key":"value","key2":2},{"key":"value","key2":2}]''2017-09-04,''attribute1_value2'',2,''[{"key":"value","key2":20},{"key":"value","key2":25},{"key":"value","key2":27}]''

如上所示，它"attribute3"在文字字符串中包含一个属性，从技术上讲，它是一列字典（JSON），其精确长度为2。（这是函数的输出）

的摘录 printSchema()

attribute3: string (nullable = true)

我正在尝试将"attribute3"转换ArrayType为

temp = dataframe.withColumn(    "attribute3_modified",    dataframe["attribute3"].cast(ArrayType()))

Traceback (most recent call last):  File "<stdin>", line 1, in <module>TypeError: __init__() takes at least 2 arguments (1 given)

确实，ArrayType期望数据类型作为参数。我尝试使用"json"，但是没有用。

所需的输出-最后，我需要转换attribute3为ArrayType()普通的简单Python列表。（我正在尝试避免使用eval）

如何将其转换为ArrayType，以便将其视为JSON列表？

我在这里想念什么吗？

（文档没有以简单的方式解决此问题）

答案1

from_json与匹配attribute3列中的实际数据的架构一起使用，以将json转换为ArrayType：

原始数据框：

df.printSchema()#root# |-- date: string (nullable = true)# |-- attribute2: string (nullable = true)# |-- count: long (nullable = true)# |-- attribute3: string (nullable = true)from pyspark.sql.functions import from_jsonfrom pyspark.sql.types import *

创建 模式 ：

schema = ArrayType(    StructType([StructField("key", StringType()),                 StructField("key2", IntegerType())]))

用途from_json：

df = df.withColumn("attribute3", from_json(df.attribute3, schema))df.printSchema()#root# |-- date: string (nullable = true)# |-- attribute2: string (nullable = true)# |-- count: long (nullable = true)# |-- attribute3: array (nullable = true)# |    |-- element: struct (containsNull = true)# |    |    |-- key: string (nullable = true)# |    |    |-- key2: integer (nullable = true)df.show(1, False)#+----------+----------+-----+------------------------------------+#|date      |attribute2|count|attribute3                          |#+----------+----------+-----+------------------------------------+#|2017-09-03|attribute1|2    |[[value, 2], [value, 2], [value, 2]]|#+----------+----------+-----+------------------------------------+

Java 将字符串转换为字符数组 toCharArray()

Java 手册

toCharArray

public char[] toCharArray()

将此字符串转换为一个新的字符数组。

 

返回：

一个新分配的字符数组，它的长度是此字符串的长度，它的内容被初始化为包含此字符串表示的字符序列。

public class toCharArray {
    public static void main(String[] args) {
        
        String str = "abcdefgh";
        char[] c = str.toCharArray();
        System.out.println(c);
    }
}

运行结果：

abcdefgh

输出结果看似是一个字符串，但是此时它的类型是char类型。

Pyspark-将json字符串转换为DataFrame

{  "Name": "something","Url": "https://stackoverflow.com","Author": "jangcy","BlogEntries": 100,"Caller": "jangcy"}

df = spark.read.json("/example/data/test2.json")

df.show()
+------+-----------+------+---------+--------------------+
|Author|BlogEntries|Caller|     Name|                 Url|
+------+-----------+------+---------+--------------------+
|jangcy|        100|jangcy|something|https://stackover...|
+------+-----------+------+---------+--------------------+

newJson = '{  "Name": "something","Caller": "jangcy"}'

df = spark.read.json(newJson)

'java.net.URISyntaxException: Relative path in absolute URI: {  "Name":%20%22something%22,%20%20%22Url%22:%20%22https:/stackoverflow.com%22,%20%20%22Author%22:%20%22jangcy%22,%20%20%22BlogEntries%22:%20100,%20%20%22Caller%22:%20%22jangcy%22%7D'
Traceback (most recent call last):
  File "/usr/hdp/current/spark2-client/python/pyspark/sql/readwriter.py",line 249,in json
    return self._df(self._jreader.json(self._spark._sc._jvm.PythonUtils.toSeq(path)))
  File "/usr/hdp/current/spark2-client/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py",line 1133,in __call__
    answer,self.gateway_client,self.target_id,self.name)
  File "/usr/hdp/current/spark2-client/python/pyspark/sql/utils.py",line 79,in deco
    raise IllegalArgumentException(s.split(': ',1)[1],stackTrace)
pyspark.sql.utils.IllegalArgumentException: 'java.net.URISyntaxException: Relative path in absolute URI: {  "Name":%20%22something%22,%20%20%22Caller%22:%20%22jangcy%22%7D'

Pyspark：从Struct中识别arrayType列并调用udf将数组转换为字符串

data = [["test1","test2",[1,2,3],["a","b","c"]]]
schema= ["col1","col2","arr1","arr2"]
df = spark.createDataFrame(data,schema)

array_cols = [F.concat_ws(":",c.name).alias(c.name) \
    for c in df.schema if isinstance(c.dataType,T.ArrayType) ]
other_cols = [F.col(c.name) \
    for c in df.schema if not isinstance(c.dataType,T.ArrayType) ]

df = df.select(other_cols + array_cols)

+-----+-----+-----+-----+
| col1| col2| arr1| arr2|
+-----+-----+-----+-----+
|test1|test2|1:2:3|a:b:c|
+-----+-----+-----+-----+

d = {1:2}
s = str(d)

dict(s)