Создание постоянного столбца в Spark DataFrame

Добавление постоянного столбца к искрутному DataFrame с произвольным значением, которое применимо ко всем рядам, может быть достигнуто несколькими способами. Метод Witcholumn, предназначенный для этой цели, может привести к ошибкам при попытке предоставить прямое значение в качестве второго аргумента.

использование буквальных значений (Spark 1.3)

] для решения этой проблемы, используйте Lit, чтобы создать буквальное представление о Desired value:

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

создание сложных столбцов (Spark 1.4)

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

spark 2.2. org.apache.spark.sql.functions.typedlit df.withcolumn ("some_array", typedlit (seq (1, 2, 3)))

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

возврат f.udf (udf) df.withcolumn ('constant_column', constant_column (10))

 эти методы также могут использоваться для передачи постоянных аргументов в функции UDF или sql.