Hinzufügen konstanter Spalten in Spark DataFrames

In Spark können Sie einen Datenfrequenz mit einem bestimmten Wert für jede Zeile hinzufügen. Mit verschiedenen Methoden können Sie mit verschiedenen Methoden erreicht werden.

Lit und andere Funktionen. Dies kann als zweites Argument für DataFrame.withColumn verwendet werden, um eine konstante Spalte hinzuzufügen:

von pyspark.sql.functions importieren lit lit importieren df.withColumn('new_column', lit(10))

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

from pyspark.sql.functions import array, map, struct df.withcolumn ("slow_array", Array (beleuchtet (1), beleuchtet (2), beleuchtet (3))) df.withcolumn ("son_map", map (lit ("key1"), lit (1), lit ("key2"), lit (2))

from pyspark.sql.functions import array, map, struct

df.withColumn("some_array", array(lit(1), lit(2), lit(3)))
df.withColumn("some_map", map(lit("key1"), lit(1), lit("key2"), lit(2)))

Spark 2.2 Einführen die typedlit -Funktion, die die Bereitstellung von SEQ, MAPS und TUPLPLEs [&q] und Tuples, und Tuples: org.apache.spark.sql.functions.typedLit df.withcolumn ("slow_array", typedlit (seq (1, 2, 3))) df.withcolumn ("slow_struct", typedlit (("foo", 1, 0.3))

mit einem udf

import org.apache.spark.sql.functions.typedLit

df.withColumn("some_array", typedLit(Seq(1, 2, 3)))
df.withColumn("some_struct", typedLit(("foo", 1, 0.3)))

 Die konstanten Werte können auch als Argumente an UDFs oder SQL -Funktionen verwendet werden, die dieselben Konstruktionen verwenden.