スパークデータフレーム

に一定の列を追加するスパークに、各行の特定の値を持つ特定の値を持つ定数列をデータフレームに追加することができます。値、dataFrame.withcolumnの2番目の引数として使用できる値は、pyspark.sql.functionsのインポートlitの

から定数列を追加します df.withcolumn（ 'new_column'、lit（10））

については、より複雑な列について、配列、マップ、構造体などの関数を使用して、pyspark.sql.functionsの輸入アレイ、マップ、構造の輸入アレイからの

[] [

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

typedlit（spark 2.2）

from pyspark.sql.functions import array, map, struct

df.withColumn("some_array", array(lit(1), lit(2), lit(3)))
df.withColumn("some_map", map(lit("key1"), lit(1), lit("key2"), lit(2)))

Import org.apache.spark.sql.functions.typedlit df.withcolumn（ "some_array"、typedlit（seq（1、2、3））） df.withcolumn（ "some_struct"、typedlit（（ "foo"、1、0.3）））

を使用してリテラル値を使用する代わりに、ユーザー定義関数（udf）を作成するユーザー定義関数（UDF）を作成することができます。 pyspark.sql.functionsインポートudf、lit def add_ten（row）： 10を返します add_ten_udf = udf（add_ten、integertype（）） df.withcolumn（ 'new_column'、add_ten_udf（lit（1.0））））））