スパークデータフレームに一定の列を作成する

すべての行に適用される任意の値で一定の列をスパークデータフレームに追加することができます。この目的を目的としたwithcolumnメソッドは、2番目の引数として直接的な値を提供しようとするときにエラーを引き起こす可能性があります。点灯 df.withcolumn（ 'new_column'、lit（10））

複雑な列を作成する（Spark 1.4）

は、配列、構造体、またはマップなどのより複雑な列タイプについて、適切な関数を使用して、Arptionsのcturt.sql.sql.sql.sql.sql.sql.sql.sql.sql.sql.sql.sql.sql.sql. df.withcolumn（ 'array_column'、array（lit（1）、lit（2））） df.withcolumn（ 'struct_column'、struct（lit（ 'foo'）、lit（1）））

from pyspark.sql.functions import lit

df.withColumn('new_column', lit(10))

Spark 2.2はTypedlitを紹介し、のサポートを提供します。 org.apache.spark.sql.functions.typedlit df.withcolumn（ "some_array"、typedlit（seq（1、2、3）））] def consting_column（value）： DEF UDF（DF）： return [_ in range（df.count（））の値 f.udf（udf）を返します df.withcolumn（ 'consting_column'、constant_column（10））

from pyspark.sql.functions import array, struct

df.withColumn('array_column', array(lit(1), lit(2)))
df.withColumn('struct_column', struct(lit('foo'), lit(1)))

これらの方法は、定期的な引数をUDFまたはSQL関数に渡すためにも使用できます。