Cómo agregar sufijos y prefijos a todas las columnas en el marco de datos de python / pyspark

Solución:

Utilice la comprensión de listas en Python.

from pyspark.sql import functions as F

df = ...

df_new = df.select([F.col(c).alias("`"+c+"`") for c in df.columns])

Este método también le da la opción de agregar lógica de Python personalizada dentro de la función alias () como: "prefix_"+c+"_suffix" if c in list_of_cols_to_change else c

Puedes usar withColumnRenamed método de marco de datos en combinación con na para crear un nuevo marco de datos

df.na.withColumnRenamed('testing user', '`testing user`')

editar: suponga que tiene una lista de columnas, puede hacer como –

old = "First Last Age"
new = ["`"+field+"`" for field in old.split()]
df.rdd.toDF(new)

producción :

DataFrame[`First`: string, `Last`: string, `Age`: string]

---

---

Utiliza Nuestro Buscador