eliminar filas duplicadas en el ejemplo de código de Python de dataframe

Ejemplo 1: Python: eliminar duplicados en una columna específica

df = df.drop_duplicates(subset=['Column1', 'Column2'], keep='first')

Ejemplo 2: eliminar duplicados basados ​​en dos columnas en el marco de datos

df.drop_duplicates(['A','B'],keep= 'last')

Ejemplo 3: eliminar columnas duplicadas marco de datos de python

df = df.loc[:,~df.columns.duplicated()]

Ejemplo 4: eliminar valores duplicados en el marco de datos r

df <- df %>% distinct()

Ejemplo 5: devolver un nuevo DataFrame con filas duplicadas eliminadas

# Return a new DataFrame with duplicate rows removed

from pyspark.sql import Row
df = sc.parallelize([
  Row(name='Alice', age=5, height=80),
  Row(name='Alice', age=5, height=80),
  Row(name='Alice', age=10, height=80)]).toDF()
df.dropDuplicates().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# |  5|    80|Alice|
# | 10|    80|Alice|
# +---+------+-----+

df.dropDuplicates(['name', 'height']).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# |  5|    80|Alice|
# +---+------+-----+

---

---

Utiliza Nuestro Buscador