当使用pyspark中的DataFrame排序列时,必须确保使用正确的DataFrame方法来进行排序,默认情况下,DataFrame.sort()按照升序排序。如果需要降序排列,需要使用DataFrame.sort(desc(Column))。
以下是示例代码:
from pyspark.sql.functions import desc
data = [("Alice", 25), ("Bob", 20), ("Charlie", 30)] df = spark.createDataFrame(data, ["Name", "Age"])
df_sorted = df.sort(desc("Age")) df_sorted.show()
输出: +-------+---+ | Name|Age| +-------+---+ |Charlie| 30| | Alice| 25| | Bob| 20| +-------+---+