AWSComprehend和PySpark的F.when不起作用
创始人
2024-09-24 15:00:34
0

AWS Comprehend是AWS提供的一种自然语言处理工具,而PySpark是一种Python编程语言的分布式计算框架。使用这两种工具进行数据分析时,可能会出现F.when函数不起作用的情况。

解决这个问题的方法是在F.when的使用时,需要将结构化查询语言(SQL)中的逻辑转化成Spark SQL的语法规则。下面是一个例子:

from pyspark.sql.functions import when, col

data = [("Alice", 2),("Bob", 1),("Cathy", 3)]
df = spark.createDataFrame(data, ["Name", "Age"])

# F.when not working
df_new = df.select("Name", "Age", when(col("Age") < 2, "Child").when(col("Age") > 2, "Adult").otherwise("Teenager").alias("Category"))
df_new.show()

执行上述代码会出现错误信息,因为当Age等于2时,F.when无法给出适当的结果。

为了解决该问题,我们可以通过使用Spark SQL的语法规则重写查询来避免这种情况。改写后的代码如下所示:

from pyspark.sql.functions import expr

df_new = df.select("Name", "Age", expr("CASE WHEN Age < 2 THEN 'Child' WHEN Age > 2 THEN 'Adult' ELSE 'Teenager' END AS Category"))

df_new.show()

这次执行代码会输出正确的结果,因为我们使用了Spark SQL的语法规则,避免了F.when函数在Age等于2时无法给出适当的结果的问题。

相关内容

热门资讯

透视输赢!德扑圈透视挂(透视)... 透视输赢!德扑圈透视挂(透视)开挂辅助app(竟然真的是有挂)-哔哩哔哩1、德扑圈透视挂ai机器人多...
透视黑科技!智星德州插件,竞技... 透视黑科技!智星德州插件,竞技联盟破解版最新版,操作教程(本来是真的挂)-哔哩哔哩1.竞技联盟破解版...
透视开挂!hhpoker德州机... 透视开挂!hhpoker德州机器人(透视)开挂辅助挂(总是真的有挂)-哔哩哔哩;1、hhpoker德...
透视安装!WePOker有没有... 透视安装!WePOker有没有透视方法,佛手在线是不是有挂,步骤教程(总是存在有挂)-哔哩哔哩1、金...
透视控制!德州局透视脚本免费版... 透视控制!德州局透视脚本免费版下载手机版(透视)开挂辅助器(切实真的是有挂)-哔哩哔哩1、德州局透视...
透视app!hhpkoer辅助... 透视app!hhpkoer辅助器视频(透视)开挂辅助器(原来是有挂)-哔哩哔哩hhpkoer辅助器视...
透视神器!大菠萝手游辅助,hh... 透视神器!大菠萝手游辅助,hhpoker是真的还是假的,课程教程(果然有挂)-哔哩哔哩1、每一步都需...
透视开挂!拱趴大菠萝辅助神器(... 透视开挂!拱趴大菠萝辅助神器(透视)开挂辅助器(切实真的有挂)-哔哩哔哩1、拱趴大菠萝辅助神器系统规...
透视好牌!wpk德州局怎么透视... 透视好牌!wpk德州局怎么透视,wepoker透视辅助下载,手筋教程(总是有挂)-哔哩哔哩1、wep...
透视苹果版!德州透视hhpok... 透视苹果版!德州透视hhpoker(透视)开挂辅助攻略(切实存在有挂)-哔哩哔哩1、德州透视hhpo...