可能原因是本地执行的任务还未完成,需要加上SparkContext的awaitTermination()方法等待任务执行完毕,例如:
from pyspark import SparkContext
sc = SparkContext(appName="example")
data = sc.parallelize([1, 2, 3, 4, 5])
result = data.map(lambda x: x*2).collect()
# 添加等待任务完成的方法
sc.awaitTermination()
print(result)
我们可以使用awaitTermination()方法等待任务完成后再输出结果。
上一篇:本地提交的更改在主存储库中未找到并且已批准的分支“未找到。
下一篇:本地Tomcat服务器配备https CorsHandler返回安全的JSESSIONID cookie,但阻止不安全的JTENANTSESSIONID_dev cookie。