AWSEMR集群中SparkJupyterNotebook和PySparkJupyterNotebook的区别是什么,如何解决?
创始人
2024-09-25 10:00:52
0

Spark Jupyter Notebook和PySpark Jupyter Notebook是AWS EMR集群中两种不同的Notebook环境,它们之间的主要区别在于PySpark Jupyter Notebook默认包含了PySpark内核,而Spark Jupyter Notebook没有。因此,在Spark Jupyter Notebook中,我们需要手动添加PySpark内核。

下面是一个示例代码,展示了如何在Spark Jupyter Notebook中添加PySpark内核:

1.首先,在命令行中安装PySpark内核:

pip install findspark python -m ipykernel install --user --name=pyspark

2.在AWS EMR中启动Spark Jupyter Notebook。

3.在Notebook中选择“New” -> “Python 3”,然后输入以下代码:

import findspark findspark.init()

from pyspark.sql import SparkSession spark = SparkSession.builder.appName("my-app-name").getOrCreate()

Show Spark UI URL

print(spark.sparkContext.uiWebUrl)

  1. 运行上面的代码,如果输出了Spark UI URL,则表示PySpark内核已经被成功添加到Spark Jupyter Notebook中了。

这样,在Spark Jupyter Notebook中就可以使用PySpark了。

相关内容

热门资讯

四分钟明白!钱塘十三水有透视功... 四分钟明白!钱塘十三水有透视功能吗(辅助挂)一贯是有挂的(扑克教程!开挂辅助平台);打开点击测试直接...
八分钟科普!新星游拼十辅助(辅... 新星游拼十辅助 无需打开直接搜索微信:136704302本司针对手游进行,选择我们的四大理由: 1、...
第五分钟讲究!友友联盟辅助脚本... 第五分钟讲究!友友联盟辅助脚本(辅助挂)一直确实有挂(黑科技教程开挂辅助工具)>>您好:软件加136...
第6分钟辅助!决战卡五星辅助(... 决战卡五星辅助是一款可以让一直输的玩家,快速成为一个“必胜”的ai辅助神器,有需要的用户可以加我微信...
5分钟科普!闽乐乐辅助器免费版... 5分钟科普!闽乐乐辅助器免费版(辅助挂)一贯有挂(技巧教程开挂辅助插件)>>您好:软件加136704...
九分钟明白!奇迹手游辅助(辅助... 九分钟明白!奇迹手游辅助(辅助挂)原来确实有挂(详细教程开挂辅助插件);无需打开直接搜索打开薇:13...
第4分钟了解!钱塘十三水透视脚... 第4分钟了解!钱塘十三水透视脚本(辅助挂)其实是有挂(2026版教程开挂辅助平台)《详细加薇1367...
3分钟讲解!葫芦娃手游辅助脚本... 葫芦娃手游辅助脚本是一款专注玩家量身打造的游戏记牌类型软件,在葫芦娃手游辅助脚本这款游戏中我们可以记...
2分钟透视!椰子大厅辅助脚本(... 2分钟透视!椰子大厅辅助脚本(辅助挂)原来真的有挂(必赢教程开挂辅助安装)【无需打开直接搜索加薇13...
第三分钟明白!兴动互娱辅助工具... 第三分钟明白!兴动互娱辅助工具(辅助挂)一贯真的有挂(可靠教程开挂辅助软件);打开点击测试直接进入微...