是的,Apache Zeppelin可以使用由另一个应用程序创建的Dataset
import org.apache.spark.sql.{SparkSession, Dataset}
val spark = SparkSession.builder()
.appName("Example App")
.getOrCreate()
val data: Seq[(String, Int)] = Seq(("Alice", 25), ("Bob", 30), ("Charlie", 35))
val df = spark.createDataFrame(data).toDF("Name", "Age")
// 将DataFrame转换为Dataset
val dataset: Dataset[Row] = df.as("dataset")
%spark
// 在Zeppelin中,可以使用%spark魔法命令来访问SparkSession对象
// 创建一个新的DataFrame
val newData: Seq[(String, Int)] = Seq(("Dave", 40), ("Eve", 45))
val newDF = spark.createDataFrame(newData).toDF("Name", "Age")
// 将DataFrame转换为Dataset
val newDataset: Dataset[Row] = newDF.as("newDataset")
// 使用先前创建的Dataset
dataset.show()
// 使用新创建的Dataset
newDataset.show()
通过上述代码示例,您可以在Zeppelin中使用由另一个应用程序创建的Dataset