ApacheSpark3.2.0结构流使用KafkaOAuth
创始人
2024-09-06 11:30:23
0
  1. 首先,需要在Kafka中启用OAuth2认证,并创建客户端ID和客户端密码。
  2. 然后,在构建SparkSession时,将必要的认证参数添加到配置中。例如:
val spark = SparkSession
  .builder
  .appName("StructuredKafkaOAuth")
  .config("spark.kafka.oauth.client.id", "")
  .config("spark.kafka.oauth.client.secret", "")
  .config("spark.kafka.oauth.tokenEndpoint", "")
  .config("spark.kafka.oauth.username", "")
  .config("spark.kafka.oauth.password", "")
  .master("local[*]")
  .getOrCreate()

这里的分别是在Kafka中创建的客户端ID和客户端密码,是OAuth2授权服务器的URL,分别是授权服务器的用户名和密码。

  1. 接下来,创建一个Kafka源,并通过option方法传递认证参数。例如:
val df = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "")
  .option("kafka.security.protocol", "SASL_SSL")
  .option("kafka.sasl.mechanism", "OAUTHBEARER")
  .option("kafka.ssl.truststore.location", "")
  .option("kafka.sasl.login.callback.handler.class", "io.confluent.kafka.clients.plugins.auth.token.TokenUserLoginCallbackHandler")
  .option("kafka.sasl.jaas.config", "tokenUser={USERNAME};token={PASSWORD};")
  .option("subscribe", "")
  .load()

这里的是Kafka集群的引导服务器列表,是SSL证书的位置,是要订阅的Kafka主题。注意,kafka.security.protocol和`

相关内容

热门资讯

重大消息!乐平包王讨赏辅助,谁... 重大消息!乐平包王讨赏辅助,谁有老友广东辅助器(竟然真的有挂);1、任何谁有老友广东辅助器透视是真的...
我来向大家传授!天酷互娱有辅助... 您好:天酷互娱有辅助工具嘛这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户...
玩家亲测!九酷众娱辅助,微信小... 玩家亲测!九酷众娱辅助,微信小程序外辅助工具(好像有挂);1、每一步都需要思考,不同水平的挑战会更加...
重大通报!wepoker专用辅... 重大通报!wepoker专用辅助程序,wpk俱乐部辅助器,安装教程(的确有挂);wepoker专用辅...
终于清楚!小南四川长牌辅助,摸... 终于清楚!小南四川长牌辅助,摸一把游戏跑得快辅助(确实真的有挂)1)摸一把游戏跑得快辅助有没有挂:进...
记者爆料!蘑菇云辅助怎么使用,... 记者爆料!蘑菇云辅助怎么使用,德州透视插件,德州论坛(有挂分享);蘑菇云辅助怎么使用软件透明挂是一个...
热点推荐!决战辅助软件,陕麻圈... 热点推荐!决战辅助软件,陕麻圈辅助器透视开挂(确实存在有挂)1)陕麻圈辅助器透视开挂有没有挂:进一步...
今日焦点!贪玩互娱辅助,wej... 今日焦点!贪玩互娱辅助,wejoker内置辅助,透牌教程(今日头条);详细贪玩互娱辅助攻略(贪玩互娱...
研究成果!四川途游小程序辅助软... 研究成果!四川途游小程序辅助软件,小南长牌辅助(一直是有挂)在进入四川途游小程序辅助软件软件靠谱后,...
热点推荐!朋朋政和辅助,大菠萝... 热点推荐!朋朋政和辅助,大菠萝手游辅助,插件教程(确实有挂)是一款可以让一直输的玩家,快速成为一个“...