AWS中ETL连接器无法加载。
创始人
2024-09-28 03:30:49
0

如果您在AWS中启动ETL作业时遇到impyla或jaydebeapi模块(ETL连接器的一部分)加载失败的问题,则可能存在安全组或网络ACL问题。

在RUN_ETL_JOBS.sh文件中设置以下环境变量:

export IMPYLA_LIB=$SPARK_HOME/python/lib/py4j-0.10.x-src.zip:$SPARK_HOME/python/lib/pyspark.zip:$SPARK_HOME/python/lib/pyrolite.jar:$SPARK_HOME/python/lib/py4j-*.zip:$SPARK_HOME/python/lib/happybase.zip

export JDBCAPI_LIB=$SPARK_HOME/python/lib/jaydebeapi-*.zip:$SPARK_HOME/python/lib/JPype1.zip

然后,将以下入站和出站规则添加到您的安全组和网络ACL中:

入站:

端口:22 协议:TCP 来源:您的IP地址或CIDR地址

端口:21050(仅适用于Impala) 协议:TCP 来源:您的IP地址或CIDR地址

出站:

端口:0 - 65535 协议:TCP 目标:0.0.0.0/0

端口:0 - 65535 协议:UDP 目标:0.0.0.0/0

在启用这些规则后,重试在AWS中启动ETL作业。

相关内容

热门资讯

玩家必看攻略“德州wepoke... >>您好:德州wepoker透视挂确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别好,...
玩家必用“WPK免费挂机辅助器... >>您好:WPK免费挂机辅助器软件加扣扣群确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌...
最新研发“wepoker到底有... 无需打开直接搜索;操作使用教程:最新研发“wepoker到底有透视软件吗”开挂辅助下载(透视)安装教...
终于清楚“wpk德州辅助”开挂... 您好:wpk德州辅助的软件,软件加客服确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用户的牌特别...
揭秘“wpk透视app有哪些”... 揭秘“wpk透视app有哪些”开挂辅助工具(透视)教你攻略是一款可以让一直输的玩家,快速成为一个“必...
揭秘“wepoker原来有挂”... 您好:wepoker原来有挂这款游戏可以开挂的,确实是有挂的,很多玩家在这款游戏中打牌都会发现很多用...
一分钟揭秘“wepoker透视... >>>您好:,软件加微信【添加136704302】确实是有挂的,很多玩家在这款游戏中打牌都会发现很多...
记者爆料“wepoker辅助挂... 无需打开直接搜索加微信客服(136704302)咨询了解wepoker辅助挂有没有辅助器目前(微信:...
来一盘“wepoker开挂辅助... >>>您好:,软件加微信【添加136704302】确实是有挂的,很多玩家在这款游戏中打牌都会发现很多...
今日百科“wepoker开挂辅... 今日百科“wepoker开挂辅助教程”开挂辅助软件(透视)可靠教程是一款可以让一直输的玩家,快速成为...