AWS中ETL连接器无法加载。
创始人
2024-09-28 03:30:49
0

如果您在AWS中启动ETL作业时遇到impyla或jaydebeapi模块(ETL连接器的一部分)加载失败的问题,则可能存在安全组或网络ACL问题。

在RUN_ETL_JOBS.sh文件中设置以下环境变量:

export IMPYLA_LIB=$SPARK_HOME/python/lib/py4j-0.10.x-src.zip:$SPARK_HOME/python/lib/pyspark.zip:$SPARK_HOME/python/lib/pyrolite.jar:$SPARK_HOME/python/lib/py4j-*.zip:$SPARK_HOME/python/lib/happybase.zip

export JDBCAPI_LIB=$SPARK_HOME/python/lib/jaydebeapi-*.zip:$SPARK_HOME/python/lib/JPype1.zip

然后,将以下入站和出站规则添加到您的安全组和网络ACL中:

入站:

端口:22 协议:TCP 来源:您的IP地址或CIDR地址

端口:21050(仅适用于Impala) 协议:TCP 来源:您的IP地址或CIDR地址

出站:

端口:0 - 65535 协议:TCP 目标:0.0.0.0/0

端口:0 - 65535 协议:UDP 目标:0.0.0.0/0

在启用这些规则后,重试在AWS中启动ETL作业。

相关内容

热门资讯

wepoker私局辅助!wpk... wepoker私局辅助!wpk透视工作室(透视)软件-真是解密真的是有挂1、wepoker私局辅助透...
透视详细!aapoker真的假... 透视详细!aapoker真的假的(透视)werplan怎么透视,教程办法(有挂神器)-哔哩哔哩1、w...
newpoker怎么安装脚本!... newpoker怎么安装脚本!约局吧德州真的有透视挂吗(透视)教程-总是了解是真的挂在进入约局吧德州...
透视分享!pokermaste... 透视分享!pokermaster辅助器(透视)大菠萝免费辅助器,教程手册(有挂分析)-哔哩哔哩运大菠...
wepoker免费脚本弱密码!... wepoker免费脚本弱密码!wepoker底牌透视脚本(透视)软件-一贯教你是有挂1、操作简单,无...
透视详情!poker红龙辅助(... 透视详情!poker红龙辅助(透视)wepoker辅助软件视频,教程模块(有挂技巧)-哔哩哔哩wep...
wpk透视最怕三个东西!hhp... wpk透视最怕三个东西!hhpoker辅助(透视)工具-确实了解是有挂wpk透视最怕三个东西破解侠是...
透视教你!wepoker祈福有... 透视教你!wepoker祈福有用吗(透视)智星德州插件,教程方针(有挂详细)-哔哩哔哩1、上手简单,...
hhpoker免费透视脚本!德... hhpoker免费透视脚本!德普之星辅助器怎么用(透视)器-总是关于存在有挂1、上手简单,内置详细流...
透视必备!竞技联盟破解版最新版... 透视必备!竞技联盟破解版最新版(透视)德州透视插件,教程法门(有挂攻略)-哔哩哔哩1、全新机制【竞技...